על מה המדריך?
יוזמה חדשה של מכון המחקר Epoch AI חושפת כשלים ב-15 מבחני ביצועים מרכזיים. האם המדדים שקבעו את עליונות המודלים הם רק אשליה סטטיסטית?
אנחנו מדרגים את המוח הדיגיטלי החזק בהיסטוריה לפי מבחנים שנוצרו לפני שנים. השבוע, הקהילה המדעית קיבלה תזכורת כואבת: כשהמדד הופך למטרה, הוא מפסיק להיות מדד.
למה המבחנים נכשלים?
הבעיה אינה רק בביצועים, אלא במתודולוגיה. מבחנים סטטיים, שנוצרו בתקופה שבה מודלים היו פשוטים בהרבה, מתקשים להתמודד עם היכולות של מודלי ענק מודרניים. כאשר מודל נחשף לנתוני המבחן במהלך האימון, הציון שלו הופך לחסר משמעות. Epoch AI מציעים כעת סטנדרט חדש של שקיפות, שבו כל מבחן נבחן לפי קריטריונים של הטיות, דליפות מידע ויכולת ניבוי בעולם האמיתי.
המעבר למבחנים דינמיים
התעשייה לא עומדת במקום. מפתחים כבר עוברים למבחנים מבוססי משימות מורכבות וארוכות טווח, כמו FrontierMath או MirrorCode, שמנסים להקשות על המודלים באמצעות בעיות מתמטיות שטרם נפתרו על ידי אדם. המטרה היא להפסיק לרדוף אחרי ציונים גנריים ולעבור להערכה מבוססת ראיות (Evidence-based) שמשקפת יכולת הסקה אמיתית.
השורה התחתונה למשתמש
אל תתנו לגרפים מפוצצים להטעות אתכם. גם למבחנים 'פגומים' יש ערך יחסי אם משתמשים בהם בזהירות, אך הם לעולם לא יחליפו התנסות אישית. כשאנחנו בוחנים מודל, עלינו לשאול: האם הוא פותר בעיות מורכבות, או שהוא פשוט שינן את התשובות הנכונות למבחן?
מה חדש שכדאי להכיר
- • השקת יוזמת Benchmark Reviews לביקורת איכות על מבחני AI
- • סיווג 15 מבחני ביצועים מרכזיים לפי רמת אמינות
- • מעבר למבחנים דינמיים מבוססי משימות כמו FrontierMath