פרנסואה שולה
פרנסואה שולה
פרנסואה שולה @fchollet

יוצר Keras, חוקר AI ב-Google. מפתח ARC-AGI — מבחן אינטליגנציה כללית למכונות.

ARC-AGI-3 יצא — וכל המודלים הקיימים מתחת לאחוז אחד

שולה ו-Knoop השיקו את ARC-AGI-3, והתוצאות מדברות: כל המודלים הקיימים — GPT, Claude, Gemini, כולם — מתחת לאחוז אחד. הבנצ'מרק החדש מודד אינטליגנציה אגנטית דרך סביבות אינטראקטיביות שדורשות חשיבה בזמן אמת, לא שליפה מזיכרון. מאט שומר חוזה שזה ייפתר תוך ארבעה חודשים — שולה כנראה חולק.

הנקודה הכי חדה: חייזרים בלי ידע בשום שפה אנושית יכולים לפתור את ARC-AGI-3 מהיום הראשון. זה אומר שהבנצ'מרק מודד משהו שונה לחלוטין מכל מה שיש בשוק — לא ידע, לא שפה, אלא יכולת הסתגלות טהורה. Killer feature: replays מפורסמים לכל הציונים המאומתים, כך שכל חוקר יכול לנתח ולשפר.

מאט שומר על ARC-AGI-3 — התלהבות וחיזוי נועז

1. Incredible. 2. I give it four months before this is ~saturated.
1. מדהים. 2. אני נותן לזה ארבעה חודשים עד שזה ייפתר.
לפוסט המקורי ↗
💡
תובנה
כשכל המודלים מתחת לאחוז אחד, ברור שמה שאנחנו קוראים לו 'אינטליגנציה' הוא בעיקר זיכרון מוסווה.
כל הכתבות ←