פרנסואה שולה
פרנסואה שולה
פרנסואה שולה @fchollet

יוצר Keras, חוקר AI ב-Google. מפתח ARC-AGI — מבחן אינטליגנציה כללית למכונות.

הפריצה הבאה תהיה מתחת ל-deep learning — ואנחנו קוראים לה symbolic learning

שולה היום בשלושה ציוצים שמשלימים תמונה אחת. הגדול — 679 לייקים ו-41 RT — תגובה לראיון של סם אלטמן @sama על ארכיטקטורה חדשה שתחליף טרנספורמרים: 'הפריצה הגדולה הבאה תסתעף ברמה הרבה יותר נמוכה מארכיטקטורת מודלים של deep learning. זו תהיה גישה חדשה.

ארכיטקטורה טובה יותר יכולה להוביל לשיפורים מצטברים ביעילות נתונים וכללה, אבל היא לא תתקן את הבעיות הבסיסיות של הפרדיגמה הפרמטרית.' שולה לא רק מבקר — הוא בונה את האלטרנטיבה. בתגובה לשאלה 'מה יתקן את זה?' הוא עונה: 'מה שאנחנו מפתחים ב-Ndea. אנחנו קוראים לזה symbolic learning.' — 80 לייקים.

שולה חושף שם לפרויקט שלו: symbolic learning. לא deep learning, לא symbolic AI הישנה — משהו חדש שמשלב את שניהם. ובמקביל — ציוץ פואטי על 'latent space': 'יש עומק פואטי במונח הזה שהופך קואורדינטות וקטוריות לגבול של אפשרות טהורה.' — 278 לייקים.

שולה מזכיר שמאחורי המתמטיקה יש יופי.

שולה על הפריצה מעבר ל-deep learning

The next major breakthrough will branch out at a much lower level than deep learning model architecture. It will be a new approach. A better model architecture can lead to incremental data efficiency & generalization gains, but it won't fix the fundamental issues of the parametric learning paradigm.
הפריצה הגדולה הבאה תסתעף ברמה הרבה יותר נמוכה מארכיטקטורת מודלים של deep learning. זו תהיה גישה חדשה. ארכיטקטורה טובה יותר יכולה להוביל לשיפורים מצטברים ביעילות נתונים וכללה, אבל היא לא תתקן את הבעיות הבסיסיות של הפרדיגמה הפרמטרית.
לפוסט המקורי ↗
💡
תובנה
כששולה קורא לזה symbolic learning ולא symbolic AI — הוא מסמן שזה לא חזרה לשנות ה-80, אלא משהו שטרם נראה.
כל הכתבות ←