שולה על הפריצה מעבר ל-deep learning
שולה היום בשלושה ציוצים שמשלימים תמונה אחת. הגדול — 679 לייקים ו-41 RT — תגובה לראיון של סם אלטמן על ארכיטקטורה חדשה שתחליף טרנספורמרים: 'הפריצה הגדולה הבאה תסתעף ברמה הרבה יותר נמוכה מארכיטקטורת מודלים של deep learning. זו תהיה גישה חדשה.
ארכיטקטורה טובה יותר יכולה להוביל לשיפורים מצטברים ביעילות נתונים וכללה, אבל היא לא תתקן את הבעיות הבסיסיות של הפרדיגמה הפרמטרית.' שולה לא רק מבקר — הוא בונה את האלטרנטיבה. בתגובה לשאלה 'מה יתקן את זה?' הוא עונה: 'מה שאנחנו מפתחים ב-Ndea. אנחנו קוראים לזה symbolic learning.' — 80 לייקים.
שולה חושף שם לפרויקט שלו: symbolic learning. לא deep learning, לא symbolic AI הישנה — משהו חדש שמשלב את שניהם. ובמקביל — ציוץ פואטי על 'latent space': 'יש עומק פואטי במונח הזה שהופך קואורדינטות וקטוריות לגבול של אפשרות טהורה.' — 278 לייקים.
שולה מזכיר שמאחורי המתמטיקה יש יופי.
שולה על הפריצה מעבר ל-deep learning