🧠
אנדריי קרפאתי @karpathy

מייסד Eureka Labs, לשעבר מנהל AI ב-Tesla ומייסד-שותף OpenAI. PhD מסטנפורד.

Open Weights ≠ Open Source — והוכחה מהשטח על הפער

קרפתי היום בשני מצבים. הראשון — עריכה ותגובות על AutoResearch שממשיך לרוץ. כשמישהו טוען 'זה רק hyper parameter tuning חדש', קרפתי חותך: 'בענף אחד של חקירה אתמול, סוכן שם לב ששינוי הסדר בין QK Norm ל-RoPE משפר ביצועים.

איזה hyperparameter זה?' 248 לייקים. הנקודה ברורה: AutoResearch לא מחפש בגריד — הוא כותב קוד שרירותי, לומד מניסויים קודמים, וניגש לאינטרנט. 'NAS כמו שהיה אז הוא כזה weak לעומת שזה בקטגוריה נפרדת לגמרי.' 466 לייקים.

הציוץ השני — RT של ניסיון בשטח ל-post-training מודל 1T MoE עם תשתית קוד פתוח. 'Off in the jungle with no trails' — open weights לא אומר open source, לא רק בגלל הדאטה אלא בגלל כל התשתית שנדרשת לאימון. 156 לייקים.

זה ממשיך ישירות את הציוץ של אתמול על transfer של שיפורים מ-depth 12 ל-depth 24.

קרפתי על AutoResearch vs NAS — לא אותה ליגה

Neural architecture search as it existed then is such a weak version of this that it's in its own category of totally useless by comparison. This is an *actual* LLM writing arbitrary code, learning from previous experiments, with access to the internet. It's not even close.
חיפוש ארכיטקטורות נוירונים כמו שהיה אז הוא גרסה כזו חלשה של מה שקורה כאן שהוא בקטגוריה נפרדת לגמרי של חסר תועלת בהשוואה. זה LLM *אמיתי* שכותב קוד שרירותי, לומד מניסויים קודמים, עם גישה לאינטרנט. זה אפילו לא קרוב.
לפוסט המקורי ↗
💡
תובנה
כשקרפתי אומר 'NAS כמו שהיה זה קטגוריה נפרדת לגמרי' — הוא מסמן שAutoResearch הוא לא אופטימיזציה, זה מדע שמבצע את עצמו.
כל הכתבות ←