קרפתי בסאונה בזמן שסוכן AI משפר אימון
ah yes, this is what post-agi feels like :) i didn't touch anything. brb sauna
אה כן, ככה מרגיש post-AGI :) לא נגעתי בכלום. רגע סאונה.
לפוסט המקורי ↗
המשך ישיר מאתמול: קרפתי הציג אתמול את nanochat שירד לשעתיים אימון, והיום הוא חולק את הציוץ שתפס הכי הרבה: 'אה כן, ככה מרגיש post-AGI :) לא נגעתי בכלום. אני בסאונה.' מצורף גרף שמראה שסוכן AI שיפר את nanochat בעצמו — ירידה חדה ב-loss ללא התערבות אנושית. 362 לייקים.
זו לא בדיחה — זה מה שקרפתי הגדיר אתמול כ'המטא החדש': לא מי מאמן מהר, אלא מי בונה סוכן שמאמן מהר. והוא הוכיח את זה. בתגובה טכנית נפרדת, הוא מפרק: 'הקוד לאמן GPT הוא רק ~1,000 שורות.
במקרה של אימון GPT, קריטריון ההצלחה פשוט: להגיע ל-loss הנמוך ביותר, בלי רגרסיה בזמן ריצה, לשמור על זיכרון, ולשמור על הגיון.' פשטות מטעה.
קרפתי בסאונה בזמן שסוכן AI משפר אימון