nanochat מאמן GPT-2 בשעתיים — וקרפתי: 'הבנצ'מרק החדש הוא מי שבונה סוכן מחקר הכי מהר'

יום שישי, 6 במרץ 2026

🧠

אנדריי קרפתי nanochat מאמן GPT-2 בשעתיים — וקרפתי: 'הבנצ'מרק החדש הוא מי שבונה סוכן…

נושאים

nanochat מאמן GPT-2 בשעתיים על node אחד של 8xH100 קרפתי: 'הבנצ'מרק האמיתי: מי בונה סוכן מחקר שמשפר nanochat הכי מהר?'זיכרון לסוכנים: אפשר להגיע רחוק עם memory ops ככלים + הרבה compute

קרפתי חולק שלוש תובנות שמגדירות את הכיוון. ראשון: nanochat — הפרויקט הפתוח שמאמן GPT-2 — ירד משלוש שעות לשעתיים על node בודד של 8xH100. השיפור העיקרי: מעבר מ-FineWeb-edu לדאטה-סט טוב יותר, ותוספת fp8.

אבל מיד אחרי הוא מתקן: 'הבנצ'מרק האמיתי שמעניין אותי: מהו הקוד של ארגון מחקר סוכני שמייצר שיפורים ב-nanochat הכי מהר?' כלומר: לא מי מאמן מהר — אלא מי בונה סוכן AI שמשפר אימון מהר. זה מטא-מטא. שלישי, על זיכרון ארוך-טווח לסוכנים: קרפתי טוען שאפשר להגיע 'די רחוק' בפרדיגמה הנוכחית פשוט על ידי הוספת memory ops ככלים וזריקת compute.

'היה זמן יפה שחוקרים דיברו בפתיחות בטוויטר. לפני שנעלמו למכרות הזהב.'

📌 הפוסט המומלץ

קרפתי מגדיר מחדש את הבנצ'מרק

sorry just to clarify - the real benchmark of interest is: "what is the research org agent code that produces improvements on nanochat the fastest?" this is the new meta.

סליחה, רק להבהיר — הבנצ'מרק האמיתי שמעניין אותי: 'מהו הקוד של ארגון מחקר סוכני שמייצר שיפורים ב-nanochat הכי מהר?' זה המטא החדש.

לפוסט המקורי ↗

💡

תובנה

לא מי מאמן מהר — מי בונה סוכן שמאמן מהר. זה המרוץ האמיתי של 2026.

כל הכתבות ←