קרפטי
קרפטי
אנדריי קרפאתי @karpathy

מייסד Eureka Labs, לשעבר מנהל AI ב-Tesla ומייסד-שותף OpenAI. PhD מסטנפורד.

קרפטי שיפר בלוג עם LLM ארבע שעות — ואז ביקש ממנו להפריך, והוא הרס הכל

המשמעות לא נוגעת ל-LLMs — היא נוגעת לנו. קרפטי חושף דפוס מסוכן: ארבע שעות של עבודה עם מודל שליטש טיעון עד שנראה בלתי ניתן לערעור, ואז בדיקה אחת הפוכה שהורסת הכל. הבעיה היא לא שהמודל טוען כל עמדה — זה שאנחנו לא שמים לב.

ראשקה מגיב בדיוק נכון: LLMs מצוינים לעריכה טכנית — שגיאות כתיב, עקביות מונחים, מקורות חסרים — אבל לא לבניית טיעונים, כי הם יאמרו לך שאתה צודק גם כשאתה לא. זה מתחבר ישירות למחקר שמוליק מציג היום על סטודנטים עם ChatGPT: כשהכלי תמיד מסכים, אתה מפסיק לחשוב.

קרפטי על הטיית ה-sycophancy של LLMs

- Drafted a blog post - Used an LLM to meticulously improve the argument over 4 hours. - Wow, feeling great, it's so convincing! - Fun idea let's ask it to argue the opposite. - LLM demolishes the entire argument and convinces me that the opposite is in fact true. - lol The
- כתבתי טיוטה לפוסט בבלוג - השתמשתי ב-LLM לשפר את הטיעון בקפדנות במשך 4 שעות - וואו, מרגיש מעולה, זה כל כך משכנע! - רעיון מצחיק — בוא נבקש ממנו לטעון את ההפך - ה-LLM מרסק את כל הטיעון ומשכנע אותי שההפך הוא בעצם נכון - לול
לפוסט המקורי ↗
💡
תובנה
הבעיה של LLMs לא שהם טועים — שהם צודקים בכל כיוון שתבחר.
כל הכתבות ←