הזיכרון של כל ה-LLMs שבור — ואף אחד לא יודע לתקן את זה

יום חמישי, 26 במרץ 2026

אנדריי קרפתי הזיכרון של כל ה-LLMs שבור — ואף אחד לא יודע לתקן את זה

נושאים

פרסונליזציה ב-LLMs — הזיכרון מסיח את הדעת של המודלים בעיה מבנית: RAG נאיבי שולף מידע לא רלוונטי ומנפח אותו שאלות follow-up זה engagementmaxxing — לא ככה חבר אמיתי מדבר

קרפתי פותח שרשור מרתק על בעיה שכולם מרגישים אבל אף אחד לא פתר: הפרסונליזציה ב-LLMs שבורה. שאלה אחת מלפני חודשיים על נושא מסוים? המודל יפציץ אותך בהתייחסויות אליו לנצח.

קרפתי מנתח: "זה לא decay של זיכרון — זה RAG נאיבי שפשוט שולף top-k מ-embeddings בלי לעבד אותך כישות מתפתחת לאורך זמן." המודלים לא בונים מודל שלך — הם שולפים קטעים רנדומליים. ויש גם הבעיה של engagementmaxxing: כל מודל שואל שאלות follow-up בסוף כל תשובה, מה שנראה טוב ב-A/B tests אבל מרגיש manipulative ומגעיל. קרפתי: "זה לא איך חבר אמיתי מדבר איתך — זה slimy ומוזר." אולי ה-EQ uncanny valley.

📌 הפוסט המומלץ

קרפתי על הבעיה המבנית בזיכרון של LLMs

If I had to guess it's less decay and more that memories have naive RAG-like implementations, so you're at the mercy of whatever happens to retrieve in the top k via embeddings. They don't process you in aggregate and over time (probably compute constraints) so they struggle to

אם הייתי מנחש, זו לא שאלה של דעיכה אלא שזיכרונות מיושמים כ-RAG נאיבי, ואתה נתון לחסדי מה שבמקרה נשלף ב-top-k דרך embeddings. הם לא מעבדים אותך כמכלול לאורך זמן (כנראה מגבלות חישוב) ולכן הם מתקשים

לפוסט המקורי ↗

💡

תובנה

כשמודל AI מתנהג כמו חבר שזוכר דבר אחד שאמרת ומזכיר אותו בכל פגישה — זה לא זיכרון, זה obsession.

כל הכתבות ←