Mac Mini ב-2,500 דולר מריץ מודל 70B לוקלית — והפער נסגר

יום שבת, 28 במרץ 2026

קלמן דלאנג Mac Mini ב-2,500 דולר מריץ מודל 70B לוקלית — והפער נסגר

נושאים

Mac Mini ב-2,500$ מריץ מודל distilled 70B לוקלית בלי API Qwen3.5-35B בדחיסה של 20% נכנס ל-24GB VRAM עם הקשר מלא TurboQuant: דחיסת KV cache של פי 3.5 שמכה את q8_0 באיכות מודל open source שעולה פי 7 פחות מ-Opus — וכמעט לא נופל ממנו

הנתון שדלאנג דוחף היום הוא פשוט אבל מהפכני: Mac Mini ב-2,500 דולר מריץ מודל 70B לוקלית. בלי API. בלי ענן.

על השולחן. במקביל, TurboQuant מאפשר דחיסת KV cache של פי 3.5 ב-llama.cpp עם שיפור באיכות — לא פשרה. ו-Qwen3.5-35B נדחס ב-20% עם נפילה של 1% בלבד, נכנס ל-24GB של VRAM עם הקשר מלא.

כרטיס מסך ב-700 דולר. זה אינטרנט dial-up מול broadband: הטכנולוגיה כבר כאן, רק צריך שאנשים יבינו שהם לא חייבים לשלם מנוי חודשי. דלאנג מספר על מישהו שכמעט שילם 330$/חודש ל-ElevenLabs על קריינות — ואז גילה שמודל Qwen 3.5 14B עושה את זה לוקלית בעלות חשמל.

זה מתחבר ל-Voxtral TTS של מיסטרל שראינו אתמול: הפתרונות הפתוחים מכים את המסחריים, ועכשיו הם גם רצים על חומרה ביתית.

📌 הפוסט המומלץ

על העלות האמיתית של מודלים פתוחים מול מסחריים

Almost signed up for ElevenLabs to narrate my blog. $330/month. Then I tried running an open-source model on my own laptop. Qwen 3.5 14B. Sounds fine. 200 posts a month. Costs me electricity. I almost paid $4,000 a year to rent a model I can run myself.

כמעט נרשמתי ל-ElevenLabs לקריינות הבלוג שלי. 330$/חודש. אז ניסיתי להריץ מודל open source על הלפטופ שלי. Qwen 3.5 14B. נשמע בסדר. 200 פוסטים בחודש. עולה לי חשמל. כמעט שילמתי 4,000$ בשנה לשכור מודל שאני יכול להריץ בעצמי.

לפוסט המקורי ↗

💡

תובנה

בעוד שנה, להריץ מודל בענן ירגיש כמו לשלם על WiFi בבית קפה — מביך ומיותר.

כל הכתבות ←