llama.cpp ב-100,000 כוכבים — והמודל המקומי שמנצח את Sonnet

יום שלישי, 31 במרץ 2026

Hugging Face llama.cpp ב-100,000 כוכבים — והמודל המקומי שמנצח את Sonnet

נושאים

llama.cpp עובר 100,000 כוכבים — ggerganov, הגיבור הלא מוכר של ה-local AI inference Qwen3.5 27B על Opus 4.6 distilled data: #1 trending 3 שבועות, מנצח Sonnet 4.5 ב-SWE-bench רשימת מודלים מומלצים לפי hardware: 64GB עד 96GB VRAM — coding, multimodal, tool calling

llama.cpp ב-100,000 כוכבים אינו milestone סנטימנטלי — זה מדד לתשתית. הספרייה של ggerganov היא הסיבה שמיליוני מפתחים מריצים מודלים מקומית בלי GPU server. קלמן דלאנג @clementdelangue מ-Hugging Face ציין זאת בגאווה: 'אחד הגיבורים הלא מוכרים של AI פתוח.' המספר שמשנה את המשוואה הוא לא 100,000 הכוכבים — אלא ה-runtime הכי נפוץ ל-local AI, שעכשיו מגיע עם endorsement רשמי.

אבל הסיפור החם יותר הוא Qwen3.5 27B: שלושה שבועות #1 trending, fine-tuned על distilled data של Claude Opus 4.6, מנצח את Sonnet 4.5 על SWE-bench, ורץ מקומית על 16GB ב-4-bit. זה מתחבר ישירות לשאלה שסיימון ווילישון העלה היום: local models לcoding agents עדיין קשים — אבל Qwen3.5 27B אולי הוא החריג שמשנה את ה-equation.

📌 הפוסט המומלץ

על Qwen3.5 27B והישגיו ב-Hugging Face

this model is an agentic treasure. it has been #1 trending for 3 weeks on @huggingface as mentioned by @danielhanchen. it's Qwen 3.5 27B fine-tuned on Opus 4.6 distilled data and beats Sonnet 4.5 on SWE-bench verified and more. "Runs locally on 16GB in 4-bit or 32GB in 8-bit."

המודל הזה הוא אוצר agentic. הוא #1 trending כבר 3 שבועות ב-Hugging Face. זהו Qwen 3.5 27B שעבר fine-tuning על distilled data של Opus 4.6 ומנצח את Sonnet 4.5 ב-SWE-bench ועוד. 'רץ מקומית על 16GB ב-4-bit או 32GB ב-8-bit.'

לפוסט המקורי ↗

💡

תובנה

בעוד 6 חודשים, 'להריץ לוקלי' לא יהיה עניין של אידיאולוגיה — אלא של budget.

כל הכתבות ←