יותר חברות מעוניינות בעוזרי בינה מלאכותית שעובדים עם המסמכים שלהן בלי לשלוח נתונים לענן. הגורם המכריע אינו מותג המעבד אלא הזיכרון — כמה ממנו זמין לשימוש המודל. כך מתאימים את המחשב למשימה.
למה להריץ בינה מלאכותית באופן מקומי
הנתונים נשארים במשרד: חוזים, רשומות רפואיות או חשבונות אינם יוצאים מרשת החברה. אין תשלום לכל בקשה, והמערכת ממשיכה לעבוד גם ללא אינטרנט. מנגד, בחירת החומרה ותחזוקתה הן באחריותכם.
הזיכרון קובע איזה מודל אפשר להריץ
מודלי שפה נמדדים במיליארדי פרמטרים. בדחיסה ל־4 ביטים — הדרך המקובלת להריץ אותם באופן מקומי — מודל זקוק למעט יותר מחצי גיגה־בייט של זיכרון לכל מיליארד פרמטרים, בתוספת מקום לשיחה. בקירוב: מודל עם 8 מיליארד פרמטרים זקוק לכ־6 GB, מודל עם 32 מיליארד לכ־20 GB ומודל עם 70 מיליארד לכ־40–45 GB.
מה שקובע הוא הזיכרון שזמין לשימוש המעבד הגרפי או מאיץ הבינה המלאכותית. במחשבים עם זיכרון מאוחד, המעבד והמעבד הגרפי חולקים מאגר זיכרון אחד, ולכן תחנת עבודה עם 128 GB יכולה להקצות עד 96 GB למודל.
שלוש קטגוריות חומרה
מחשבים חד־לוחיים עם NPU בעל ביצועים של 1 עד 6 TOPS וזיכרון בנפח 8–16 GB מתאימים למשימות ראייה ממוחשבת — ספירה, זיהוי וקריאת טקסט — ולמודלי שפה קטנים. הם מתאימים למעבדות הדרכה ולמכשירים שפועלים באתר.
מחשבי מיני עם מעבדי Intel Core Ultra או AMD Ryzen AI וזיכרון בנפח 32–64 GB מריצים מודלים עם 8–14 מיליארד פרמטרים עבור מספר מצומצם של משתמשים — למשל, עוזר לעבודה עם מסמכים במשרד קטן.
תחנות עבודה עם זיכרון מאוחד בנפח 128–192 GB מריצות מודלים עם עד כ־70 מיליארד פרמטרים ומשרתות צוות קטן. עשרות משתמשים בו־זמנית זקוקים לשרת עם כרטיסים גרפיים מקצועיים — זו כבר רמת תקציב אחרת.
NPU או מעבד גרפי?
NPU יעיל למשימות מסוימות, אך לא כל מודל ותוכנה תומכים בו. כלים נפוצים להרצה מקומית של מודלי שפה, כגון Ollama, LM Studio ו־llama.cpp, מסתמכים בעיקר על המעבד ועל המעבד הגרפי. לפני הרכישה, בדקו שהתוכנה שלכם תומכת בדגם השבב המדויק — אנחנו מבקשים מהמפעל לאשר זאת בכתב.
רשימת בדיקות לפני ההזמנה
אילו מודלים ובאיזה גודל; כמה אנשים ישתמשו בהם בו־זמנית; מה אורך המסמכים; Windows או Linux; האם המפעל צריך להתקין מראש את תמונת המערכת שלכם; מהי האחריות וכיצד מתבצעים תיקונים; צריכת החשמל ורמת הרעש במשרד.
איך אנחנו עוזרים
ספרו לנו אילו מודלים אתם רוצים להריץ וכמה משתמשים יש לכם. נציע תצורה, נבקש מהמפעל לאשר תאימות בכתב ונוכל לדאוג להתקנת תמונת המערכת שלכם לפני המשלוח.