Giderek daha fazla şirket, verileri buluta göndermeden kendi belgeleriyle çalışan yapay zekâ asistanları istiyor. Belirleyici unsur işlemci markası değil, bellek; yani modelin ne kadar bellek kullanabildiğidir. Bilgisayarı yapılacak işe göre nasıl seçeceğinizi açıklıyoruz.
Yapay zekâyı neden yerel olarak çalıştırmalısınız?
Veriler ofiste kalır: sözleşmeler, tıbbi kayıtlar veya muhasebe kayıtları şirket ağının dışına çıkmaz. İstek başına ücret ödenmez ve sistem internet olmadan da çalışmaya devam eder. Bunun karşılığında donanımı kendiniz seçmeniz ve bakımını üstlenmeniz gerekir.
Hangi modeli çalıştırabileceğinizi bellek belirler
Dil modellerinin boyutu milyarlarca parametreyle ölçülür. Yerel çalıştırmada yaygın yöntem olan 4 bit sıkıştırma uygulandığında, bir model her milyar parametre için yarım gigabayttan biraz fazla belleğe ve ayrıca konuşma için ek alana ihtiyaç duyar. Kabaca, 8 milyar parametreli bir model yaklaşık 6 GB, 32 milyar parametreli bir model yaklaşık 20 GB ve 70 milyar parametreli bir model yaklaşık 40–45 GB bellek gerektirir.
Önemli olan, grafik işlemcisinin veya yapay zekâ hızlandırıcısının kullanabildiği bellektir. Birleşik belleğe sahip bilgisayarlarda işlemci ve grafik işlemcisi aynı bellek havuzunu paylaşır. Bu nedenle 128 GB belleğe sahip bir iş istasyonu modele 96 GB’a kadar bellek ayırabilir.
Üç donanım sınıfı
1 ile 6 TOPS arasında işlem kapasitesine sahip NPU ve 8–16 GB bellek içeren tek kartlı bilgisayarlar, bilgisayarlı görü görevlerini — sayma, tespit ve metin okuma — yerine getirir ve küçük dil modellerini çalıştırır. Eğitim laboratuvarları ve sahada çalışan cihazlar için uygundur.
Intel Core Ultra veya AMD Ryzen AI işlemcili ve 32–64 GB belleğe sahip mini PC’ler, birkaç kullanıcı için 8–14 milyar parametreli modelleri çalıştırır. Küçük bir ofiste kullanılan belge asistanı buna örnektir.
128–192 GB birleşik belleğe sahip iş istasyonları, yaklaşık 70 milyar parametreye kadar olan modelleri çalıştırır ve küçük bir ekibe hizmet verir. Aynı anda onlarca kullanıcıya hizmet vermek için profesyonel ekran kartlarına sahip bir sunucu gerekir; bu da farklı bir bütçe gerektirir.
NPU mu, grafik işlemcisi mi?
NPU belirli görevlerde verimlidir, ancak her model ve program NPU desteği sunmaz. Dil modellerini yerel olarak çalıştırmak için kullanılan Ollama, LM Studio ve llama.cpp gibi yaygın araçlar, ağırlıklı olarak işlemci ve grafik işlemcisinden yararlanır. Satın almadan önce yazılımınızın tam olarak seçtiğiniz yongayı desteklediğini kontrol edin. Biz fabrikadan bunu yazılı olarak teyit etmesini istiyoruz.
Sipariş öncesi kontrol listesi
Hangi modellerin, hangi boyutlarda kullanılacağı; aynı anda kaç kişinin kullanacağı; belgelerin uzunluğu; Windows mu, Linux mu kullanılacağı; fabrikanın sistem imajınızı önceden yükleyip yüklemeyeceği; garanti koşulları ve onarım sürecinin nasıl işlediği; ofis ortamında güç tüketimi ve gürültü düzeyi.
Nasıl yardımcı oluyoruz?
Hangi modelleri çalıştırmak istediğinizi ve kaç kullanıcınız olduğunu bize bildirin. Bir yapılandırma öneriyor, fabrikadan uyumluluğu yazılı olarak teyit etmesini istiyor ve sistem imajınızın sevkiyat öncesinde yüklenmesini sağlayabiliyoruz.