Semakin banyak syarikat mahukan pembantu AI yang menggunakan dokumen mereka sendiri tanpa menghantar data ke awan. Faktor penentu bukanlah jenama pemproses, tetapi memori — berapa banyak memori yang boleh digunakan oleh model. Berikut ialah cara memadankan komputer dengan tugas.
Mengapa menjalankan AI secara setempat
Data kekal di pejabat: kontrak, rekod perubatan atau akaun tidak pernah keluar daripada rangkaian syarikat. Tiada caj bagi setiap permintaan, dan sistem terus berfungsi tanpa internet. Sebagai pertukarannya, anda perlu memilih dan menyelenggara perkakasan sendiri.
Memori menentukan model yang boleh anda jalankan
Model bahasa diukur dalam berbilion-bilion parameter. Apabila dimampatkan kepada 4 bit — kaedah biasa untuk menjalankannya secara setempat — model memerlukan sedikit lebih daripada setengah gigabait memori bagi setiap bilion parameter, serta ruang untuk perbualan. Secara kasar: model 8 bilion parameter memerlukan kira-kira 6 GB, model 32 bilion parameter kira-kira 20 GB dan model 70 bilion parameter kira-kira 40–45 GB.
Yang penting ialah memori yang boleh digunakan oleh pemproses grafik atau pemecut AI. Dalam komputer dengan memori bersepadu, pemproses dan pemproses grafik berkongsi satu takungan memori, jadi stesen kerja dengan 128 GB boleh memperuntukkan sehingga 96 GB kepada model.
Tiga kelas perkakasan
Komputer papan tunggal dengan NPU berkeupayaan 1 hingga 6 TOPS dan memori 8–16 GB boleh mengendalikan penglihatan komputer — pengiraan, pengesanan, pembacaan teks — dan model bahasa kecil. Komputer ini sesuai untuk makmal latihan dan peranti yang beroperasi di premis.
PC mini dengan pemproses Intel Core Ultra atau AMD Ryzen AI dan memori 32–64 GB boleh menjalankan model 8–14 bilion parameter untuk beberapa orang pengguna — contohnya, pembantu dokumen untuk pejabat kecil.
Stesen kerja dengan memori bersepadu 128–192 GB boleh menjalankan model sehingga kira-kira 70 bilion parameter dan menyokong sebuah pasukan kecil. Puluhan pengguna serentak memerlukan pelayan dengan kad grafik profesional — yang memerlukan bajet berbeza.
NPU atau pemproses grafik?
NPU cekap untuk tugas tertentu, tetapi bukan semua model dan program menyokongnya. Alat popular untuk menjalankan model bahasa secara setempat, seperti Ollama, LM Studio dan llama.cpp, bergantung terutamanya pada pemproses dan pemproses grafik. Sebelum membeli, semak sama ada perisian anda menyokong cip yang tepat — kami meminta pihak kilang mengesahkan perkara ini secara bertulis.
Senarai semak sebelum membuat pesanan
Model yang hendak digunakan dan saiznya; bilangan pengguna serentak; panjang dokumen; Windows atau Linux; sama ada pihak kilang perlu memasang imej sistem anda terlebih dahulu; jaminan dan proses pembaikan; penggunaan kuasa dan bunyi bising di pejabat.
Cara kami membantu
Beritahu kami model yang ingin anda jalankan dan bilangan pengguna anda. Kami mencadangkan konfigurasi, meminta pihak kilang mengesahkan keserasian secara bertulis dan boleh mengatur pemasangan imej sistem anda sebelum penghantaran.