Mas maraming kumpanya ang naghahanap ng mga AI assistant na gumagamit ng sarili nilang mga dokumento nang hindi nagpapadala ng data sa cloud. Ang mapagpasyang salik ay hindi ang brand ng processor kundi ang memory — kung gaano karami nito ang magagamit ng model. Narito kung paano itugma ang computer sa gawain.
Bakit patakbuhin ang AI nang lokal
Nananatili sa opisina ang data: hindi lumalabas sa network ng kumpanya ang mga kontrata, medikal na rekord, o talaan ng mga account. Walang bayad sa bawat request, at patuloy na gumagana ang system kahit walang internet. Ang kapalit nito ay kayo mismo ang pipili at magme-maintain ng hardware.
Memory ang nagtatakda kung aling model ang mapapatakbo ninyo
Sinusukat ang mga language model sa bilyun-bilyong parameter. Kapag na-compress sa 4 bits — ang karaniwang paraan para patakbuhin ang mga ito nang lokal — kailangan ng isang model ng bahagyang higit sa kalahating gigabyte ng memory sa bawat bilyong parameter, kasama ang dagdag na espasyo para sa pag-uusap. Bilang pagtatantiya: ang model na may 8 bilyong parameter ay nangangailangan ng humigit-kumulang 6 GB, ang may 32 bilyon ay mga 20 GB, at ang may 70 bilyon ay mga 40–45 GB.
Ang mahalaga ay ang memory na magagamit ng graphics o AI accelerator. Sa mga computer na may unified memory, iisang memory pool ang pinagsasaluhan ng processor at graphics, kaya ang workstation na may 128 GB ay maaaring maglaan ng hanggang 96 GB para sa model.
Tatlong klase ng hardware
Kayang pangasiwaan ng mga single-board computer na may NPU na 1 hanggang 6 TOPS at 8–16 GB na memory ang computer vision — pagbibilang, pagtukoy, at pagbasa ng teksto — at maliliit na language model. Angkop ang mga ito sa mga laboratoryo para sa pagsasanay at mga device na gumagana sa mismong lugar.
Ang mga mini PC na may Intel Core Ultra o AMD Ryzen AI na processor at 32–64 GB na memory ay nakakapagpatakbo ng mga model na may 8–14 bilyong parameter para sa iilang user — halimbawa, isang document assistant para sa maliit na opisina.
Ang mga workstation na may 128–192 GB na unified memory ay nakakapagpatakbo ng mga model na may hanggang humigit-kumulang 70 bilyong parameter at nakakapagsilbi sa isang maliit na team. Para sa dose-dosenang sabay-sabay na user, kailangan ang server na may mga propesyonal na graphics card — ibang antas ng badyet ito.
NPU o graphics?
Mahusay ang NPU para sa mga partikular na gawain, pero hindi ito sinusuportahan ng lahat ng model at program. Ang mga sikat na tool para sa lokal na pagpapatakbo ng mga language model, gaya ng Ollama, LM Studio, at llama.cpp, ay pangunahing umaasa sa processor at graphics. Bago bumili, tiyaking sinusuportahan ng inyong software ang eksaktong chip — hinihiling namin sa pabrika na kumpirmahin ito nang nakasulat.
Checklist bago umorder
Aling mga model at gaano kalaki ang mga ito; ilang tao ang sabay-sabay na gagamit; gaano kahaba ang mga dokumento; Windows o Linux; kung dapat bang i-preinstall ng pabrika ang inyong system image; ang warranty at proseso ng pagkukumpuni; konsumo ng kuryente at ingay sa opisina.
Paano kami tumutulong
Sabihin sa amin kung aling mga model ang gusto ninyong patakbuhin at kung ilan ang inyong user. Magmumungkahi kami ng configuration, hihiling sa pabrika ng nakasulat na kumpirmasyon ng compatibility, at maaari naming ipa-install ang inyong system image bago ipadala ang mga unit.