Semakin banyak perusahaan menginginkan asisten AI yang bekerja dengan dokumen internal tanpa mengirimkan data ke cloud. Faktor penentunya bukan merek prosesor, melainkan memori — seberapa banyak yang dapat digunakan oleh model. Berikut cara menyesuaikan komputer dengan tugasnya.
Mengapa menjalankan AI secara lokal
Data tetap berada di kantor: kontrak, rekam medis, atau catatan keuangan tidak pernah keluar dari jaringan perusahaan. Tidak ada biaya per permintaan, dan sistem tetap bekerja tanpa internet. Konsekuensinya, Anda harus memilih dan memelihara perangkat keras sendiri.
Memori menentukan model yang dapat Anda jalankan
Ukuran model bahasa diukur dalam miliaran parameter. Saat dikompresi menjadi 4 bit — cara yang umum digunakan untuk menjalankannya secara lokal — model membutuhkan sedikit lebih dari setengah gigabita memori per miliar parameter, ditambah ruang untuk percakapan. Sebagai perkiraan: model dengan 8 miliar parameter membutuhkan sekitar 6 GB, model dengan 32 miliar parameter sekitar 20 GB, dan model dengan 70 miliar parameter sekitar 40–45 GB.
Yang menentukan adalah memori yang dapat digunakan oleh prosesor grafis atau akselerator AI. Pada komputer dengan memori terpadu, prosesor dan prosesor grafis berbagi satu kumpulan memori, sehingga workstation dengan 128 GB dapat mengalokasikan hingga 96 GB untuk model.
Tiga kelas perangkat keras
Komputer papan tunggal dengan NPU berkemampuan 1 hingga 6 TOPS dan memori 8–16 GB dapat menangani visi komputer — penghitungan, deteksi, pembacaan teks — serta model bahasa kecil. Perangkat ini cocok untuk laboratorium pelatihan dan perangkat yang bekerja di lokasi.
PC mini dengan prosesor Intel Core Ultra atau AMD Ryzen AI dan memori 32–64 GB dapat menjalankan model dengan 8–14 miliar parameter untuk beberapa pengguna — misalnya, asisten dokumen untuk kantor kecil.
Workstation dengan memori terpadu 128–192 GB dapat menjalankan model dengan hingga sekitar 70 miliar parameter dan melayani tim kecil. Puluhan pengguna secara bersamaan memerlukan server dengan kartu grafis profesional — dengan kebutuhan anggaran yang berbeda.
NPU atau prosesor grafis?
NPU efisien untuk tugas tertentu, tetapi tidak semua model dan program mendukungnya. Perangkat lunak populer untuk menjalankan model bahasa secara lokal, seperti Ollama, LM Studio, dan llama.cpp, terutama mengandalkan prosesor dan prosesor grafis. Sebelum membeli, pastikan perangkat lunak Anda mendukung cip yang akan digunakan — kami meminta pabrik mengonfirmasi hal ini secara tertulis.
Daftar periksa sebelum memesan
Model apa yang akan digunakan dan berapa ukurannya; berapa orang yang akan menggunakannya secara bersamaan; seberapa panjang dokumennya; Windows atau Linux; apakah pabrik perlu memasang citra sistem Anda terlebih dahulu; garansi dan prosedur perbaikan; konsumsi daya dan tingkat kebisingan di kantor.
Cara kami membantu
Sampaikan kepada kami model yang ingin Anda jalankan dan jumlah penggunanya. Kami menyarankan konfigurasi, meminta pabrik mengonfirmasi kompatibilitas secara tertulis, dan dapat mengatur pemasangan citra sistem Anda sebelum pengiriman.