Ngày càng nhiều doanh nghiệp muốn có trợ lý AI làm việc với tài liệu nội bộ mà không gửi dữ liệu lên đám mây. Yếu tố quyết định không phải là thương hiệu bộ xử lý mà là bộ nhớ — cụ thể là dung lượng bộ nhớ mà mô hình có thể sử dụng. Dưới đây là cách chọn máy tính phù hợp với tác vụ.
Vì sao nên chạy AI cục bộ
Dữ liệu được lưu giữ trong văn phòng: hợp đồng, hồ sơ bệnh án hoặc sổ sách kế toán không bao giờ rời khỏi mạng doanh nghiệp. Không mất phí cho mỗi yêu cầu và hệ thống vẫn hoạt động khi không có internet. Đổi lại, doanh nghiệp phải tự lựa chọn và bảo trì phần cứng.
Bộ nhớ quyết định mô hình có thể chạy
Quy mô mô hình ngôn ngữ được đo bằng hàng tỷ tham số. Khi được nén xuống 4 bit — cách thường dùng để chạy cục bộ — mô hình cần hơn nửa gigabyte bộ nhớ một chút cho mỗi tỷ tham số, cộng thêm dung lượng cho cuộc hội thoại. Ước tính: mô hình 8 tỷ tham số cần khoảng 6 GB, mô hình 32 tỷ tham số cần khoảng 20 GB và mô hình 70 tỷ tham số cần khoảng 40–45 GB.
Điều quan trọng là dung lượng bộ nhớ mà bộ xử lý đồ họa hoặc bộ tăng tốc AI có thể sử dụng. Trong máy tính có bộ nhớ hợp nhất, bộ xử lý và bộ xử lý đồ họa dùng chung một vùng bộ nhớ, vì vậy máy trạm có 128 GB có thể cấp tới 96 GB cho mô hình.
Ba nhóm phần cứng
Máy tính đơn bo mạch có NPU đạt 1 đến 6 TOPS và bộ nhớ 8–16 GB xử lý các tác vụ thị giác máy tính — đếm, phát hiện, đọc văn bản — cùng các mô hình ngôn ngữ nhỏ. Chúng phù hợp với phòng thực hành đào tạo và thiết bị hoạt động tại chỗ.
Máy tính mini có bộ xử lý Intel Core Ultra hoặc AMD Ryzen AI và bộ nhớ 32–64 GB chạy được các mô hình 8–14 tỷ tham số cho một vài người dùng — ví dụ, trợ lý xử lý tài liệu cho văn phòng nhỏ.
Máy trạm có bộ nhớ hợp nhất 128–192 GB chạy được các mô hình lên tới khoảng 70 tỷ tham số và phục vụ một nhóm nhỏ. Để phục vụ hàng chục người dùng đồng thời, cần máy chủ có card đồ họa chuyên nghiệp — với mức ngân sách khác.
NPU hay bộ xử lý đồ họa?
NPU hoạt động hiệu quả với các tác vụ cụ thể, nhưng không phải mô hình và chương trình nào cũng hỗ trợ. Các công cụ phổ biến để chạy mô hình ngôn ngữ cục bộ, như Ollama, LM Studio và llama.cpp, chủ yếu dựa vào bộ xử lý và bộ xử lý đồ họa. Trước khi mua, hãy kiểm tra xem phần mềm của quý doanh nghiệp có hỗ trợ đúng mẫu chip đó hay không — chúng tôi yêu cầu nhà máy xác nhận điều này bằng văn bản.
Danh sách kiểm tra trước khi đặt hàng
Sử dụng mô hình nào và quy mô bao nhiêu; bao nhiêu người sẽ sử dụng đồng thời; độ dài của tài liệu; Windows hay Linux; có cần nhà máy cài đặt sẵn bản ảnh hệ thống của quý doanh nghiệp hay không; chế độ bảo hành và quy trình sửa chữa; mức tiêu thụ điện và độ ồn trong văn phòng.
Chúng tôi hỗ trợ như thế nào
Hãy cho chúng tôi biết quý doanh nghiệp muốn chạy những mô hình nào và có bao nhiêu người dùng. Chúng tôi đề xuất cấu hình, yêu cầu nhà máy xác nhận khả năng tương thích bằng văn bản và có thể thu xếp cài đặt bản ảnh hệ thống của quý doanh nghiệp trước khi giao hàng.