บริษัทจำนวนมากขึ้นต้องการผู้ช่วย AI ที่ทำงานกับเอกสารของตนเองได้โดยไม่ส่งข้อมูลขึ้นคลาวด์ ปัจจัยชี้ขาดไม่ใช่แบรนด์ของหน่วยประมวลผล แต่เป็นหน่วยความจำ โดยเฉพาะปริมาณที่โมเดลสามารถใช้ได้ ต่อไปนี้คือวิธีเลือกคอมพิวเตอร์ให้เหมาะกับงาน
ทำไมจึงควรรัน AI ภายในองค์กร
ข้อมูลยังคงอยู่ในสำนักงาน ไม่ว่าจะเป็นสัญญา เวชระเบียน หรือข้อมูลบัญชี ก็ไม่ออกจากเครือข่ายบริษัท ไม่มีค่าบริการต่อคำขอ และระบบยังทำงานได้แม้ไม่มีอินเทอร์เน็ต สิ่งที่ต้องแลกคือคุณต้องเลือกและดูแลฮาร์ดแวร์เอง
หน่วยความจำเป็นตัวกำหนดว่าคุณรันโมเดลใดได้
ขนาดของโมเดลภาษาวัดด้วยจำนวนพารามิเตอร์ในระดับพันล้าน เมื่อบีบอัดเหลือ 4 bits ซึ่งเป็นวิธีที่นิยมใช้ในการรันภายในองค์กร โมเดลจะต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพารามิเตอร์หนึ่งพันล้านตัว และต้องมีพื้นที่เพิ่มเติมสำหรับบทสนทนา โดยคร่าว ๆ โมเดลขนาด 8 พันล้านพารามิเตอร์ต้องใช้ประมาณ 6 GB โมเดลขนาด 32 พันล้านพารามิเตอร์ใช้ประมาณ 20 GB และโมเดลขนาด 70 พันล้านพารามิเตอร์ใช้ประมาณ 40–45 GB
สิ่งสำคัญคือหน่วยความจำที่หน่วยประมวลผลกราฟิกหรือตัวเร่งการประมวลผล AI สามารถใช้ได้ ในคอมพิวเตอร์ที่ใช้หน่วยความจำแบบรวม หน่วยประมวลผลหลักและหน่วยประมวลผลกราฟิกจะใช้หน่วยความจำชุดเดียวกัน ดังนั้นเวิร์กสเตชันที่มีหน่วยความจำ 128 GB จึงสามารถจัดสรรให้โมเดลได้สูงสุด 96 GB
ฮาร์ดแวร์ 3 กลุ่ม
คอมพิวเตอร์บอร์ดเดี่ยวที่มี NPU ขนาด 1 ถึง 6 TOPS และหน่วยความจำ 8–16 GB รองรับงานคอมพิวเตอร์วิทัศน์ เช่น การนับ การตรวจจับ การอ่านข้อความ รวมถึงโมเดลภาษาขนาดเล็ก เหมาะสำหรับห้องปฏิบัติการฝึกอบรมและอุปกรณ์ที่ทำงาน ณ จุดใช้งาน
มินิพีซีที่ใช้หน่วยประมวลผล Intel Core Ultra หรือ AMD Ryzen AI และมีหน่วยความจำ 32–64 GB สามารถรันโมเดลขนาด 8–14 พันล้านพารามิเตอร์สำหรับผู้ใช้ไม่กี่คนได้ เช่น ผู้ช่วยด้านเอกสารสำหรับสำนักงานขนาดเล็ก
เวิร์กสเตชันที่มีหน่วยความจำแบบรวมขนาด 128–192 GB สามารถรันโมเดลขนาดสูงสุดประมาณ 70 พันล้านพารามิเตอร์และรองรับทีมขนาดเล็กได้ หากมีผู้ใช้พร้อมกันหลายสิบคน จะต้องใช้เซิร์ฟเวอร์ที่มีการ์ดกราฟิกระดับมืออาชีพ ซึ่งต้องใช้งบประมาณอีกระดับหนึ่ง
NPU หรือหน่วยประมวลผลกราฟิก?
NPU มีประสิทธิภาพสำหรับงานเฉพาะทาง แต่ไม่ใช่ทุกโมเดลและทุกโปรแกรมที่รองรับ เครื่องมือยอดนิยมสำหรับรันโมเดลภาษาภายในองค์กร เช่น Ollama, LM Studio และ llama.cpp พึ่งพาหน่วยประมวลผลหลักและหน่วยประมวลผลกราฟิกเป็นหลัก ก่อนซื้อ ควรตรวจสอบว่าซอฟต์แวร์ของคุณรองรับชิปรุ่นนั้นโดยตรงหรือไม่ เราจะขอให้โรงงานยืนยันเรื่องนี้เป็นลายลักษณ์อักษร
รายการตรวจสอบก่อนสั่งซื้อ
จะใช้โมเดลใดและขนาดเท่าใด มีผู้ใช้พร้อมกันกี่คน เอกสารมีความยาวเท่าใด ใช้ Windows หรือ Linux ต้องการให้โรงงานติดตั้งอิมเมจระบบของคุณล่วงหน้าหรือไม่ การรับประกันและขั้นตอนการซ่อมเป็นอย่างไร รวมถึงการใช้พลังงานและระดับเสียงเมื่อใช้งานในสำนักงาน
เราช่วยคุณอย่างไร
แจ้งเราว่าคุณต้องการรันโมเดลใดและมีผู้ใช้กี่คน เราจะแนะนำสเปก ขอให้โรงงานยืนยันความเข้ากันได้เป็นลายลักษณ์อักษร และสามารถจัดให้ติดตั้งอิมเมจระบบของคุณก่อนจัดส่งได้