Yhä useampi yritys haluaa tekoälyavustajia, jotka käsittelevät yrityksen omia asiakirjoja lähettämättä tietoja pilveen. Ratkaisevaa ei ole suorittimen merkki vaan muisti — se, kuinka paljon muistia malli voi käyttää. Näin valitset tehtävään sopivan tietokoneen.
Miksi tekoälyä kannattaa suorittaa paikallisesti
Tiedot pysyvät toimistossa: sopimukset, potilastiedot tai kirjanpitoaineistot eivät koskaan poistu yrityksen verkosta. Pyyntökohtaisia maksuja ei ole, ja järjestelmä toimii myös ilman internetyhteyttä. Vastapainona on se, että valitset ja ylläpidät laitteiston itse.
Muisti ratkaisee, mitä mallia voit käyttää
Kielimallien kokoa mitataan miljardeina parametreina. Kun malli on pakattu 4 bittiin — mikä on tavallinen tapa suorittaa malleja paikallisesti — se tarvitsee hieman yli puoli gigatavua muistia miljardia parametria kohden sekä tilaa keskustelulle. Karkeasti arvioiden 8 miljardin parametrin malli tarvitsee noin 6 GB, 32 miljardin parametrin malli noin 20 GB ja 70 miljardin parametrin malli noin 40–45 GB.
Ratkaisevaa on muisti, jota grafiikkasuoritin tai tekoälykiihdytin voi käyttää. Yhtenäismuistia käyttävissä tietokoneissa suoritin ja grafiikkasuoritin käyttävät samaa muistia, joten 128 GB:n työasema voi antaa mallin käyttöön jopa 96 GB.
Kolme laitteistoluokkaa
Yhden piirilevyn tietokoneet, joissa on 1–6 TOPS:n NPU ja 8–16 GB muistia, soveltuvat konenäköön — laskentaan, kohteiden tunnistamiseen ja tekstin lukemiseen — sekä pienten kielimallien suorittamiseen. Ne sopivat opetuslaboratorioihin ja paikallisesti toimiviin laitteisiin.
Mini-PC:t, joissa on Intel Core Ultra- tai AMD Ryzen AI -suoritin ja 32–64 GB muistia, suorittavat 8–14 miljardin parametrin malleja muutamalle käyttäjälle — esimerkiksi pienen toimiston asiakirja-avustajana.
Työasemat, joissa on 128–192 GB yhtenäismuistia, suorittavat jopa noin 70 miljardin parametrin malleja ja palvelevat pientä tiimiä. Kymmenet samanaikaiset käyttäjät tarvitsevat ammattikäyttöön tarkoitetuilla näytönohjaimilla varustetun palvelimen — ja eri kokoluokan budjetin.
NPU vai grafiikkasuoritin?
NPU on tehokas tietyissä tehtävissä, mutta kaikki mallit ja ohjelmat eivät tue sitä. Suositut kielimallien paikalliseen suorittamiseen tarkoitetut työkalut, kuten Ollama, LM Studio ja llama.cpp, käyttävät pääasiassa suoritinta ja grafiikkasuoritinta. Tarkista ennen ostamista, että ohjelmistosi tukee juuri kyseistä piiriä — pyydämme tehtaalta tästä kirjallisen vahvistuksen.
Tarkistuslista ennen tilaamista
Mitä malleja käytetään ja minkä kokoisia ne ovat; kuinka monta samanaikaista käyttäjää on; kuinka pitkiä asiakirjat ovat; Windows vai Linux; halutaanko tehtaan esiasentavan järjestelmän levykuvan; takuu ja korjausten järjestäminen; virrankulutus ja melu toimistossa.
Miten autamme
Kerro meille, mitä malleja haluat käyttää ja kuinka monta käyttäjää sinulla on. Ehdotamme kokoonpanoa, pyydämme tehtaalta kirjallisen vahvistuksen yhteensopivuudesta ja voimme järjestää järjestelmäsi levykuvan asennuksen ennen toimitusta.