Lokalni AI za firme: veštačka inteligencija koja ne šalje vaše podatke napolje

Šta je zapravo lokalni AI

Jezički model — isti tip programa kao ChatGPT — preuzme se i pokreće na vašem hardveru. Postoje otvoreni modeli koje sme svako da koristi (Qwen, DeepSeek, Gemma i drugi), a najbolji među njima danas pišu, sažimaju i odgovaraju na pitanja sasvim upotrebljivo i na srpskom.

Razlika nije u tome kako se koristi, nego gde radi. Vi i dalje pišete pitanje u prozor i dobijete odgovor, ali ni pitanje ni odgovor ne napuštaju vašu mrežu.

Kome to treba

• kancelarijama koje rade sa poverljivim spisima — advokati, računovođe, agencije
• ordinacijama i ustanovama koje čuvaju podatke o zdravlju
• firmama koje imaju mnogo dokumenata, a malo vremena da ih pretražuju
• svima kojima se ne sviđa ideja da tuđa firma vidi njihove cene i ugovore

Šta lokalni AI ume, a šta ne

Iz mog merenja na šest različitih postavki: dobro piše i sređuje tekst na srpskom, sažima dokumenta, odgovara na pitanja iz vaših fajlova i pomaže u pisanju programa. Slabiji je od najjačih plaćenih servisa u dugom, složenom rasuđivanju — i to treba reći unapred.

Zato ga ne postavljam kao zamenu za sve, nego za posao koji se ponavlja i gde su podaci osetljivi. Tu je razlika najveća: nema mesečne pretplate po korisniku, nema slanja podataka, a radi i kad padne internet.

Šta je potrebno

Manje nego što se misli. Za jednu kancelariju često je dovoljan dobar računar sa grafičkom karticom od 12 GB i 32 GB radne memorije — na takvom sam izmerio oko 40–55 reči-delova (tokena) u sekundi, što je brže nego što čovek čita. Skuplja oprema ima smisla tek kad AI koristi više ljudi istovremeno ili kad treba najjači model.

Lokalni AI nije magija ni zamena za ljude. To je alat koji drži vaše podatke kod vas — i koji treba postaviti tako da se meri šta stvarno radi.