Lokalni AI
Lokalni AI na običnom računaru: šta može grafička kartica od 12 GB
Ne treba vam serverska sala da biste probali lokalni AI. Jedne noći sam na običnom kućnom računaru izmerio 22 različite postavke — i rezultat je bolji nego što sam očekivao.
Računar na kom sam merio
Grafička kartica NVIDIA RTX 3060 sa 12 GB memorije i 32 GB radne memorije računara. To je oprema kakvu ima mnogo kućnih i kancelarijskih računara, i koja se lako nabavlja.
Šta sam izmerio
| Model | Brzina | Prvi deo odgovora |
|---|---|---|
| Gemma 4 26B | oko 55 tokena/s | posle 0,4 s |
| Qwen 3.6 35B | oko 40 tokena/s, sa ubrzanjem do 51 | za manje od sekunde |
Za poređenje: čovek čita oko četiri do pet reči u sekundi, a model za to vreme napiše nekoliko puta više. Odgovor se dakle pojavljuje brže nego što ga stignete pročitati. Srpski je kod oba modela bio dobar, a jednostavnu igricu u pregledaču model je napravio iz jednog zahteva.
Gde je granica
- sa 8 GB radne memorije ovi modeli ne staju — ostaju manji i slabiji modeli
- jedan računar dobro služi jednog do dva korisnika; za celu kancelariju treba jača mašina
- najjači modeli (stotine milijardi parametara) traže opremu sa 100 GB i više memorije
Za probu i za jednog korisnika obično nije potrebna nova kupovina. Prvo se izmeri na onome što već imate, pa se tek onda odlučuje o opremi.
