Lokalni AI
NVIDIA DGX Spark u praksi: izmerene brzine i šta se ne vidi u reklamama
DGX Spark je mala NVIDIA mašina sa 128 GB zajedničke memorije, napravljena za lokalni AI. Imam ih četiri i koristim ih svaki dan. Ovo je ono što bih voleo da sam znao pre prve.
Brojka iz naslova nije brojka za vašu mašinu
Za jedan od najjačih modela koji staju na jedan Spark (DeepSeek V4 Flash) recept na internetu u naslovu navodi oko 52 tokena u sekundi. Nekoliko redova niže, u tabeli po opremi, za jedan Spark piše 24,7. Ja sam izmerio 23,7 do 25,1 na srpskom — recept je tačan, samo je naslov bio za drugu opremu.
Uz svaku brojku sa interneta proverite red za VAŠ hardver i vaš jezik. Naslov je reklama.
Dve mašine zajedno
Dva Sparka se mogu povezati brzim kablom da zajedno pokreću jedan veći model. Na jednom zahtevu to malo ubrzava, ali je prava vrednost drugde: kada više ljudi šalje duge zahteve istovremeno, jedna mašina se zaguši, a par izdrži. Za kancelariju sa više korisnika to je važnije od brzine jednog odgovora.
Memorija je važnija od brzine
Najbrža postavka jednog modela zauzela je 97 od oko 120 GB memorije — i posle nje nije ostalo mesta ni za šta drugo, recimo za pravljenje slika. Kad sam na drugoj mašini izabrao model koji zauzima 58 GB umesto 85, prvi put su tekst i slike mogli da rade uporedo. U praksi je to često važnije od nekoliko tokena u sekundi više.
Kome se Spark isplati
- kad AI koristi više ljudi u isto vreme
- kad treba najjači otvoreni model, koji ne staje u obične grafičke kartice
- kad na istoj mašini treba i tekst, i slike, i glas
Za jednog korisnika i svakodnevne poslove dovoljan je i običan računar sa dobrom grafičkom karticom — o tome u posebnom tekstu.
