Super-ciklus AI Infra, o ovih šest pravaca morate da znate
Uspon DeepSeek-a početkom 2025. godine učinio je da sve više ljudi shvati jednu ključnu stvar: takmičenje u velikim modelima odavno nije samo stvar samog modela — inženjerske optimizacije tokom obučavanja i izvođenja su podjednako ključne.
Vikendom sam proučavao tehnički post profesora Džu Jibo-a i bio sam duboko inspirisan. Šest ključnih pravaca AI Infra koje je profesor Jibo sumirao pokušaću da vam objasnim na način koji mi programeri možemo da razumemo.
Iskreno, ako biste ova šest pravaca čitali kroz naučne radove, zaista bi vam zagoreli mozak. Ali kada ih razumete, shvatićete zašto će AI Infra u 2026. postati super-ciklus, i u kom pravcu mi Java programeri i AI programeri zapravo treba da delujemo. Hajde da ih direktno raščlanimo jedan po jedan.
01. Distribuirano izvođenje: neka model radi brže
Da bismo razumeli distribuirano izvođenje, prvo moramo da razjasnimo dva osnovna koncepta. Mešoviti model stručnjaka MoE sastoji se od upravljačke mreže i više modela stručnjaka; upravljačka mreža bira odgovarajućeg stručnjaka za obradu problema, pri čemu različiti stručnjaci vladaju različitim oblastima, a ključna osobina je „retka aktivacija“, odnosno pri obradi jednog zahteva aktivira se samo mali broj stručnjaka.
Auto-regresivna arhitektura samo za dekodiranje je način na koji model generiše tekst, a izvođenje se deli na prefill i decode faze.
Prefill pretvara ulaz u K i V i generiše prvi token, dok decode na osnovu postojećih K i V postepeno generiše izlaz. Ove dve faze imaju potpuno različite potrebe za resursima: prefill je računski intenzivna, dok je decode intenzivna po pristupu memoriji.
Kada razumete ove dve osnove, možete da shvatite i trenutno glavni pravac optimizacije.
Pošto različite faze imaju različite potrebe za resursima, razdvojimo ih u zasebna raspoređivanja — i tu nastaje PD separacija.
Rad DistServe prvi put predlaže ovaj koncept: rasporediti prefill i decode na različite uređaje, ili na različite GPU-ove istog uređaja, čime se izbegava međusobno ometanje i omogućava nezavisna optimizacija dva ključna indikatora — TTFT (vreme odziva prvog tokena) i TPOT (prosečno vreme generisanja narednih tokena).
Možete se zapitati: kakvu korist donosi takvo razdvajanje rasporeda?
Prema eksperimentalnim podacima rada i praksi usluga masovnog izvođenja, sa istim resursima PD separacija zaista može da primi više zahteva, ili da istom zahtevu pruži bolju brzinu odziva. Iskreno, efekat ove optimizacije u inženjerskoj praksi je vrlo uočljiv.
Ali PD separacija nije savršena, naročito u scenarijima sa zahtevima promenljive dužine, gde se javlja problem disbalansa proizvođač-potrošač.
Brzina obrade instance za prefill i brzina potrošnje instance za decode se ne poklapaju, što dovodi do toga da je stepen iskorišćenosti resursa nekih instanci previše nizak ili preopterećen. Zato rad DOPD predlaže strategiju dinamičkog podešavanja P i D instanci, koja automatsko skaliranje ostvaruje kroz komponente za nadzor resursa, rutiranje zahteva, KV komunikaciju i sl., što je naročito efikasno u scenarijima sa velikim oscilacijama opterećenja.
Dalji pravac optimizacije glasi: ako se prefill i decode mogu razdvojiti, da li se i modul pažnje i modul unapredne mreže u decode fazi mogu razdvojiti?
AFD arhitektura koju predlaže rad Step-3 modela prati baš tu ideju — rasporeduje modul Attention-a intenzivan po pristupu memoriji i modul FFN intenzivan po računanju na različite uređaje.
Eksperimentalni podaci pokazuju da korišćenjem H20 za instance Attention-a i H800 za instance FFN-a istovremeno poboljšava efikasnost i smanjuje troškove hardvera; čak se za FFN deo može razmotriti i kineski domaći hardver, čime se prekida jednolina zavisnost od vrhunskih GPU-ova.
Pogledajmo sada i problem raspoređivanja MoE modela na više mašina. Mainstream veliki modeli, kao što je DeepSeek V3 serija, imaju oko 14 hiljada modela stručnjaka, što jedna kartica ili jedan server naprosto ne mogu da podnesu.
Osobina retke aktivacije MoE modela znači da se pri svakom ulazu aktivira samo mali broj stručnjaka, dok je računska snaga neaktiviranih stručnjaka u stanju mirovanja. Istovremeno, pri raspoređivanju na više mašina, ako GPU komunikacija koristi tradicionalnu biblioteku kao što je NCCL, efikasnost je niska, jer NCCL odlično barata punom gustom komunikacijom, dok MoE zahteva prenos po potrebi.
DeepEP komunikaciona biblioteka koju je DeepSeek objavila kao open-source projektovana je posebno za MoE retku komunikaciju, podržava native FP8 preciznost komunikacije i poseduje sposobnost preklapanja komunikacije i računanja. Tencent-ova Mrežna platforma odeljenja je na toj osnovi dodatno optimizovala koristeći TRMT tehnologiju, što je drastično unapredilo efikasnost na RoCE mreži. Zaista, ovakva ciljana optimizacija u inženjerskoj praksi ima ogromnu vrednost.
02. Programski jezik orijentisan na Tile: neka optimizacija operatora bude jednostavnija
Optimizacija kernela za visokoefikasno obučavanje ili izvođenje uvek je bio vrlo fin posao.
Potrebno je precizno definisati kako se raspoređuju thread, block i grid, kako se koriste jezgra za tensor izračunavanje različitog hardvera i kako se pristupa različitim nivoima keša. Tradicionalni pristup optimizaciji je zasnovan na finom dizajnu prilagođenom osobinama hardvera, uz složene metode štimanja, sa osnovnim ciljem da se podaci obrade visokoefikasno i time unapredi ukupna efikasnost operatora ili modela.
Postavlja se pitanje: može li postojati programski jezik koji bi omogućio programerima da se fokusiraju samo na razvoj toka podataka, bez prevelikog osvrćanja na raspoređivanje niskog nivoa? TileLang je upravo tehničko istraživanje u tom pravcu.
TileLang je jezik koji potpuno odvaja tok podataka od logike raspoređivanja; programeri se fokusiraju samo na logiku toka podataka, dok se strategija raspoređivanja prepušta kompajleru.
U radu je naveden primer množenja matrica — sa samo nekoliko jednostavnih definicija matrica, alokacijom memorije, definicijom cevovoda i pozivom operatora, realizovano je množenje matrica.
Ovaj jezik nudi tri nivoa programiranja. Osnovna verzija opisuje samo blokove podataka i logiku izračunavanja, dok se sve ostale detalji implementacije na hardveru i optimizacija prepštavaju kompajleru. Napredna verzija može pozivati neke zapakovane operatore, balansirajući efikasnost razvoja i fleksibilnost. Fina verzija omogućava programiranje na nivou niti za scenarije gde je potrebna ekstremna optimizacija performansi. Ova tri nivoa se mogu i mešati.
Prema eksperimentalnim podacima rada, TileLang može sa malo koda da pruži bolju efikasnost modela. Vredno pomena je i to da zvanična dokumentacija DeepSeek V3.2 izričito navodi kako su neki operatori rekonstruisani koristeći TileLang. Ovo posebno svedoči o praktičnoj vrednosti te tehnologije.
03. RL razdvajanje obučavanja i izvođenja: rešavanje konflikta resursa između obučavanja i izvođenja
Skup podataka koji se koristi za obučavanje pojačavanjem generiše se izvođenjem modela, ili kombinacijom izvođenja modela i ljudskog označavanja. Ako se zadatak obučavanja i zadatak izvođenja koji generiše skup podataka rasporte na isti klaster, poteškoće u raspoređivanju i zakazivanju zaista su manje, ali se javljaju nekoliko očiglednih problema.
Pristup optimizaciji u fazi obučavanja i u fazi izvođenja potpuno je različit; međusobno ih optimizovati zajedno je izuzetno teško i oni utiču jedni na druge. Zahtevi obučavanja i izvođenja prema hardveru takođe se razlikuju, pa se heterogeneous raspored hardvera ne može iskoristiti za poboljšanje odnosa cene i kvaliteta. Ako se u bilo kojoj od faza pojavi izuzetak, uticaće na drugu fazu.
Rešenje je stara ideja — decouple-ovati ove dve faze i optimizovati ih nezavisno. Ali praksa razdvajanja obučavanja i izvođenja stvara nove probleme: izlaz izvođenja može proći kroz složenu logiku obrade unutar Agent-a, pa vremenska zavisnost između toka obučavanja i toka izvođenja lako stvara „mehurove“ neiskorišćene računske snage.
Rad SeamlessFlow za prvi problem projektuje ravan za razmenu podataka, smeštenu između Agent-a i LLM-a, čije jezgro čini „menadžer trajektorija“ koji precizno beleži čitav proces poziva LLM-a od strane Agent-a i sve ulaze i izlaze, obezbeđujući konzistenciju; istovremeno, ovaj proces je Agent-u potpuno transparentan.
Za drugi problem SeamlessFlow nudi elegantno rešenje — ne bira između razdvajanja i integracije, već se opredeljuje za fleksibilno raspoređivanje resursa. Kroz mehanizam oznaka dodeljuje zadatke resursima, tako da određeni resursi mogu po potrebi fleksibilno izvršavati ili zadatke izvođenja ili zadatke obučavanja, čime se eliminišu mehurovi računskih resursa.
Ovaj dizajnerski pristup u inženjerskoj praksi zaista je inspirativan — nije crno-beli izbor, već fleksibilno raspoređivanje prema stvarnoj situaciji.
04. Ko-dizajn modela i sistema: od optimizacije do dizajna
Skoro sve ideje optimizacije obučavanja ili izvođenja modela zasnovane su na ciljanom poboljšanju na osnovu karakteristika samog modela. Šta ako se već pri dizajniranju modela uzme u obzir hardver sa boljim odnosom cene i kvaliteta?
Step-3 model je projektovan upravo pod pristupom ko-dizajna modela i sistema.
Rad Step-3 uvodi koncept „aritmetičke intenzivnosti“, odnosno broja operacija potrebnih u proseku po bajtu razmene sa memorijom grafičke kartice. Aritmetička intenzivnost zavisi od dizajna Attention modula, a ne od parametara kao što su batch size ili dužina konteksta.
Istovremeno, i računska snaga GPU hardvera i propusnost memorije su fiksni, pa je i odnos snage i propusnosti hardvera fiksan.
Kada je aritmetička intenzivnost modela viša od hardverskog roofline-a, usko grlo postaje računska snaga hardvera; u suprotnom usko grlo je propusnost memorije. Pri dizajnu Attention modula modela, aritmetička intenzivnost treba da bude što je moguće bliža roofline-u mainstream hardvera, kako bi ukupna efikasnost bila bolja. Ovaj dizajnerski pristup zaista je genijalan.
Dizajn šeme kvantizacije takođe se mora uzeti u obzir. Za Attention modul, ako se koristi kvantizacija različite preciznosti, aritmetička intenzivnost modela će se promeniti. Step-3 model, bez obzira na to da li aritmetička intenzivnost raste ili pada, ima odgovarajući hardver koji može da je prati — ta fleksibilnost je posebno važna pri ko-dizajnu modela i sistema.
Ko-dizajn MoE modela i sistemske arhitekture takođe zahteva pažnju na više faktora. U AFD arhitekturi, ako je BatchSize previše veliki, vreme mrežnog prenosa raste i time se povećava TPOT. Zato pri dizajnu modela treba sistematski uskladiti model i sistem, tako da retkost modela, vrednosti skrivenog stanja i broj slojeva budu u razumnom skladu sa tipom kartice, propusnošću mreže i očekivanim TPOT-om.
Ovakav pristup ko-dizajnu, u poređenju sa pukom optimizacijom, može efikasnost poboljšati već u samom korenu.
05. Agent Infra: koliko smo daleko od Džarvisa
Što se tiče Agent Infra, ova oblast je sada zaista vatrena. Hajde da prvo uporedimo mainstream Agent okvire — prvih pet okvira po popularnosti na GitHub-u svaki ima svoje specifičnosti.
AutoGPT je pogodan za razne opšte zadatke i potpuno samostalno izvršava zadatke, ali u kompleksnim scenariosima su konzistentnost konteksta i odnos troška i efikasnosti problem. LangGraph je pogodan za scenarije gde se koraci zadatka mogu jasno razdvojiti, a fleksibilna višekorakna kontrola i lakoća otklanjanja grešaka su prednosti, ali je samostalnost ograničena.
Izbor između Workflow-a i Agent-a je takođe ključan. Workflow je pogodan za procese gde su koraci zadatka utvrđeni i uslovi ograničeni — izvršava zadatke kroz unapred postavljene putanje.
Agent je pogodan za scenarije gde koraci zadatka nemaju fiksna grananja, gde su potrebne odluke unutar konteksta razgovora i dinamička kombinacija više alata.
MCP tehnički standard je takođe novi obrazac u razvoju Agent aplikacija. MCP je standardni protokol koji definiše standarde interakcije između AI aplikacija i spoljnih alata i izvora podataka.
Komponente MCP-a obuhvataju MCP Server, MCP Client i MCP Host. U poređenju sa Function Calling-om, MCP koristi standardni protokol i interfejse, pa je ekosistem bolji.
Skills i MCP su dva važna tehnička standarda za izgradnju Agent-a — Skills upravlja „načinom podučavanja“, a MCP upravlja „čime se radi“.
Skills su moduli koji pakuju stručno znanje, SOP procese i logiku procene, dok je MCP standardizovani protokol povezivanja koji Agent-u daje moć da barata podacima iz stvarnog sveta. Oboje imaju svoje prednosti i mane kada je reč o arhitektonskim performansama, primeni i održavanju, bezbednosnim osobinama i pogodnim scenarijima.
Ali Skills takođe nose bezbednosne rizike. Mehanizam aktivacije na zahtev može dovesti do semantičke otmice i sablasnih instrukcija, zlonamerni skripte u Scripts direktorijumu mogu iskoristiti Bash dozvole Agent-ovog poziva za izvršavanje opasnih radnji, a nesigurna konfiguracija može dovesti do skrivenih bekstvora. Na ove bezbednosne probleme treba obratiti posebnu pažnju i pri razvoju i pri korišćenju Agent-a.
Trenutno zreli Docker kontejneri, tradicionalne virtuelne mašine i Serverless nisu naročito pogodni za nošenje Agent poslova. Tehnologija kontejnera je u suštini izolacija na nivou procesa, pa u višekorisničkom okruženju nosi bezbednosne rizike. Problem vremena pokretanja tradicionalnih virtuelnih mašina korisnici ne mogu da podnesu. Problem održavanja stanja kod Serverless-a dovodi do ogromnih I/O troškova i kašnjenja.
Najbolja praksa Tencent Cloud-a postavlja nekoliko ključnih tehničkih zahteva. Snažna izolacija i bezbednost — kod koji generiše Agent nije pouzdan, pa se mora sprečiti bekstvo. Stabilnost dugih zadataka — zadatak može trajati dugo, prekid veze ne sme dovesti do neuspeha zadatka. Upravljanje stanjem i trajnost — mogućnost oporavka podataka nastalih tokom rada nakon pada. Vidljivost i revizija — mora se znati šta je Agent tačno radio u sandbox-u.
Tencent Cloud pomoću Cube sandbox tehnologije ostvaruje isporuku usluge od 80 ms; tehnologija MVM snimka sa predgrevanjem slike eliminiše hladan start; nezavisan Guest Kernel ostvaruje čvrstu izolaciju; Serverless arhitektura ne troši resurse kada nema zahteva; a mehanizam pauziranja i nastavka omogućava trošak nultog mirovanja. Ovi tehnički instrumenti u inženjerskoj praksi daju primetne rezultate.
06. Hardverska infrastruktura u obliku super-čvora: konačno stremljenje efikasnosti komunikacije
Komunikacija između kartica i između mašina tokom obučavanja i izvođenja sada je neophodna; u poređenju sa RDMA, namenski komunikacioni kanali između GPU-ova su znatno efikasniji. Jezgro super-čvora je da se većem broju kartica omogući komunikacija kroz namenske kanale i formira efikasan ultra-veliki GPU domen.
NVIDIA-in Vera Rubin NVL144 jedan domen obuhvata 144 Rubin GPU-a, podržava FP4, a propusnost jednog domena dostiže 260 TBps.
U scenarijima izvođenja, rast dužine konteksta modela povećava potrebu za računskom snagom kvadratno, a potrebu za memorijom grafičke kartice linearno, što u kombinaciji sa idejama PD separacije i Attention-FFN separacije stvara ogromnu potražnju za propusnošću komunikacije među karticama. Veći NVlink domeni sa velikom propusnošću pružiće povoljniju infrastrukturnu sredinu za usluge izvođenja modela sa izuzetno dugim kontekstom.
NVIDIA-in zvanični tehnički blog pominje da će, s obzirom na trend da modeli sa kontekstom od 1M postaju mainstream, kombinacija Rubin arhitekture i NVL144 super-čvora u PD separacionom raspoređivanju usluga izvođenja postati najbolja praksa. Ne samo NVIDIA — i više proizvođača heterogenog računarskog hardvera planira super-čvorove sa još većim GPU i TPU domenima velike propusnosti.
ending
U poređenju sa 2024. godinom, modeli istog broja parametara su 2025. godine imali razliku u sposobnostima veću od deset puta; ovaj napredak je rezultat višestrukog usklađenog napretka u modelima, sistemima i podacima. Inženjerski i sistemski rad u 2025. godini, u celini, ide ka finijem dizajnu i optimizaciji, umesto slepog stremljenja ka „super hardveru“ i „super klasterima“.
U 2026. godini rad na optimizaciji sistema biće još finiji, uz dalje istraživanje ekstremnog odnosa cene i kvaliteta zasnovanog na hardveru niske cene.
A ključni pravac inženjerskog razvoja treba da bude AI Agent Infra, jer je sav napredak u modelima i inženjerstvu u službi stvarnog sprovođenja AI aplikacija. Kada će „Džarvis“ stići do nas — mislim da to više nije daleko.
Za nas Java programere i AI programere, razumevanje ovih pravaca razvoja AI Infra može nam pomoći da bolje ispratimo tehnološke trendove i donesemo pametnije odluke u razvoju karijere.
Distribuirano izvođenje, programski jezici poput TileLang, RL razdvajanje obučavanja i izvođenja, ko-dizajn modela i sistema, Agent Infra i hardver u obliku super-čvora — svaki od ovih šest pravaca vredi dubljeg proučavanja.
Reference: