Bez RAG-a! Karpathy-jev LLM Wiki pristup je odličan

Ove nedelje je tehnički krug zahvatio Karpathy-jev tvit. Rekao je sledeće: danas se token potrošen na LLM uglavnom ne troši na pisanje koda, već na sređivanje baze znanja.

Dao je rešenje koje se zove "LLM Wiki", dve fascikle, jedan CLAUDE.md, to je to.

Nema vektorske baze, nema embedding modela, nema hibridnu pretragu.

Moja prva reakcija nakon čitanja je: to je to?

Iskreno, ovo rešenje je toliko jednostavno da izaziva sumnju u život. Ali ipak moram lično da probam, da bih znao da li je zaista dobro ili samo na papiru.

01. Šta je LLM Wiki?

Karpathy je objavio ovo rešenje na GitHub Gist-u, u suštini tri sloja strukture, jednostavno i jasno.

raw/ — vaš izvorni materijal, može biti bilo šta što želite da sredite. Ovo je vaša curated kolekcija, kao izvor istine baze znanja, LLM samo čita, ne piše.

wiki/ — baza znanja koju generiše LLM. On čita članke u raw/, kompajlira u strukturirane wiki stranice: definicije koncepta, stranice entiteta, unakrsne reference,beleške kontradikcija. Unutra je i index.md, koji je sadržaj, LLM ga održava pri svakom ažuriranju. Dobri odgovori na upite se takođe čuvaju ovde, postajući nove stranice.

CLAUDE.md — fajl sa pravilima baze znanja (schema). Govori LLM-u strukturu, konvencije i tok rada wiki-ja.

Ovaj Karpathy-ev pristup je da natera LLM da prvo pročita knjigu do kraja, razume, napravi beleške, a na ispitu lista beleške, pregleda sopstveno razumevanje, ne lista originalnu knjigu — nije slično RAG-u.

Pored "razumevanja", još jedna velika razlika — znanje se akumulira.

Danas pitate složeno pitanje, odgovor LLM-a se direktno čuva u wiki/ kao nova stranica, sutra kada pitate srodno pitanje, on već ima rezultat prošle analize. RAG nema ovaj korak.

Karpathy ovaj proces naziva Ingest-Query-Lint:

• Ingest: novi materijal se stavlja u raw/, LLM čita i ažurira relevantne stranice u wiki/, i ažurira index.md
• Query: pitanje za wiki, LLM list index.md da locira stranice, sintetiše odgovor
• Lint: periodično proverava zastareli sadržaj, stranice siročići, nedostajuće unakrsne reference u wiki-ju

02. Izgradnja sopstvenog Wiki-ja

Bez prakse nema efekta, proveo sam popodne da napravim sopstveni LLM Wiki.

Root direktorijum je docs/src/sidebar/itwanger/, unutra napravio dve fascikle:

• ai/ — svih mojih nedavnih AI članaka, 94 komada, pokriva OpenClaw, Claude Code, Skills, Codex i druge teme, sve curated
• wiki/ — prazna, prepuštena LLM-u da održava

Zatim sam napisao CLAUDE.md:

Ti si pomoćnik za održavanje baze znanja. Tvoj tok rada:

Ingest:
1. Pročitaj sve dokumente u ai/ fascikli
2. U wiki/ fascikli kreiraj strukturirane stranice znanja
3. Jedna stranica po konceptu, sa definicijom, izvorom, linkovima na srodne koncepte
4. Ažuriraj index.md, izlistaj sve stranice i po jednu rečenenicu sažetka
5. Obeleži kontradikcije kada ih otkriješ, ne forsiraj ujednačavanje

Query:
- listaj index.md da lociraš relevantne stranice
- sintetiši informacije i daj odgovor
- dobre odgovore sačuvaj u wiki/ kao nove stranice

Lint:
- periodično proveri kontradikcije, zastareli sadržaj, stranice siročiće
- dopuni nedostajuće unakrsne reference

Bacio zadatak na Claude Code, neka krene da "kompajlira".

Prompt: molim te kompajliraj sve članke u ai/ fascikli, ažuriraj wiki/ i index.md

Posle oko 10 minuta, u wiki fascikli se pojavilo više od desetak markdown fajlova. Ima "OpenClaw.md", "Claude Code.md", "Skills.md", "Codex.md", "Agent.md"... Svaki fajl sadrži jasnu definiciju, citirane originalne linkove, srodne druge koncepte.

Tu je i index.md, sadržaj koji LLM automatski održava:

# Indeks

## OpenClaw ekosistem

- [OpenClaw uvod](OpenClaw uvod.md) - osnovni uvod u rak ekosistem
- [ArkClaw recenzija](ArkClaw recenzija.md) - test iskustvo Byte verzije OpenClaw-a
- [AstronClaw instalacija](AstronClaw instalacija.md) - vodič za implementaciju iFlytek verzije

## Claude Code

- [Claude Code duboka analiza](Claude Code duboka analiza.md) - Arhitektura Agenta iz perspektive Mythos
- [Claude Code razvoj plugina](Claude Code razvoj plugina.md) - CC GUI i razvoj Skills

## Evaluacija AI alata

- [Skills sistem](Skills sistem.md) - 6 core Skills preporuka i evaluacija
- [Codex recenzija](Codex recenzija.md) - Desktop iskustvo OpenAI Codex-a

Ovaj index.md je ulazna tačka pri upitu. LLM ga prvo čita, brzo locira relevantne stranice, umesto da prelazi čitav wiki.

Malo sutra, ni sam nisam primetio, napisao sam toliko sadržaja.

Zatim sam pokušao da pitam jedno pitanje: "Želim da izaberem AI alat za programiranje, da li da koristim Claude Code ili Codex?"

Agent nije odmah dao odgovor, već je prvo potražio relevantne stranice u wiki-ju, a zatim mi dao strukturirano poređenje:

Ili na primer, pitam:

Koje sam članke napisao o Skills? Koje su ključne tačke?

03. Da li je zaista bolje od RAG-a?

Sada da kažem nešto o pitanju koje najviše zanima sve: da li je ovaj Karpathy-ev pristup zaista bolji od RAG-a?

Prvo zaključak: barem ne treba da se povezuje Embedding model i vektorska baza, prilično je lagan. Ali ako je vaša količina dokumenata na nivou stotina hiljada, onda ipak morate na RAG.

RAG ima ovaj problem.

Nema akumulaciju znanja. Danas pitate složeno pitanje, LLM potroši mnogo tokena analizirajući gomilu dokumenata, da bi dao odgovor. Sutra pitate srodno pitanje, i on mora ponovo da analizira. Prošli proces razmišljanja se nije taložio. To je kao da svaki put kada rešavate matematički problem morate iznova da izvodite formulu, umesto da direktno primenite već dokazanu teoremu.

LLM Wiki rešava ovaj problem.

U fazi "kompajliranja", LLM je već pročitao dokumente, razumeo ih, napravio beleške. Pri postavljanju pitanja, on lista svoje beleške, a ne originalnu knjigu. Beleške su strukturirane, imaju indeks, linkove, unakrsne reference, efikasnost pretrage je veća od vektorske sličnosti.

Još važnije, znanje se akumulira. Dobri odgovori se mogu sačuvati u wiki-ju, postajući novi čvorovi znanja. Ova baza znanja će postajati sve bogatija, sve pametnija.

04. Osnovni dizajn Karpathy Wiki-ja

Kada ga dugo koristite otkrićete da ova trojna struktura nije nasumično dizajnirana, ona se poklapa sa klasičnom arhitekturom računarskih sistema — hijerarhija keša.

CLAUDE.md je L1 keš, najmanji, najbrži, najčešće mu se pristupa. Pri svakom upitu ga čita, kao što CPU pri svakoj operaciji mora da pristupa registrima. index.md je L2 keš, veći od CLAUDE.md, brži od prelaska celog wiki-ja, prvo potraži u indeksu pa lociraj konkretnu stranicu. Sam wiki page je L3 keš, najveći kapacitet, najsporiji pristup, čita se samo kada je potrebno.

Ovo odgovara redu veličine kašnjenja pristupa CPU kešu: CLAUDE.md (nekoliko tokena) < index.md (nekoliko stotina tokena) < wiki stranica (nekoliko hiljada tokena). Karpathy nije izričito rekao, ali njegov Ingest-Query-Lint proces suštinski optimizuje hit rate keša i strategiju ažuriranja — prostorom kupuje vreme, predobračunom kupuje brzinu upita.

Još jedno osnovno pitanje: da li je znanje sa gubicima?

94 originalna članka kompajlirana u wiki, entropija informacija se nužno smanjuje.

Ovo dodiruje duboko pitanje: kada mi ljudi razumemo knjigu, to je zapravo takođe "kompresija" — zapamtimo ključne poglede, zaboravimo konkretne formulacije. Kompresija LLM Wiki-ja do određene mere imitira ljudski proces učenja. Ali cena je: one "nekompresibilne" stvari — stil, ličnost, emocija — nemaju mesto u wiki strukturi.

Karpathy-ev pristup pretpostavlja da je "znanje strukturabilno", ali u vašem originalnom materijalu, možda postoje stvari koje su anti-strukturalne. Ovo je teorijska granica LLM Wiki-ja, i jaz koji nikada ne može da se premosti između njega i najsirovijeg teksta.

05. Kome odgovara ovaj pristup?

Rekavši toliko, kome zapravo odgovara ovaj pristup?

Prva kategorija: lično upravljanje znanjem

Ako inače čitate mnogo tehničkih članaka, radova, blogova, ali odmah zaboravite, i kada tražite ne možete da nađete, onda je LLM Wiki alat čuda.

Stavite curated materijal u raw/, naterajte LLM da vam ga sredi u strukturirani wiki, ubuduće pitajte šta god želite, ne morate sami da listate.

Druga kategorija: baza znanja malog tima

Tim ima interne dokumente, tehničke specifikacije, projektne beleške, razbacane svuda. Sa LLM Wiki-jem ih objedinite, novi zaposleni kada dođu pitaju wiki direktno, ne moraju da ganjaju veterane.

Treća kategorija: istraživanje i učenje

Istražujete novu oblast, pročitali ste gomilu radova i materijala, želite da izgradite sistemsko razumevanje. LLM Wiki vam može pomoći da razmrsite odnose koncepata, otkrijete kontradikcije, izgradite graf znanja.

Na primer, želite sistemski da razumete "ekosistem AI alata za programiranje", prikupili ste desetak članaka o Claude Code, OpenClaw, Codex, Cursor. Tradicionalni pristup je da pročitate jednom, sami napravite beleške, nacrtate mentalnu mapu. Sa LLM Wiki-jem, ubacite curated materijal u ai/, naterajte LLM da vam sredi ključne koncepte (Agent arhitektura, Skills sistem, Gateway dizajn), prednosti i mane svakog alata, primenjive scenarije različitih rešenja. Ekvivalentno ste zaposlili istraživačkog asistenta koji radi prvi krug sređivanja.

Načinom direktorijuma, prema strukturi znanja generisanim višeslojnim fasciklama, i svaka fascikla ima sažetak i indeks, a onda postoji i opšti indeks, cela fascikla kao baza znanja se može proširivati po arhitekturi mentalne mape neograničeno, kada naiđe na oznake i druge informacije koje se mogu klasifikovati na više načina, biće naznačeno u fajlu sažetka i fajlu indeksa.

Efikasnost je veoma visoka. Lična baza znanja definitivno neće imati milion unosa. Ako je samo nekoliko desetina hiljada, sasvim dovoljno. U poređenju sa vektorskom bazom je previše laka.

05. Open source replike

Nakon što je Karpathy objavio Gist, na GitHubu su se brzo pojavile brojne open source replike, izabrao sam nekoliko koje sam probao i koje su mi se svidele.

Prva je llm-wiki-compiler (Python), automatizuje ručni proces: prati promene u xx/ fascikli, automatski okida LLM kompajliranje, inkrementalno ažurira wiki.

Druga je obsidian-llm-wiki (Obsidian plugin), direktno integriše LLM Wiki u Obsidian. Ako ste već korisnik Obsidiana, ovo iskustvo je najbešavije.

Moji tekstovi su inače u Obsidianu.

Treća je Benboerba620/karpathy-claude-wiki, zasnovana na investicionoj perspektivi napisala lični Karpathy wiki.

Na GitHubu pretraga "karpathy llm-wiki" nalazi još, neki su VS Code plugin, neki kompletne web aplikacije. Suštinski su zasnovani na Karpathy-jevoj osnovnoj ideji, dve fascikle i jedan konfiguracioni fajl, ko razume osnovni princip može koristiti bilo koji.

ending

Karpathy-ev LLM Wiki pristup mi je dao najveći podsticaj — nije u tehnologiji, već u načinu razmišljanja.

Uvek želimo da AI tretiramo kao "pametniju pretraživač", pitamo šta tražimo, odgovaramo šta. Ali Karpathy nam govori da AI može biti "organizator znanja", koji nam pomaže da čitamo knjige, pravimo beleške, gradimo razumevanje.

Ova transformacija, iz "pretrage" u "razumevanje", iz "slaganja odgovora" u "korišćenje znanja", možda je novi pravac AI aplikacija.

[Ponekad, jednostavne metode su moćnije od komplikovanih.]

Ne znači da je RAG beskoristan, već za većinu ljudi, većinu scenarija, verovatno nam nije potrebna toliko teška tehnička strategija. Dve fascikle, jedan konfiguracioni fajl, i možete podići ličnu bazu znanja.

Ako još niste probali, predlažem da napravite jedan. Ubacite one članke koje ste "sačuvali ali nikad pročitali", neka ih LLM sredi. Otkrićete da ste već akumulirali toliko znanja.

Vidimo se u sledećem, idemoo!