Transformeri su preskupi — što dolazi nakon njih?
Transformeri su preskupi — što dolazi nakon njih?📷 © Tech&Space
- ★500 milijardi dolara godišnje za AI centra podataka do 2030.
- ★Diffuzijski modeli troše manje od transformera za generativne zadatke
- ★Regulatorni pritisak EU-a ubrzava traženje energetski učinkovitijih rješenja
Bain & Company procjenjuje da će do 2030. globalna potrošnja na AI centre podataka dosegnuti 500 milijardi dolara godišnje — više nego BDP većine zemalja. Problem nije samo u novcu, već u tome što trenutna AI arhitektura, zasnovana na transformerima (GPT-4, PaLM 2, Llama 3), guta energiju kao da je besplatna.
Jedna studija iz 2025. pokazala je kako razumijevanje jednostavnog upita može potrošiti 33,634 Wh — dovoljno da napunite tri pametna telefona. Iako su transformeri dominirali posljednjih pet godina, njihova skalabilnost ima granice.
Svaki dodatni sloj, svaki milijarditi parametar donosi marginalne poboljšane performanse, ali eksponencijalno veće troškove. TechRadar upozorava: ako se ništa ne promijeni, AI će postati energetski nesupportivna luđačka utopia — ili barem posao za one koji mogu platiti račun za struju.
Alternative već postoje: diffuzijski modeli (Stable Diffusion, DALL·E 3) pokazuju da se generativni zadaci mogu obaviti s manjim potrošnjom, dok state-space modeli (npr. H3 od Together AI) nude linearno skaliranje umjesto kvadratnog kao kod transformera.
No, kao i uvijek, demo ≠ deployment — većina ovih rješenja još uvijek zaostaje u preciznosti ili brzini za stvarne aplikacije.
Demo nasuprot deploymenta: tko zapravo može profitirati od post-transformerske ere📷 © Tech&Space
Demo nasuprot deploymenta: tko zapravo može profitirati od post-transformerske ere
Pravi signal ovdje nije u tome jesu li ove alternative bolje, već tko ima najviše razloga da ih promiče. Google, Meta i OpenAI već godina investiraju u Mixture of Experts (MoE) arhitekture — ne zato što su idealne, nego zato što im omogućavaju djelomično treniranje modela bez potpunog restartiranja cijele mreže.
To je ključno za kompanije koje već imaju stotine milijardi parametara u produkciji, ali ne žele trošiti još toliko na struju. Zanimljivije od samih modela je tko šuti o problemu.
Nvidia, čiji su GPU-ovi osnova za treniranje transformera, ne spominje energetsku krizu u svojim izjavama — osim kada promiče svoje nove čipove kao rješenje. Istovremeno, Hugging Face community već mjesecima eksperimentira s sparse attention varijantama, ali bez konsenzusa da li one stvarno rade u produkciji.
Regulatorni pritisak, poput EU AI Acta, može ubrzati promjenu: kompanije će morati izvještavati o ugljikovom otisku svojih modela, što bi moglo učiniti transformere previše skupim za manje igrače. Ali do tada, sve su to objašnjenja za ulagače — a ne garancija da će post-transformerska era ikada stići do korisnika.
Postojeći problemi s transformerima otvaraju prostor za nove tehnologije i inovacije. Kako se tehnologije nastavljaju razvijati, možemo očekivati nove i efikasnije rješenja koja će omogućiti širu upotrebu AI tehnologija. To će biti posebno važno za manje kompanije i pojedince koji ne mogu priuštiti visoke troškove postojećih tehnologija. Time će se otvoriti nove mogućnosti za razvoj i upotrebu AI tehnologija.