DeepMind mjeri AGI: natječaj za nove evaluacijske metode

DeepMind je objavio rad pod naslovom "Measuring Progress Toward AGI: A Cognitive Taxonomy", koji predstavlja prvi formalni okvir za mjerenje napretka prema AGI koristeći 10 ključnih kognitivnih sposobnosti. Prema dokumentu, AGI se definira kao sustav koji može izvršavati širok spektar inteligentnih zadataka na ljudskoj razini, a nova taksonomija omogućava strukturirano praćenje tih sposobnosti kroz kvantificirane metrike.

Izvještaj donosi detaljan pregled kako ove sposobnosti – od apstraktnog zaključivanja do adaptabilnosti – mogu biti evaluirane kroz jednostavnije i reproducibilne testove. Sustav uključuje i dostupne benchmarke koji će biti standardizirani za poređenje različitih AI modela.

Paralelno s objavljivanjem istraživanja, DeepMind je pokrenuo Kaggle izazov s ukupnim nagradnim fondom od 200.000 dolara. Cilj izazova je pozvati stručnjake širom svijeta da razviju nove evaluacijske metode temeljene na predloženoj taksonomiji.

Rok za prijave bio je otvoren do 17. ožujka, a konačni rezultati bit će objavljeni 1. lipnja, što omogućava dovoljno vremena za inovativna rješenja. Prema službenim izvorima, izazov naglašava potrebu za otvorenim i transparentnim pristupom u evaluaciji AGI napretka, bez vlasničkih ograničenja za najbolja rješenja.

Ovaj okvir ulazi u srce problema koji prati razvoj AGI: kako objektivno mjeriti inteligenciju koju još nismo u potpunosti razumjeli. DeepMindov pristup kognitivnoj taksonomiji sugerira da se inteligencija može dekomponirati u specifične module, slično kako ljudski mozak funkcionira kroz specijalizirana područja.

Iako detalji ovih 10 sposobnosti nisu u potpunosti objavljeni, prema dostupnim informacijama uključuju adaptivno učenje, logičko zaključivanje i društvenu interakciju kao ključne komponente. Ovakav pristup omogućava znanstvenicima da identificiraju slabosti postojećih sustava i usmjere buduća istraživanja ka pravednijoj procjeni napretka.

Unatoč ambicioznosti, postoji nesigurnost oko toga kako će se ove metrike primjenjivati u praksi. Postoje nagađanja da bi okvir mogao biti podložan subjektivnosti u ocjenjivanju, s obzirom da se kognitivne sposobnosti teško kvantificiraju bez gubitka konteksta.

Također, nije jasno kako će se nositi s brzo evoluirajućim AI modelima koji često nadilaze tradicionalne evaluacijske testove. Ovaj izazov naglašava i temeljnu dilemu: hoće li takva taksonomija ubrzati sigurniji razvoj AGI ili će biti samo još jedan sloj složenosti u već gustoj mreži procjena.

Bez obzira na ishode, ovaj DeepMindov pothvat otvara nova pitanja o etici i odgovornosti u razvoju umjetne inteligencije. Kako se taksonomija razvija, bit će ključno osigurati da procjene budu pravedne, razumljive i korisne za cijelu zajednicu, a ne samo za usku skupinu stručnjaka.