Ovo je alat koji je zasnovan na Gemini modelu i dominira vrhom stranice. Još od lansiranja 2024. godine, bilo je kritika zbog promjenjive preciznosti.
Nova analiza koju prenosi The New York Times pokazuje da je alat sada tačan u 90 posto slučajeva. Ipak, preostalih 10 posto pretvara se u stotine hiljada netačnih informacija koje se plasiraju korisnicima širom svijeta svakog minuta.
Analiza je sprovedena uz pomoć startupa Oumi, a korišten je SimpleQA test. To je lista od preko 4.000 pitanja sa provjerljivim odgovorima koju je kreirao OpenAI. Rezultati pokazuju napredak. Raniji model Gemini 2.5 postizao je 85 posto tačnosti, dok je najnoviji Gemini 3 dostigao 91 posto. Međutim, kada se procenat greške preslika na ukupan broj Google pretraga, dolazimo do desetina miliona pogrešnih odgovora dnevno.
Primjeri grešaka su očekivani – AI je, na primjer, više puta samouvjereno odabrao netačnu godinu za neki događaj. Tako je, recimo, dao pogrešan datum kada je kuća Bob Marley postala muzej.
Google oštro kritikuje metodologiju ovog istraživanja. Portparol kompanije Ned Adriance tvrdi da sam SimpleQA test sadrži netačne podatke i kaže da studija ima ozbiljne nedostatke jer ne odražava ono što ljudi zaista pretražuju, piše Ars Technica.. Google se radije oslanja na rigorozniji SimpleQA Verified test.
Problem leži i u ekonomiji. Google ne koristi uvijek svoj najmoćniji model (Gemini 3.1 Pro), jer je spor i skup. Da bi se rezultati učitali odmah, najčešće se koriste brži, ali manje pouzdani Gemini Flash modeli. Iako je 90 posto tačnosti u svijetu generativne inteligencije solidan rezultat, problem je što AI Overviews podstiče korisnike da prihvate kratke sažetke umjesto da sami provjere linkove ispod njih.
Na kraju krajeva, i sam Google podsjeća na dnu svake stranice: „AI može da napravi grešku, provjerite odgovore“.
