Názor: Epidemie halucinací z AI, krize na kterou nejsme připraveni

Navzdory trvajícím slibům o snižování AI halucinací, hlavní nástroje AI – od ChatGPT po Perplexity, Gemini a Apple Intelligence – stále generují falešné informace, často s alarmujícími důsledky. Odborníci, včetně těch, kteří varují před riziky AI, uvěřili vymyšlenému obsahu a dokonce i pokročilé nástroje jako Deep Research vytvářejí zprávy z ničeho. Pravda zřejmě zůstává v rukou lidí

Chatboti se během let zlepšovali – a to hodně. Avšak jedna otázka, která zatím nebyla úplně vyřešena, je známá jako „halucinace“.

Naše milované chatboty nám poskytují geniální odpovědi na naše otázky s rozhodností a autoritou science fiction Yody, i když se hrozně mýlí. A my jim věříme. Někdy dokonce slepě.

Mnoho vědců, odborníků a dokonce i vývojářů chatbotů nás již léta varuje před halucinacemi. Přesto se jejich adopce rychle šíří – OpenAI oznámil 400 milionů aktivních uživatelů týdně před několika dny – zatímco gramotnost v AI nestíhá držet krok.

Nedávné studie, soudní případy a dramatické události stále dokazují, že dezinformace jsou ještě nebezpečnější, než jsme si uvědomovali.

Je to horší, než si myslíme

Zpočátku bylo docela zábavné sledovat velké chyby generované umělou inteligencí – jako ty trapné přehledy generované AI Gemini, které uživatelům navrhovaly přidat „netoxické lepidlo do omáčky“ pro recept na pizzu nebo doporučovaly jíst „jeden malý kámen denně“ v loňském roce. Ale jak znovu získáváme důvěru v AI, situace se vyhrotila a stává se stále více znepokojivou.

V prosinci jsme viděli, jak AI nástroj společnosti Apple vytváří nadpisy „shrnující“ zprávy a generuje falešné a zavádějící informace, jako například falešné tvrzení, že BBC oznámila, že Luigi Mangione se zastřelil. Po této události podala publikace stížnost na Apple a začala zkoumat přesnost generativní AI při analýze zpravodajského obsahu.

Zjištění BBC, zveřejněná před několika dny, odhalila alarmující statistiky: 51% odpovědí poskytnutých populárními AI Chatboty obsahovalo významné problémy, 13% citací poskytnutých modely bylo zcela vymyšlených a 19% dat bylo nesprávných.

Teenageři patří mezi nejvíce zasažené skupiny, protože často mají problém rozlišovat falešné zprávy od skutečných a mohou být snadno ovlivněni obsahem generovaným umělou inteligencí. Studie publikovaná v lednu ukázala, že 35% teenagerů bylo oklamáno falešným obsahem generovaným modely umělé inteligence a 22% sdílelo falešné informace.

Ale nejde jen o teenagery a roztržité lidi, kteří podléhají těmto halucinacím. A nejde jen o Gemini nebo Apple Intelligence.

Žádný model umělé inteligence není ušetřen, žádný průmysl není bezpečný

Výzkum provedený BBC potvrzuje další problém: všechny modely AI mají halucinace. Odborníci se zaměřili na nejpopulárnější modely, jako jsou ChatGPT, Gemini, Perplexity a Copilot. Žádný model AI není imunní vůči chybám. Anthropic má stránku věnovanou této problematice, kde navrhuje nápady, jak snížit počet halucinací.

„Dokonce i nejpokročilejší jazykové modely, jako je Claude, mohou někdy generovat text, který je fakticky nesprávný nebo nesouvisí s daným kontextem,“ uvádí dokument. Ostatní společnosti v oblasti AI sdílejí podobné stránky s tipy a triky na zabránění vytváření falešného obsahu, ale není to tak jednoduché a je to dlouhodobě nevyřešený problém.

Už v roce 2023 OpenAI oznámilo, že pracuje na nových inovativních způsobech, jak se zbavit halucinací. Upozornění: je to stále obrovský problém.

V lednu 2024—před více než rokem—CEO Aravind Srinivas prohlásil, že halucinace Perplexity se primárně vyskytovaly u neplacených účtů. „Většina stížností pochází od uživatelů s bezplatnou verzí produktu,“ vysvětlil Srinivas a dodal, že již přidávají další GPU, aby problém vyřešili. Přesto v říjnu New York Post a Dow Jones podaly žalobu na Perplexity—protože jejich model neustále připisoval falešné zprávy jejich publikacím—, a AI nástroj vyvinutý startupem pro americké volby byl testován odborníky, kteří odhalili nesrovnalosti, nepřesné shrnutí a halucinace.

Problém Halucinací Dosažuje Vědeckých a Akademických Úrovní

Jednou z největších obav v současnosti je, že i odborníci – včetně těch, kteří varují před riziky a nebezpečími AI – podléhají těmto náchylným k halucinacím nástrojům.

V prosinci byl profesor Stanfordu a expert na technologii a dezinformace Jeff Hancock obviněn z použití AI k vypracování soudního prohlášení. Hancock podal 12stránkovou deklaraci hájící zákon státu z roku 2023, který trestá používání deepfakeů, včetně 15 citací. Avšak dvě z těchto citací se nikde nedaly najít – protože je prostě vymyslel ChatGPT, preferovaný nástroj experta na dezinformace.

Hancock, který letos má vyučovat předmět „Pravda, důvěra a technologie“, vysvětlil, že pro organizaci svých citací použil chatbot OpenAI, což vedlo k halucinacím. Výzkumník se omluvil—a stál si za podstatnými body svého prohlášení—, a všem nám tak dal cennou lekci, že i odborníci a ti, kteří nejlépe rozumí rizikům AI, jsou jí náchylní.

Profesor Hancock nebyl jediný, kdo podal dokumenty obsahující od AI vygenerované výmysly u soudu, samozřejmě. Další případ, který se týkal žaloby proti Walmartu, nedávno obletěl internet, protože advokáti použili falešné případy generované AI k vybudování své argumentace. Ve skutečnosti se tento problém stal v amerických soudních dvorách tak častým, že právnická firma Morgan & Morgan nedávno poslala e-maily svým více než 1 000 advokátům, aby je varovala před riziky používání citací generovaných AI, a Americká advokátní asociace připomněla svým 400 000 členům pravidla etiky advokátů—včetně informací generovaných AI.

Hloubkový výzkum také

Jedním z nejpopulárnějších AI nástrojů v současnosti je „Deep Research“, který je určen pro odborníky a vědce hledající složitější výsledky ve svém výzkumu. Halucinace nejsou ani u tohoto nástroje výjimkou, i když verze od OpenAI původně vyžadovala $200 Pro předplatné pro přístup.

Uživatelé na Redditu vyjádřili obavy týkající se tohoto problému, hlásí, že všechny populární modely s nástroji pro hluboký výzkum – Perplexity, ChatGPT a DeepSeek – halucinují. Výzkumníci a odborníci na AI také sdíleli znepokojivé výsledky na dalších sociálních médiích, jako je X.

„Nástroj vytvořil nádherně napsanou a argumentovanou zprávu,“ napsal jeden uživatel, který použil nástroj Deep Research od OpenAI ke studiu matematiky, kterou dělají mladí lidé. „Jediný problém je, že je to všechno vymyšlené.“

„Deep Research vymyslel spoustu statistik a analýz, zatímco tvrdil, že kompiluje databázi tisíců článků a údajně shromažďuje informace o roce narození každého autora z důvěryhodných zdrojů,“ sdílel další. „Nic z toho není pravda.“

Nejhorší halucinace, kterou jsem viděla od sota LLM už nějakou dobu

Společnost Deep Research vytvořila spoustu statistik a analýz, zatímco tvrdila, že sestavuje databázi tisíců článků a údajně shromažďuje informace o roce narození každého autora z důvěryhodných zdrojů

Nic z toho není pravda https://t.co/ZZk40vTKIM pic.twitter.com/RAnNVcHDmR

— Paul Calcraft (@paul_cal) 18. února 2025

Pravda Zůstává V Rukou Lidí

Přestanou chatboti někdy halucinovat? Slabý bod AI byl zřejmý již léta – viděli jsme to v podcastech jako Planet Money, když testovali epizody generované AI v roce 2023, a stále to vidíme u nejmodernějších modelů, dokonce i těch, které byly navrženy pro výhradní použití odborníky a technicky zdatnými komunitami.

Možná je čas přijmout, že toto zůstane problémem a pochopit, že musíme převzít odpovědnost za to, co vytváříme a sdílíme pomocí nástrojů AI.

Je znepokojivé, že i přestože se to zdá být dobře známý problém, samotní odborníci na rizika AI podléhají přesvědčivému a přesvědčivému psaní AI. Situace se stává ještě složitější, protože adopce pokračuje rychlým tempem, předstihuje digitální gramotnost, zatímco nesrovnalosti a vymyšlené citace se množí.

Případy, kdy byly odhaleny halucinace umělé inteligence, se obvykle týkají situací, ve kterých je důležité ověřování faktů – něco, co by si měl Zuckerberg připomenout nyní, když zrušil svůj oddělení pro ověřování faktů. To je zvláště patrné v soudních síních, kde právníci a soudci ověřují fakta a případy, a v novinářských médiích, kde záleží na přesnosti a ověření zdrojů.

Ale co případy, kdy tyto detaily nikdo nezkoumá? Co se děje v každodenních, osobních situacích? Právě teď miliony studentů memorují odpovědi generované umělou inteligencí pro své studium, uživatelé následují pokyny poskytované umělou inteligencí pro léčení nemocí a jiní se učí o nových tématech, plně důvěřujíc technologii.

Následky této nové reality, které čelíme, jsou nesměřitelné a nepředvídatelné a pravda – prozatím – je v rukou těch, kdo si najdou čas na otázky a ověřování.