technický pojem
Halucinace
Hallucination
Halucinace v umělé inteligenci nejsou sny ani chyby v kódu — jsou připomínkou toho, že i nejchytřejší technologie může „říkat nesmysly“ velmi přesvědčivým tónem. Když AI odpoví na otázku sebejistě, ale zcela mylně, může to působit dojmem, že systému lze věřit. Právě proto je důležité tento pojem znát a rozumět mu – zejména ve veřejné správě, kde rozhodnutí musí stát na ověřených faktech.
Halucinace označuje jev, kdy model umělé inteligence – obvykle velký jazykový model – vytváří text, obraz či jiný výstup, který zní přesvědčivě, ale není pravdivý ani podložený skutečnými daty. Model si tak „vymýšlí“ informace, které ve skutečnosti neexistují. Tento jev vyplývá z principu, na kterém AI funguje – nevnímá význam slov, pouze pravděpodobnost, že po sobě následují.
Proč halucinace vznikají
AI modely se učí z obrovského množství textů, obrázků nebo kódu. Nenabývají ale znalosti v lidském slova smyslu – pouze hledají vzorce. Když narazí na neznámý dotaz nebo neúplné zadání, „dohadují se“, jaký výsledek by byl nejpravděpodobnější. Výsledek může být gramaticky i logicky správný, ale fakticky chybný. AI tedy halucinuje vždy, když vytváří něco, co zní věrohodně, ale není to pravda.
Halucinace se mohou objevit i u velmi kvalitních modelů. Často vznikají v situacích, kdy model odpovídá mimo oblast svých znalostí, dostane nejasné instrukce nebo se snaží „zalíbit“ uživateli tím, že raději odpoví, než aby přiznal nejistotu.
Výskyt halucinací může ovlivnit i nastavení teploty modelu – parametru, který určuje míru náhodnosti v generovaných odpovědích. Vyšší teplota zvyšuje kreativitu a riziko halucinací, zatímco nízká teplota vede k opatrnějším a přesnějším výstupům. I proto je správné nastavení teploty důležité při práci s AI ve veřejné správě.
Co to znamená pro veřejnou správu
Ve veřejném sektoru může být dopad halucinací výrazný – například při přípravě legislativních podkladů, generování textů pro web nebo analýze dat. Pokud by úředník převzal halucinovanou odpověď bez ověření, může to vést ke zkresleným závěrům či chybným rozhodnutím. Proto je zásadní chápat, že AI může být výborným pomocníkem, ale nikoli autoritou.
Pochopení tohoto jevu pomáhá úřadům lépe plánovat, jak AI do procesů zapojit. Umožňuje rozhodnout, kdy je vhodné výstupy AI využít jako inspiraci, a kdy musí výsledek zkontrolovat člověk – například právník, analytik nebo editor.
Jak předejít rizikům v praxi
Nejdůležitější ochranou před halucinacemi je ověřování informací. Úřady by měly nastavovat pracovní postupy, které kombinují automatizaci s lidskou kontrolou. Patří sem i jasné označování AI výstupů, používání ověřených zdrojů dat a školení zaměstnanců, aby rozpoznali podezřelé nebo neúplné odpovědi.
Správně nastavené procesy dokážou minimalizovat riziko chyb a zároveň využít výhod AI – například při rychlém návrhu textů nebo sumarizaci obsahu. Cílem není se halucinacím úplně vyhnout, ale naučit se je včas odhalit a pracovat s nimi.
AI GRAMOTNOST
Proč to má znát i úředník?
Pochopení halucinací je jedním z pilířů digitální a AI gramotnosti. Úředník, který ví, že umělá inteligence může vytvářet nepravdivé nebo smyšlené informace, dokáže výstupy modelů posuzovat s kritickým odstupem. Nenechá se přesvědčit sebevědomým tónem odpovědi a vždy hledá ověřený zdroj.
Tento přístup podporuje odpovědné využívání technologií ve veřejné správě – úředník chápe limity AI, umí vysvětlit rizika kolegům i veřejnosti a předchází chybným interpretacím výstupů. Rozpoznání halucinací se tak stává součástí profesní kompetence, nikoli technického detailu.
Schopnost rozpoznat a vysvětlit halucinaci pomáhá zvyšovat důvěru v digitální inovace. Ukazuje, že úřad s technologiemi zachází uvážlivě, ověřuje informace a dává přednost přesnosti před rychlostí. Právě to je podstatou odpovědné práce s AI ve službách státu.