Skryté predsudky

Texty a obrázky, ktoré nám generuje umelá inteligencia (AI), môžu obsahovať kultúrne a spoločenské stereotypy. Ako je možné, že AI dokáže byť plná predsudkov? Vieme ich odhaliť a zmierniť, prípadne eliminovať?

Predstavte si, že pracujete pre firmu, ktorá otvára novú pracovnú pozíciu a chce vedieť, ako by mal vyzerať jej ideálny kandidát. Pomôže si umelou inteligenciou a nechá si vygenerovať profil ideálneho kandidáta, podľa ktorého potom pripraví znenie inzerátu. Keďže očakáva veľký nápor kandidátov, zvažuje tiež využitie AI na filtrovanie kandidátov na základe životopisov. Problémom je, ak budú výstupy od AI pre danú pozíciu obsahovať stereo­typy, napríklad to, že ženy sa hodia na učiteľky alebo muži na soft­vérových vývojárov.

V dôsledku takýchto odpovedí umelej inteligencie sa potom môžu posilňovať aj stereotypné vzorce v spoločnosti, napríklad predstava, že ženy sú prirodzene starostlivé alebo muži racionálni. Dôsledky takýchto stereotypov môžu viesť až ku škodlivému správaniu, napríklad k diskriminácii pri prijímaní do zamestnania, keď uprednostňujeme jedno pohlavie pred druhým. Vo všeo­becnosti hovoríme o tzv. predsudkoch alebo skresleniach (angl. bias) v AI. A nemusí ísť len o rodové predsudky. Rozoznávame množstvo ďalších druhov predsudkov ako rasové, náboženské, kultúrne alebo politické. Všetky tieto predsudky môžu byť v istej miere prítomné aj v AI.

Ako sme do AI (nevedomky) vniesli predsudky

Dnes sa ako jeden z typov umelej inteligencie v značnej miere používajú veľké jazykové modely (LLM), napríklad na účely konverzácie vo forme chatbotov, určených pre potreby bežných používateľov či firiem. Veľké jazykové modely sú natrénované na obrovskom množstve dát, prevažne z dostupných webových stránok z celého sveta. Počas generovania textu odpovede model odhaduje, aký text má nasledovať po doposiaľ vygenerovanej konverzácii, aby bol dostatočne uveriteľný, konzistentný či dôveryhodný. V ideálnom prípade aj pravdivý.

Zároveň platí, že veľké jazykové modely generujú text, ktorý odráža realitu dát, na ktorých boli natrénované. Ak sa v textových dátach častejšie vyskytujú pojmy o učiteľstve v spojitosti so ženami, model s väčšou pravdepodobnosťou vygeneruje text zmieňujúci sa o učiteľkách než o učiteľoch.

Umelá inteligencia je tu pre nás, a preto by malo byť v našom záujme, aby z nej mohli mať úžitok všetci bez rozdielu pohlavia, veku či farby pleti.

Predsudky pritom nachádzame nielen v texte, ale aj vo vygenerovaných obrázkoch alebo videách. Modely schopné generovať obrázky sú spravidla natrénované na pároch obrázok – jeho opis z webu, pričom opis obrázka je získaný z HTML štruktúry webovej stránky (ako alternatíva k obrázku, ak sa nedá zobraziť alebo je zapnutá čítačka obrazovky). Pre dopyt Vygeneruj typického Slováka môže model vygenerovať obrázok muža v kroji, ak sa v trénovacích dátach v kontexte Slovenska často vyskytovali obrázky ľudí v krojoch (s opisom napr. usmievajúci sa muž v kroji), čím sa posilňujú kultúrne stereotypy o Slovensku vo svete. Veľké jazykové modely sú teda akýmsi obrazom toho, čo všetko spoločnosť vytvorila a pretavila do obsahu na webe.

Kamil Burda, Juraj Podroužek
Kempelenov inštitút inteligentných technológií