Jazykové nerovnosti

Dnešné veľké jazykové modely často deklarujú podporu desiatok jazykov vrátane slovenčiny. V praxi však tá istá technológia funguje v rôznych jazykoch rôzne a výsledky v slovenčine bývajú slabšie než v angličtine, navyše aj drahšie. Prečo je to tak a čo sa s tým dá robiť?

Predstavme si dve marketingové firmy, ktoré stoja pred rovnakou úlohou. Obe chcú vytvoriť nástroj na automatickú sumarizáciu interných dokumentov pomocou veľkých jazykových modelov. Prvá firma sídli v Londýne a pracuje s dokumentmi v angličtine. Druhá firma má sídlo v Bratislave a texty sú v slovenčine. Na prvý pohľad sa zdá, že obe majú rovnakú štartovaciu pozíciu.

Keď sa však pozrieme na výsledky, ilúzia rovnosti sa rýchlo rozpadá. Anglické sumarizácie sú presnejšie a konzistentnejšie, zatiaľ čo v slovenčine model častejšie vynecháva dôležité informácie či horšie pracuje s odborným jazykom. Pri výkonnosti a presnosti sa to však nekončí. Prečo to nie je prekvapivé? Čo sa s tým dá robiť? Odpovede na tieto otázky sú kľúčové, ak chceme porozumieť jazykovým nerovnostiam v umelej inteligencii (AI).

Univerzálny nástroj

Veľké jazykové modely (angl. large language models, LLM) sú modely, ktoré sa naučili pracovať s ľudským jazykom na základe obrovského množstva textových dát. Namiesto toho, aby mali vopred naprogramované pravidlá gramatiky či významu slov, učia sa zo vzorov v textoch: ktoré slová sa zvyknú objavovať spolu, v akom kontexte, v akom poradí a s akým významom. Jazykové modely sú trénované tak, aby čo najlepšie odhadli, aký text má nasledovať po texte, ktorý dostali na vstupe.

V praxi to znamená, že ten istý model dokáže sumarizovať dlhý dokument, preložiť ho do iného jazyka, odpovedať na otázky k jeho obsahu, prepísať ho do iného štýlu alebo viesť plynulý dialóg s človekom. Rozdiel medzi sumarizáciou zmluvy, odpovedaním v chatbote či generovaním marketingového textu nie je v samotnom modeli, ale v tom, akú inštrukciu dostane a s akým kontextom pracuje.

Zároveň ide o technológiu, ktorá sa správa zásadne inak než klasický softvér. Tradičný program robí presne to, čo mu vývojár napísal. Jazykový model sa, naopak, správa ako štatisticky vycvičený systém, ktorý generalizuje zo svojich skúseností. Pri tréningu modelov ich vieme učiť nasledovať inštrukcie a plniť požadované úlohy. Takto získame univerzálny nástroj.

Autonómni agenti

Tento posun umožnil vznik tzv. agentov postavených na veľkých jazykových modeloch. Agenti dokážu plánovať, rozdeliť si úlohu na menšie kroky a rozhodovať, aké akcie vykonajú ďalej (tieto akcie vedia zároveň delegovať na tzv. nástroje). Predstavme si napríklad marketingového agenta, ktorý dostane zadanie pripraviť prehľad kampane. Najprv si vyžiada dáta, potom ich analyzuje, následne vygeneruje súhrnný report a nakoniec navrhne úpravy stratégie. V zložitejších prípadoch spolupracuje viacero takýchto agentov: jeden sa stará o dáta, druhý o text, tretí o kontrolu kvality. Jazykový model sa tak postupne mení z odpovedača na otázky na aktívneho účastníka procesov.

Autori článku: Martin Tamajka a Timotej Králik
Kempelenov inštitút inteligentných technológií