AI filtr zavírá dveře trollům. Diskuse bez nadávek budí nový rozruch

Nový AI systém maže vulgarity během několika sekund. Internetoví křiklouni tak ztrácejí svůj prostor.

Tématu se věnoval portál WIRED Czech Republic & Slovakia, který popsal vznik slovenského systému pro automatickou moderaci nenávistných komentářů na sociálních sítích. Projekt vznikl během období covidu a následné války na Ukrajině, kdy se internetové diskuse začaly stále častěji měnit v agresivní prostor plný vulgarit, osobních útoků a nenávistných reakcí.

Původně šlo o vedlejší projekt několika lidí, kteří spravovali sociální sítě a denně naráželi na tisíce toxických komentářů. Ruční mazání urážek se postupně ukázalo jako psychicky i technicky neudržitelné. Ve chvíli, kdy pod humanitárními příspěvky začaly přibývat výhrůžky a agresivní útoky, vznikla první verze systému schopného automaticky rozpoznávat nenávistný obsah.

Internet mezitím připomínal místo, kde část uživatelů zaměnila svobodu projevu za soutěž v tom, kdo zvládne během pěti sekund napsat hrubší komentář než ostatní. Sociální sítě se plnily výkřiky lidí, kteří by polovinu svých vět nahlas pravděpodobně nikdy nevyslovili. Za monitorem se totiž odvaha často rodí rychleji než zdravý rozum. První testy systému probíhaly během mimořádně vypjatého období po útoku před bratislavským podnikem Tepláreň. Moderování tehdy pomáhalo organizacím, které čelily obrovské vlně nenávistných reakcí. Smyslem nebylo rozhodovat o názorech lidí, ale zabránit tomu, aby se veřejné diskuse změnily v otevřený digitální odpadkový koš.

Když algoritmus hlídá dveře internetové hospody

Systém dnes dokáže moderovat komentáře na Facebooku, Instagramu, TikToku i YouTube. Podporuje šestnáct jazyků a vyhodnocuje vulgarity, spam i nenávistný obsah během několika sekund. Komentář se po zveřejnění přesune do aplikace, která okamžitě rozhodne, zda obsah porušuje nastavená pravidla.

Celý proces funguje výrazně rychleji než běžná lidská moderace.

Vývojáři vsadili na menší jazykové modely, díky nimž je systém levnější a svižnější. Nejde o umělou inteligenci, která by hodnotila politické názory nebo ideologii. Zaměřuje se pouze na formu komunikace, tedy na vulgarity, agresivní útoky a spam.

Nejsložitější částí vývoje bylo pochopení místního kontextu. Nadávky, urážky i nenávistné narážky se totiž liší podle země, regionu i aktuální společenské situace.

Vývoj systému proto zahrnoval dlouhé označování tisíců reálných komentářů, aby algoritmus dokázal rozlišovat mezi běžnou diskusí a cíleným toxickým útokem.

Z části internetu se mezitím ozývá známá panika. Jakmile někdo smaže vulgaritu, okamžitě se objeví armáda samozvaných obránců svobody slova, kteří mají pocit, že bez možnosti veřejně nadávat demokracie nepřežije ani další víkend. Internetové diskuse tak někdy připomínají hospodu, kde se nejvíc rozčilují právě ti hosté, kterým někdo poprvé po letech zakázal řvát přes celý lokál.

Když značky a instituce přestaly chtít digitální žumpu

Systém dnes využívají média, veřejné instituce, sportovní organizace i firmy. Každý klient si nastavuje vlastní pravidla moderace. Některým vadí jakékoli vulgarity, jiní tolerují ostřejší sportovní emoce, ale odmítají rasismus, spam nebo osobní výhrůžky.

Právě sportovní prostředí ukazuje, jak rychle se mohou komentáře změnit v agresivní chaos. Pod některými příspěvky se během krátké doby objeví tisíce reakcí a značná část z nich obsahuje vulgarity nebo nenávistné útoky. Sociální sítě se pak mění v prostor, kde debata ustupuje čistému křiku.

Velká část internetu byla navíc dlouhé roky nastavená tak, že konflikty přitahovaly pozornost a generovaly další interakce. Čím větší hádka, tím více reakcí. Čím více urážek, tím delší čas strávený na platformě. Digitální prostředí si tak postupně vypěstovalo kulturu permanentního vzteku, kde slušná diskuse působila téměř jako technická chyba systému.

Nový trend proto neukazuje jen technologický posun, ale také únavu správců stránek, firem a institucí z nekonečného proudu agresivních komentářů. Pro mnoho lidí už totiž není problém odlišný názor. Problémem je prostředí, kde každá druhá diskuse připomíná soutěž o nejhlasitější internetový výbuch.

Internet bez permanentního řevu některé uživatele děsí

Celá situace zároveň ukazuje zvláštní paradox dnešní digitální doby.

Umělá inteligence měla podle katastrofických scénářů lidem brát práci nebo ohrožovat společnost. Místo toho část těchto systémů dnes hlavně filtruje vulgarity a uklízí chaos pod příspěvky, které se dávno změnily v arénu anonymního vzteku.

Debata o moderaci obsahu proto pravděpodobně jen tak nezmizí. Jedna část lidí chce otevřené diskuse bez omezení, druhá odmítá prostředí plné urážek a výhrůžek. A někde mezi tím dnes stojí algoritmus, který během jediné sekundy rozhoduje, zda komentář zůstane viditelný, nebo skončí schovaný před světem.