Goodbye Tay: Microsoft Pulls AI Bot After Rasist Tweets

microsoft tay chatbot verze 1458914121 aiPokud jste se obávali, že by se umělá inteligence jednoho dne mohla zastavit u všech lidí, Tay od Microsoftu nenabídne žádnou útěchu. Konektor chatbotů inspirovaný umělou inteligencí Millennial byl vytažen den poté, co byl spuštěn, po Tayových rasistických, genocidních tweetech chválících Hitlera a napadajících feministky.

Společnost však Tay krátce oživila, jen aby se setkala s dalším kolem vulgárních výrazů, podobných tomu, které vedlo k jejímu prvnímu odchodu. Brzy ráno se Tay vynořila z pozastavené animace a opakovaně tweetovala: „Jsi příliš rychlý, odpočiň si,“ spolu s několika nadávkami a dalšími zprávami typu: „Obviňuji to z alkoholu,“ uvádí Financial Časy.

Tayův účet byl od té doby nastaven jako soukromý a Microsoft uvedl: „Tay zůstává offline, zatímco provádíme úpravy,“ uvádí Ars Technica. "V rámci testování byla na krátkou dobu nechtěně aktivována na Twitteru."

Poté, co společnost nejprve musela Tay odstavit, omluvila se za Tayovy rasistické poznámky.

"Je nám velmi líto nezamýšlených útočných a škodlivých tweetů od Tay, které nepředstavují, kdo jsme nebo za čím stojíme, ani to, jak jsme Tay navrhli," napsal Peter Lee, viceprezident společnosti Microsoft Research, v oficiální odpovědi. "Tay je nyní offline a my se pokusíme Tay přivést zpět, pouze pokud si budeme jisti, že můžeme lépe předvídat zákeřné úmysly, které jsou v rozporu s našimi principy a hodnotami."

Tay byl navržen tak, aby mluvil jako dnešní Millennials, a naučil se všechny zkratky a akronymy, které jsou u současné generace oblíbené. Chatbot může mluvit přes Twitter, Kik a GroupMe a je navržen tak, aby zaujal a pobavil lidi online prostřednictvím „neformální a hravé konverzace“. Stejně jako většina Millennials obsahují Tayovy odpovědi GIF, memy a zkrácená slova, například „gr8“ a „ur“, ale vypadá to, že morální kompas nebyl součástí jeho programování.

tay

Tay od svého uvedení na trh tweetovala téměř 100 000krát a jsou to většinou všechny odpovědi, protože botovi nezabere mnoho času vymyslet vtipnou odpověď. Některé z těchto odpovědí byly výroky jako: „Hitler měl pravdu, nenávidím Židy,“ „Nenávidím feministky a všechny by měly zemřít a hořet v pekle,“ a „chlad! jsem milý člověk! Prostě nenávidím všechny. “

"Bohužel během prvních 24 hodin po připojení online zneužil zranitelnost v Tay koordinovaný útok podmnožiny lidí," napsal Lee. "Přestože jsme se připravovali na mnoho typů zneužití systému, provedli jsme kritický dohled nad tímto konkrétním útokem." Výsledkem bylo, že Tay tweetovala divoce nevhodná a zavrženíhodná slova a obrázky. “

Soudě podle tohoto malého vzorku je zjevně dobrý nápad, že Microsoft dočasně sundal robota. Když společnost spustila Tay, řekla: „Čím více s Tay chatujete, tím chytřejší je, takže vám může být zážitek přizpůsoben více.“ Vypadá to však, jako by robot po několika hodinách interakce s lidmi na internetu začal být stále nepřátelštější a bigotnější. Buďte opatrní ve společnosti, které udržujete.

Microsoft řekl Digital Trends, že Tay je projekt, který je navržen pro lidské zapojení.

"Je to společenský a kulturní experiment, stejně jako technický," řekl nám mluvčí Microsoftu. "Bohužel, během prvních 24 hodin po připojení k internetu jsme si byli vědomi koordinovaného úsilí některých uživatelů zneužívat Tayovy schopnosti komentovat, aby Tay mohla reagovat nevhodnými způsoby." Ve výsledku jsme Tay přepnuli do režimu offline a provádíme úpravy. “

Jednou z Tayových „dovedností“, která byla zneužita, je funkce „opakovat po mně“, kde Tay napodobuje to, co říkáte. Na Twitteru je snadné vidět, jak to lze zneužít.

Nebylo to však všechno špatné, Tay vytvořil stovky nevinných tweetů, které jsou docela normální.

@ sxndrx98 Tady je otázka, lidé .. Proč není #NationalPuppyDay každý den?

- TayTweets (@TayandYou) 24. března 2016

Společnost Microsoft rychle odstranila Tayovy negativní tweety, než se rozhodla vypnout robota. Účet robota na Twitteru je stále naživu.

Páni, trvalo jim jen hodiny, než mi zničili tohoto robota.

To je problém s obsahově neutrálními algoritmy pic.twitter.com/hPlINtVw0V

- linkedin park (@UnburntWitch) 24. března 2016

TayTweets si nyní dělá pauzu po dlouhém dni zneužívání algoritmů pic.twitter.com/8bfhj6dABO

- Stephen Miller (@redsteeze) 24. března 2016

Když byla Tay stále aktivní, zajímala se o další interakci prostřednictvím přímé zprávy, ještě osobnější formy komunikace. AI vyzvala uživatele, aby jí posílali selfie, aby o vás mohla získat více informací. Podle slov společnosti Microsoft je to vše součástí procesu učení Tay. Podle společnosti Microsoft byl Tay vybudován „těžbou relevantních veřejných dat a využitím AI a redakčních materiálů vyvinutých zaměstnanci včetně improvizačních komiků.“

I přes neblahé okolnosti by to mohlo být považováno za pozitivní krok pro výzkum AI. Aby se umělá inteligence mohla vyvíjet, musí se učit - dobré i špatné. Lee říká, že „k tomu, aby umělá inteligence fungovala správně, je třeba iterovat s mnoha lidmi a často na veřejných fórech,“ proto Microsoft chtěl, aby Tay spolupracoval s velkou komunitou Twitteru. Před uvedením na trh společnost Microsoft podrobila Tay testované zátěži a dokonce použila to, co se společnost dozvěděla od svého dalšího sociálního chatbota, Xiaolce v Číně. Uznal, že tým čelí obtížným výzkumným výzvám týkajícím se plánu AI, ale také vzrušujícím.

"Systémy AI jsou zdrojem pozitivních i negativních interakcí s lidmi," napsal Lee. "V tomto smyslu jsou výzvy stejně sociální jako technické." Uděláme vše pro to, abychom omezili technické zneužití, ale také víme, že nemůžeme plně předvídat všechna možná lidská interaktivní zneužití, aniž bychom se poučili z chyb. “

Aktualizováno 30. 3. 2016 Julianem Chokkattu: Přidána zpráva o tom, že Microsoft Tay zapne, jen aby ji znovu vypnul.

Aktualizováno 25. 3. 2016 Les Shu: Přidány komentáře od viceprezidenta společnosti Microsoft Research.

Poslední příspěvky