Přesvědčování algoritmů pomocí AI Nudge

Kontrola faktů může omezit šíření nespolehlivých zpráv. Může také dělat protiklady.

(tento příspěvek se původně objevil na civilservant.io)

Čtenáři r / worldnews on reddit často hlásí bulvární zprávy moderátorům dobrovolníků a žádají je, aby zakázali bulvárům pro jejich senzační články. Tyto ozdobené příběhy upoutají pozornost lidí, přitahují kontroverzi a získají povšimnutí pomocí algoritmu hodnocení reddit, který je dále rozšiřuje.

Zakázáním bulvárních zpráv by mohlo dojít k ukončení této zpětné vazby, ale moderátoři komunity jsou proti plošným zákazům. K vyřešení této hádanky museli moderátoři odpovědět na otázku v jádru debat o tzv. „Falešných zprávách“: jak můžeme zachovat svobodu přispěvatelů a zároveň ovlivnit vzájemné chování lidí a algoritmy pro dobro komunity?

Tuto zimu moderátoři spolupracovali se společností CivilServant, aby otestovali nápad: jaké jsou účinky povzbuzující kontroly faktů na reakci na nespolehlivé zprávy? Chtěli jsme vidět, jak bude komunita r / worldnews reagovat. Pozorovali jsme také účinek na hodnocení redditů. Pokud algoritmy reddit interpretují kontrolu skutečností jako popularitu, nespolehlivé články se mohou ještě více rozšířit.

Tabloidní zprávy jsou zhruba 2,3% všech příspěvků této 15 milionové komunitě odběratelů, která diskutuje o novinkách mimo USA. V r / worldnews 70 moderátorů kontroluje zhruba 450 článků denně a umožňuje 68% těchto článků zůstat. Protože se jedná o výchozí subreddit, většina čtenářů reddit dostává prostřednictvím této komunity světové zprávy. I když je dosah komunity trpaslík na Facebooku, r / worldnews může být největší samostatnou skupinou pro diskusi o světových zprávách kdekoli na anglicky mluvícím internetu. I malé efekty v této komunitě mohou mít velký vliv na to, jak miliony lidí dávají smysl potenciálně nespolehlivým informacím o světě.

V naší studii od 27. listopadu do 20. ledna jsme A / B testovali zprávy povzbuzující komunitu ke kontrole a hlasování o bulvárních zprávách. Zde je to, co jsme našli:

Účinek podpory kontroly faktů na chování komunity

V rámci diskusí o předložení bulvárního zpravodajství o r / worldnews zvýší podpora kontroly faktů incidence komentářů s odkazy v průměru dvakrát a podpora kontroly faktů + hlasování má podobný účinek.

Účinek povzbuzování kontroly faktů na Redditovy algoritmy

Při pozorování po dobu 24 hodin jsme také zjistili, že lepkavé komentáře podporující kontrolu faktů v průměru způsobily 2x snížení reddit skóre podání tabloidů, což je statisticky významný účinek, který pravděpodobně ovlivnil pořadí v subredditu. Když jsme také povzbudili čtenáře, aby hlasovali, tento efekt zmizel.

AI Nudges: Přesvědčování algoritmů při zachování svobody

Naše otázky týkající se bulvárních zpráv přidaly k klasické otázce řízení algoritmický rozměr: jak mohou lidé s mocí pracovat na společném prospěchu a zároveň minimalizovat omezení osobní svobody?

můžeme přesvědčit algoritmy, aby se chovaly odlišně tím, že přesvědčíme lidi, aby se chovali jinak.

Po celém internetu se lidé učí žít s AI systémy, které nemohou ovládat. Například řidiči Uberu vylepšují jízdu, aby optimalizovali svůj příjem. Naše kolektivní chování již ovlivňuje systémy AI po celou dobu, ale zatím veřejnost postrádá informace o tom, jaký je tento vliv. Tyto neprůhledné výsledky mohou být problémem, když algoritmy vykonávají ve společnosti klíčové role, jako je zdraví, bezpečnost a spravedlnost. K vyřešení tohoto problému navrhují někteří vědci systémy „společnosti v smyčce“ [4]. Jiné vyvíjejí metody pro audit algoritmů [5] [6]. Ani jeden z těchto přístupů však nenabízí způsob, jak řídit každodenní chování systémů, jejichž kód nemůžeme ovládat. Naše studie s r / worldnews nabízí třetí směr; můžeme přesvědčit algoritmy, aby se chovaly odlišně tím, že přesvědčíme lidi, aby se chovali jinak.

Někteří lidé se možná ptají, zda tento experiment představuje manipulaci s hlasováním, což je proti zásadám redditů. Naše rychlé poznámky neporušují žádné z redditových pravidel pro osobní zisk (také jsme nevytvořili falešné účty, neřekli lidem, jak volit, nebo uspořádat blok hlasování). Ukázali jsme však, že povzbuzování lidí ke kontrole faktů mělo systematický účinek na algoritmy redditu.

Myšlenka „umělá inteligence“ nám dává způsob, jak přemýšlet o prosociálním úsilí ovlivnit chování lidí a strojů při zachování individuální svobody. Richard Thaler a Cass Sunstein nejprve navrhli „nudges“ jako způsob, jak mohou instituce uplatnit svou moc při zachování osobní svobody [7]. Ve srovnání se zákazem bulvárních zpráv je AI štětina povzbuzující kontroly faktů nejlehčí akcí, kterou mohou moderátoři podniknout. Schopnost nikoho sdílet zprávy, komentáře nebo hlasování není odebrána, ale štípnutí AI stále tlumí šíření nespolehlivých zpráv.

Jak zdůrazňují Sunstein a Thaler, není vždy zřejmé, zda tyto zásahy lehkým dotykem budou mít požadovaný výsledek. Proto bychom měli systematicky testovat jejich účinky, zejména proto, že neověřené systémy mohou mít neočekávané výsledky.

Řízení a etika AI Nudges

Akty vlád a sociálních experimentů online platformami často přitahují podobné kritiky. Myslím, že lidé mají právo očekávat odpovědnost od těch, kteří vykonávají nudnou sílu. Díky práci s moderátory dobrovolníků jsem byl schopen pracovat s vyšší úrovní transparentnosti a odpovědnosti, než je typické pro sociální práci na počítači. Všechny studie CivilServant jsou navrženy spolu s moderovacími týmy a všechny výsledky jsou zveřejněny nejprve komunitě v subreddit debriefing. Naše studijní plány jsou veřejně uvedeny v Open Science Framework, než začneme, a celý náš kód je otevřený zdroj. Úplné podrobnosti analýzy jsou také veřejné, takže si každý může zkontrolovat naše závěry. Jedinou věcí, kterou zadržujeme, jsou skutečná data, protože respektujeme soukromí všech zúčastněných.

Celkově doufám, že AI štětce, zejména pokud jsou vedeny samotnými komunitami, nabízejí vzrušující směr pro veřejnost, aby řídila roli algoritmů ve společnosti a zároveň zachovala osobní svobodu.

Jak studie fungovala

Pro tento test moderátoři začali seznamem zdrojů zpráv, které často dostávají stížnosti. Od 27. listopadu do 20. ledna jsme každý nový bulvární odkaz náhodně přiřadili k jedné ze tří podmínek: (a) žádný lepkavý komentář, (b) lepkavý komentář podporující skepticismus, (c) lepkavý komentář podporující skepticismus + hlasování (úplné podrobnosti zde ).

Tuto zprávu jsme zveřejnili na vrchol bulvárních diskusí o novinkách

Druhý povzbuzuje lidi, aby tento článek zkontrolovali a zvážili snížení úrovně odkazu, pokud nenaleznou podpůrné důkazy pro jeho tvrzení:

Tato druhá zpráva povzbudila lidi, aby zvážili downvoting

Může vliv chování na kontrolu skutečností zjistit, jak algoritmy redditu vidí nespolehlivé zprávy?

Přestože jsme si byli jisti, že čtenáři r / worldnews by pomohli, kdyby se na to moderátoři zeptali, také jsme se divili: pokud zvýšíme komentování bulvárních zpráv, mohli bychom náhodou způsobit redditovy algoritmy na podporu těchto bulvárních odkazů?

Pokud by kontrola faktů zvýšila popularitu nespolehlivých zpravodajských zdrojů, možná by komunita musela přehodnotit, kam vynaložit své úsilí. Proto moderátoři testovali druhý lepkavý komentář, ten, který čtenáře vybízí, aby zvážili downvoting.

Aby bylo možné otestovat vliv lepivých komentářů na algoritmy reddit, shromažďoval software CivilServant data o skóre příspěvků každé čtyři minuty. Platforma nezveřejňuje přesně to, co jde do skóre nebo jak funguje její hodnocení (zeptal jsem se). Dokázali jsme však spolehlivě předpovědět hodnocení HOT stránky podřízeného příspěvku od jeho věku a skóre (úplné podrobnosti zde). V zásadě, pokud kontrola faktů měla velký vliv na skóre článku, pak to pravděpodobně mělo vliv na hodnocení článku v čase na titulní stránce subreddit. Testoval jsem to dvěma způsoby: porovnáním skóre po 24 hodinách a modelováním změn skóre v čase.

Po 24 hodinách jsem použil negativní binomický model k testování účinku na skóre. Protože algoritmy reddit během našeho experimentu stály, povzbuzující kontrola faktů způsobila, že bulvární příspěvky dostaly 49,1% (2,04x nižší) skóre podání bez lepkavých komentářů, průměrně po 24 hodinách, v průměru za 24 hodin. Účinek je statisticky významný. V tomto modelu se mi nepodařilo najít efekt z lepivých komentářů, které povzbudily čtenáře, aby zvážili downvoting.

Také jsem testoval vliv kontroly faktů na rychlost růstu skóre příspěvku v průběhu času. Abych si položil tuto otázku, umístil jsem náhodně zachycující lineární regresní model do logem transformovaného skóre pro příspěvek každé čtyři minuty. Zjistil jsem, že povzbuzující kontrola faktů způsobuje nižší tempo růstu skóre. Zde jsem zjistil, že povzbuzující hlasování má ve skutečnosti malý pozitivní vliv na tempo růstu skóre v čase v průměru. Protože jsme experiment prováděli během změny algoritmů reddit začátkem prosince 2016, také jsem zjistil, že účinek těchto lepkavých komentářů na algoritmy reddit se mohl změnit poté, co reddit upravil své algoritmy (podrobnosti).

Kdo pomáhal s kontrolou článků ve zprávách?

Z 930 komentářů bez bot s odkazy, které moderátoři mohli zůstat, 737 uživatelských účtů přispělo odkazy k dalším důkazům. Z toho 133 účtů uvedlo více než jeden komentář s odkazy. Mnoho lidí fakticky zkontrolovalo svá vlastní podání a zadavatelé zaslali 81 komentářů k dalším informacím.

Co z této studie nevíme?

Tento test se zaměřuje spíše na výsledky diskusí než na jednotlivé účty, takže nevíme, zda byli jednotliví lidé přesvědčeni, že jsou skeptičtější, nebo zda lepkavé komentáře způsobily vyšetřování a sdílení již skeptických lidí. Také nemám žádné důkazy o účinku kontroly faktů na čtenáře, ačkoli jiné výzkumy naznačují, že kontrola faktů ovlivňuje přesvědčení čtenáře [2] [3].

Tato studie nám nemůže říct mnoho o tom, proč vidíme tak velkou změnu algoritmických efektů, když zprávu upravíme tím, že čtenáře povzbuzujeme, aby zvážili snížení hlasitosti. Tento rozdíl může být příkladem toho, co psychologové nazývají „reaktivitou“, odporem k návrhům autority. Nebo pokud se zadavatelé obávají, že by jejich odkazy mohly být sníženy, mohou požádat o pomoc, která vyvažuje chování čtenářů.

Fungovalo by to s jinými druhy odkazů, v jiných dílčích dílech nebo na jiných webech? Tato studie je omezena na konkrétní komunitu a seznam webů. I když mám podezření, že mnoho velkých online komunit čtenářů by pomohlo odkazům na kontrolu faktů, pokud by se moderátoři zeptali, naše zjištění týkající se algoritmu reddit jsou mnohem více situována.

Na tyto otázky bychom mohli odpovědět, kdyby se více dílčích pokusů pokusilo podobné experimenty. Máte-li zájem, kontaktujte mě na reddit a proberte podobný experiment a zaregistrujte se k aktualizaci e-mailu.

Další informace o tomto experimentu

Můj PhD zahrnuje podporu komunit při testování účinků jejich vlastních moderovacích postupů. Tento experiment jsem navrhl společně s moderátory r / worldnews a byl schválen Výborem MIT pro použití lidí jako experimentálních subjektů. Pokud máte jakékoli dotazy nebo připomínky, kontaktujte prosím redemitmail natematias.

Tento experiment, stejně jako celý můj dosavadní výzkum redditu, probíhal nezávisle na platformě reddit, která neměla žádnou roli při plánování ani návrhu experimentu. Experiment ještě nebyl recenzován. Všechny výsledky z CivilServantu jsou zveřejněny veřejně zpět dotčeným komunitám, jakmile jsou výsledky připraveny, a akademické publikace přicházejí později.

Všechny podrobnosti experimentu byly zveřejněny předem v plánu před analýzou na osf.io/hmq5m/. Pokud vás statistika zajímá, zveřejnila jsem veškeré podrobnosti analýzy.

Reference

[1] Salganik, M. J., & Watts, D. J. (2008). Vedení stádové cesty: Experimentální studie seberealizujících proroctví na umělém kulturním trhu. Sociální psychologie čtvrtletně, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz a John Cook. Dezinformace a její korekce pokračovaly v ovlivňování a úspěšném debiasingu. Psychologická věda ve veřejném zájmu, 13 (3): 106–131, prosinec 2012.

[3] Thomas Wood a Ethan Porter. Nepolapitelný efekt zpětného ohně: Stálá faktická adherence hromadných postojů. SSRN Scholarly Paper ID 2819073, Network Science Research Network, Rochester, NY, srpen 2016.

[4] Rahwan, Iyad (2016) Společnost in-the-Loop: Programování algoritmické sociální smlouvy. Střední

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios a Cedric Langbort. 2014. Auditní algoritmy: Výzkumné metody detekce diskriminace na internetových platformách. Data a diskriminace: Převádění kritických obav na produktivní šetření, výroční zasedání Mezinárodní komunikační asociace, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmická průhlednost v médiích. Digitální žurnalistika, 1–20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Libertariánský paternalismus. The American Economic Review, 93 (2), 175–179.