Переконання алгоритмів з AI нюхом

Перевірка фактів може зменшити поширення недостовірних новин. Це також може робити протилежне.

(ця публікація спочатку з’явилася на civilservant.io)

Читачі r / worldnews на reddit часто повідомляють новини таблоїдів модераторам-добровольцям, просячи заборонити таблоїди для своїх сенсаціоналізованих статей. Ці прикрашені історії привертають увагу людей, викликають суперечки та помічають за допомогою алгоритму рейтингу Reddit, який поширює їх ще більше.

Повідомлення про заборону таблоїдів може закінчити цей цикл зворотного зв’язку, але модератори спільноти виступають проти заборон. Щоб вирішити цю загадку, модераторам потрібно було відповісти на питання, що лежать в основі дискусій про так звані "фейкові новини": як ми можемо зберегти свободу учасників, а також вплинути на взаємну поведінку людей та алгоритми на благо громади?

Цієї зими модератори працювали з CivilServant, щоб перевірити ідею: які наслідки заохочують перевірку фактів на реакцію на ненадійні новини? Ми хотіли подивитися, як реагуватиме спільнота r / worldnews. Ми також спостерігали вплив на рейтинг Reddit. Якщо алгоритми reddit інтерпретували перевірку фактів як популярність, ненадійні статті можуть поширюватися ще більше.

Новини Tabloid - це приблизно 2,3% від усіх публікацій до цієї 15-мільйонної спільноти абонентів, яка обговорює новини за межами США. У r / worldnews 70 модераторів переглядають приблизно 450 статей на день і дозволяють залишати 68% цих статей. Оскільки це subreddit за замовчуванням, більшість читачів reddit отримують новини світу через цю спільноту. У той час, як охоплення спільноти загрожує Facebook, r / worldnews може бути найбільшою групою для обговорення новин у світі в будь-якому місці англомовного Інтернету. Навіть невеликі наслідки в цій спільноті можуть мати велике значення в тому, як мільйони людей осягають потенційно ненадійну інформацію про світ.

У нашому дослідженні з 27 листопада по 20 січня ми перевіряли повідомлення A / B, які спонукають громаду перевіряти факти та голосувати за новинами таблоїдів. Ось що ми знайшли:

Вплив заохочення перевірки фактів на поведінку громади

У рамках обговорень подання таблоїдів на r / worldnews, заохочення перевірки фактів збільшує частоту випадків коментарів із посиланнями в середньому на 2 рази, а заохочення перевірки фактів + ​​голосування має подібний ефект.

Вплив стимулювання перевірки фактів на алгоритми Reddit

Спостерігаючи за 24 години, ми також виявили, що в середньому клейкі коментарі, що заохочують перевірку фактів, спричинили вдвічі зменшення кількості балів в редакції подання таблоїдів, що є статистично значущим ефектом, який, ймовірно, вплинув на рейтинги в subreddit. Коли ми також заохочували читачів до голосування, цей ефект зник.

AI Nudges: переконання алгоритмів при збереженні свободи

Наші запитання щодо новин таблоїдів додали алгоритмічний вимір до класичного питання управління: як люди з владою можуть працювати на загальне благо, мінімізуючи обмеження свободи особистості?

ми можемо переконати алгоритми вести себе по-різному, переконуючи людей поводитися по-різному.

По всьому Інтернету люди навчаються жити з системами AI, якими вони не можуть керувати. Наприклад, водії Uber налаштовують свої водіння, щоб оптимізувати свій дохід. Наша колективна поведінка вже весь час впливає на системи ШІ, але поки що громадськості бракує інформації про те, яким є цей вплив насправді. Ці непрозорі результати можуть бути проблемою, коли алгоритми виконують ключові ролі в суспільстві, такі як здоров'я, безпека та справедливість. Щоб вирішити цю проблему, деякі дослідники розробляють системи "суспільство в циклі" [4]. Інші розробляють методи аудиту алгоритмів [5] [6]. Але жоден підхід не пропонує способу управління повсякденною поведінкою систем, кодом яких ми не можемо керувати. Наше дослідження з r / worldnews пропонує третій напрямок; ми можемо переконати алгоритми вести себе по-різному, переконуючи людей поводитися по-різному.

Деякі люди можуть задатися питанням, чи є цей експеримент маніпуляцією з голосуваннями, що суперечить політиці reddit. Наші клейкі записки не порушують жодних правил Reddit для особистої вигоди (ми також не створювали підроблені акаунти, не розповідали людям, як голосувати чи не організовувати блок голосування). Але ми показали, що заохочення людей до перевірки фактів систематично впливає на алгоритми reddit.

Ідея "AI натискань" дає нам можливість подумати про соціальні зусилля, щоб впливати на поведінку людини та машини, зберігаючи свободу особистості. Річард Талер та Касс Сунштейн вперше запропонували «підштовхувати» як способи здійснення інституціями своїх повноважень, зберігаючи особисту свободу [7]. У порівнянні із забороною новин таблоїдів, AI стимулюючої перевірки фактів - це найлегша сенсорна дія, яку можуть вжити модератори. Здатність жодної людини ділитися новинами, коментувати чи голосувати не віднімається, але все-таки AI пригнічує поширення недостовірних новин.

Як зазначають Сунштейн і Талер, не завжди очевидно, чи ці втручання легкого дотику матимуть бажаний результат. Ось чому ми повинні систематично перевіряти їх вплив, тим більше, що неперевірені системи можуть мати несподівані результати.

Управління та етика AI Nudges

Наголоси урядів та соціальні експерименти веб-платформ часто викликають подібну критику. Я думаю, що люди мають право очікувати підзвітності від тих, хто проявляє владу. Працюючи з модераторами-добровольцями, я змогла працювати з більш високим рівнем прозорості та підзвітності, ніж це характерно для соціальних обчислень. Усі дослідження CivilServant розроблені за допомогою модераційних команд та їх результати, а всі результати спочатку розкриваються спільноті в підсумковому підсумковій роботі з підрядчиком. Наші дизайни досліджень перераховані публічно на Open Science Framework перед початком роботи, і весь наш код є відкритим кодом. Деталі повного аналізу також є загальнодоступними, тому кожен може перевірити наші висновки. Єдине, що ми стримуємо, - це фактичні дані, оскільки ми поважаємо конфіденційність усіх, хто бере участь.

В цілому, я сподіваюся, що ШІ підштовхує, особливо коли вони керуються самими громадами, пропонують захоплююче керівництво громадськості для управління роллю алгоритмів у суспільстві, зберігаючи при цьому свободу особистості.

Як працювало дослідження

Для цього тесту модератори розпочали перелік джерел новин, які часто отримують скарги. З 27 листопада по 20 січня ми випадковим чином призначили кожне нове посилання на таблоїд на одне з трьох умов: (а) відсутність липкого коментаря, (б) липкий коментар, що заохочує скептицизм, (в) липкий коментар, що заохочує скептицизм + голосування (детальну інформацію тут ).

Ми розмістили це повідомлення у верхній частині обговорень новин таблоїдів

Другий закликає людей перевірити статтю та розглянути можливість скасування посилання, якщо вони не можуть знайти підтвердження для його тверджень:

Це друге повідомлення спонукало людей розглянути питання про заборону

Чи може впливати поведінка на перевірку фактів Як алгоритми reddit бачать недостовірні новини?

Хоча ми були впевнені, що читачі r / worldnews допоможуть, якщо модератори запитають, ми також поцікавились: якщо ми збільшимо коментування новин таблоїдів, чи може ми випадково викликати алгоритми Reddit для просування цих посилань на таблоїди?

Якщо перевірка фактів збільшила популярність недостовірних джерел новин, громаді, можливо, доведеться переосмислити, куди докласти своїх зусиль. Ось чому модератори випробували другий клейкий коментар, який спонукає читачів розглянути питання про заборону.

Щоб перевірити вплив липких коментарів на алгоритми reddit, програмне забезпечення CivilServant збирало дані про кількість повідомлень кожні чотири хвилини. Платформа не публікує, що саме входить в бал чи як саме працює його рейтинг (я запитав). Однак нам вдалося достовірно передбачити рейтинг публікації HOT на сторінці subreddit HOT за її віком та балом (детальну інформацію тут). В основному, якщо перевірка фактів сильно вплинула на оцінку статті, вона, ймовірно, вплинула на рейтингову оцінку статті на головній сторінці subreddit. Я перевірив це двома способами: шляхом порівняння балів через 24 години та моделювання змін у балах з часом.

Я використовував негативну біноміальну модель для перевірки ефекту на бали через 24 години. Оскільки алгоритми reddit стояли під час нашого експерименту, заохочуючи перевірку фактів, викликані поданнями таблоїдів отримували 49,1% (на 2,04 рази нижче) оцінку подань без липкого коментаря в середньому за 24 години в r / worldnews. Ефект є статистично значущим. У цій моделі мені не вдалося знайти ефект від липких коментарів, які спонукали читачів розглянути питання про заборону.

Я також перевіряв вплив перевірки фактів на швидкість зростання показника публікації з часом. Щоб задати це питання, я встановлюю випадкову модель лінійної регресії на оцінку журналу, трансформовану кожні чотири хвилини. Я виявив, що заохочуюча перевірка фактів призводить до того, що показник зростання балів буде нижчим. Тут я виявив, що заохочувальне голосування насправді має в середньому невеликий позитивний вплив на темпи зростання балів. Оскільки ми проводили експеримент під час зміни алгоритмів reddit на початку грудня 2016 року, я також виявив, що вплив цих липких коментарів на алгоритми reddit, можливо, змінився після того, як reddit скоригував свої алгоритми (деталі).

Хто допоміг перевірити факти новин?

З 930 коментарів, що не належать до ботів, із посиланнями, які модератори дозволили залишатись, 737 облікових записів користувачів надали посилання на додаткові дані. З них 133 акаунти зробили більше одного коментаря із посиланнями. Багато людей фактично перевіряли свої власні подання, а подаючі публікації розміщували 81 коментар для отримання додаткової інформації.

Що ми не можемо знати з цього дослідження?

Цей тест розглядає результати в рамках обговорень, а не окремих облікових записів, тому ми не можемо знати, чи переконалися окремі люди в більш скептичному стані, або якщо липкі коментарі змусили вже скептично налаштованих людей розслідувати та ділитися. Я також не маю жодних доказів щодо впливу перевірки фактів на читачів, хоча інші дослідження говорять про те, що перевірка фактів впливає на переконання читачів [2] [3].

Це дослідження не може нам багато розповісти про те, чому ми бачимо таку велику зміну в алгоритмічних ефектах, коли ми вносимо зміни до повідомлення, заохочуючи читачів розглянути питання про заборону. Ця різниця може бути прикладом того, що психологи називають «реактивністю», опором пропозиціям влади. Або якщо дописувачі новин переживають, що їх посилання можуть бути використані, вони можуть звернутися за допомогою, що врівноважує поведінку читачів.

Чи буде це працювати з іншими видами посилань, в інших підредаговах чи на інших сайтах? Це дослідження обмежено конкретною спільнотою та переліком сайтів. Хоча я підозрюю, що багато великих інтернет-спільнот читачів допоможуть перевірити факти посиланнями, якби запитали модератори, наші висновки щодо алгоритму редагування набагато розташовані.

На ці запитання ми могли б відповісти, якби більше субреддитів вирішили спробувати подібні експерименти. Якщо ви зацікавлені, зв’яжіться зі мною на Reddit, щоб обговорити проведення подібного експерименту та підпишіться на оновлення електронної пошти.

Дізнайтеся більше про цей експеримент

Мій доктор наук включає підтримку спільнот для перевірки наслідків їх власних модераторських практик. Я розробляв цей експеримент спільно з модераторами r / worldnews, і він був схвалений Комітетом MIT з питань використання людей як експериментальних суб'єктів. Якщо у вас є якісь питання або проблеми, будь ласка, зв'яжіться з natematias на redditmail.

Цей експеримент, як і всі мої дослідження Reddit до цього часу, проводився незалежно від платформи reddit, яка не мала жодної ролі в плануванні та розробці експерименту. Експеримент ще не рецензований. Усі результати CivilServant публікуються публічно назад серед залучених громад, як тільки результати будуть готові, а наукові публікації надходять пізніше.

Повні деталі експерименту були опубліковані заздалегідь у плані попереднього аналізу на osf.io/hmq5m/. Якщо вас цікавить статистика, я опублікував повну інформацію про аналіз.

Список літератури

[1] Salganik, M. J., & Watts, D. J. (2008). Ведуче стадо заблукало: експериментальне дослідження самореалізуючих пророцтв на ринку штучної культури. Соціальна психологія щоквартально, 71 (4), 338–355.

[2] Стефан Левандовський, Ульріх К. Х. Екер, Коллін М. Зайферт, Норберт Шварц та Джон Кук. Дезінформація та її виправлення продовжували вплив та успішне зменшення. Психологічна наука в інтересах суспільства, 13 (3): 106–131, грудень 2012 року.

[3] Томас Вуд та Етан Портер. Ефект невловимого зворотного вогню: непохитна фактична прихильність ставлень. Науковий документ SSRN ID 2819073, Social Science Research Network, Рочестер, Нью-Йорк, серпень 2016 року.

[4] Rahwan, Iyad (2016) Суспільство в цілому: програмування алгоритмічного соціального договору. Середній

[5] Крістіан Сандвіг, Кевін Гамільтон, Керрі Карахаліос і Седрик Лангборт. 2014. Алгоритми аудиту: Методи дослідження для виявлення дискримінації на Інтернет-платформах. Дані та дискримінація: перетворення критичних проблем у продуктивний запит, Щорічна зустріч Міжнародної асоціації комунікацій, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Алгоритмічна прозорість у ЗМІ. Цифрова журналістика, 1–20.

[7] Thaler, R. H., Sunstein, C. R. (2003). Лібертарійський патерналізм. Американський економічний огляд, 93 (2), 175–179.