Компенсация За Зодиакалния Знак
Странност C Знаменитости

Научете Съвместимост По Зодиакален Знак

Анализ: Експериментът за проверка на факти на Twitter с краудсорсинг разкрива проблеми

Анализ

Анализ на Poynter установи, че по-малко от половината потребители на Birdwatch включват източници и много бележки за проверка на фактите съдържат партизанска реторика.

Версия от 14 февруари на алгоритъма Birdwatch на Twitter разшири някои бележки с подвеждаща информация.

На 5 февруари Twitter сигнализира публикация от противоречивия YouTuber Тим Пул което каза, че президентските избори в САЩ през 2020 г. са фалшифицирани. Платформата отбеляза, че искът е оспорен и изключи годежа „поради риск от насилие“.

Но, нататък Гледане на птици , платформата за социални медии експеримент в краудсорсинг проверка на факти , потребителите в мнозинство заявиха, че туитът не е подвеждащ, според анализ на данните от Twitter от 14 февруари. И повечето потребители на Birdwatch посочиха в инструмента, че намират тези бележки, които поддържат развенчани твърдения, полезни и информативни.

„Според официалния (sic) източник на TIME имаше добре организирана група от тайни участници в организация в сянка, която звучи като заговор, който работи заедно, за да повлияе на изборите в полза на Джо Байдън“, гласи една бележка. Докато потребителят включва връзка към статия от списание Time че наистина използва думи като „заговор“ и „конспирация“, контекстът на статията — че мощни групи са работили зад кулисите, за да защитят целостта на изборите — се губи.

В Алгоритъм за наблюдение на птици , който има за цел да изведе полезни бележки, присвои на тази „проверка на факти“ оценка за полезност от 0,68 – най-високата от бележките в туита, точно извън първите 10% бележки, считани от алгоритъма за „оценени като полезни“ към 14 февруари. Бележките с полезна оценка съставляват около 7% от 2695 в този анализ и по-малко от две трети от тях съдържат връзка към източник, която не е друг туит.

На 17 февруари Twitter промени алгоритъма си и бележките в туита на Pool вече не се оценяват като полезни, въпреки че са все още са изброени под публикацията . Преди тази промяна имаше по-нисък праг, който трябваше да се счита за полезен — само 0,5 в сравнение с новата граница от 0,84 — и бележките се нуждаеха само от три оценки, за да бъдат в действие, за да се считат за полезни, подредени по приоритет и маркирани със синя бележка.

Сега една бележка трябва да натрупа пет оценки, за да прокара този туит в нов раздел „оценен полезен“ в Birdwatch . И от тези близо 2700 бележки в базата данни на платформата, 126 са достигнали новия праг - това е по-малко от 5%. Три четвърти от новите „оценени полезни“ бележки съдържат източник извън Twitter.

Това е навременна илюстрация на един от проблемите, пред които е изправен моделът Birdwatch: може ли алгоритъм, захранван от привидно произволна група хора, някога точно да „оцени“ истината?

Birdwatch, в пилотната си фаза с малко повече от 1000 потребители, позволява на участниците да маркират туитовете като подвеждащи и да добавят бележка, която цитира източник и/или обяснява контекста защо може да е подвеждаща. След това потребителите на Birdwatch могат да класират тези бележки въз основа на полезност (след това алгоритъмът поема контрола).

В крайна сметка всички потребители на Twitter привидно ще могат да видят тези бележки точно под туитовете, но засега те са ограничени до определен раздел от сайта . Потребителите на Birdwatch също в крайна сметка ще изградят оценка на репутацията, която ще се включи в алгоритъма за полезност.

„Нашата цел с пилота Birdwatch е да изградим система, в която всеки може да допринесе, и това естествено повишава информацията, която хората намират за полезна“, каза вицепрезидентът на продукта в Twitter Кийт Коулман в имейл. „Вярваме, че откритостта в това кой може да допринесе е важна и че чрез принос от разнообразна група може да се издигнат най-полезните бележки.“

Но погледът към системата, каквато е сега, разкрива предизвикателства, които проверяващите факти са повдигнали относно Birdwatch: липса на опит в проверката на факти сред потребителите, трудността при създаването на алгоритъм, който по някакъв начин ще открие полезни бележки на най-реномираните потребители и въпроси относно партийните мотиви на потребителите.

„Не съм изненадан от тези констатации, като се има предвид поляризираният характер на платформите за социални медии и колебанието на масовите потребители да предоставят обратна връзка за подобни запитвания, предлагани от платформите, докато мотивираните потребители от двете страни на пътеката виждат платформите като бойни полета за популяризиране на техните разкази над други“, каза Бейбарс Орсек, директор на Международната мрежа за проверка на фактите.

По-голямата част от бележките на най-плодотворните потребители на Birdwatch отбелязват туитовете, критични към дясното, като „подвеждащи“, а тези към лявото като „неподвеждащи“. (Например, потребителят е маркирал туит, който гласи „ Екипът Байдън е мек към Китай ” от сенатор Тед Круз и Пул туитват като „не подвеждащ”; докато статия в Newsweek за крайнодесните екстремисти и сагата GameStop и туит свързването на президента Доналд Тръмп с бунта в Капитолия бяха маркирани като „подвеждащи“ и „вредни“.) И по-малко от една пета от 82-те бележки на потребителя включват източник, някои от които са други туитове. (Този потребител на Birdwatch не отговори на молба за интервю.)

Коулман каза, че Birdwatch може да бъде стимулиран да разглежда бележки, които идват от „разнообразен набор от сътрудници“. Освен това рейтинговата система е основният двигател зад платформата

„Вярваме, че това ще възнагради и стимулира приносите, които много хора намират за ценни, и ще се справим с риска една конкретна група или идеология да поеме Birdwatch“, каза Коулман. „Това е нещо, върху което ще работим активно през целия пилотен проект.“

И наистина, бележките, които алгоритъмът класира като най-полезен след промените от 17 февруари, показват по-солиден източник и по-малко пристрастна реторика, отколкото итерацията от само ден по-рано. Но промяната на алгоритъма за пилотна програма с 1000 потребители и по-малко от 2700 бележки е едно, промяната на алгоритъма, след като Birdwatch е достъпен за всички потребители, е друго – и кой знае дали ефикасността на алгоритъма ще се задържи, когато потребителите започнат да леят в платформата, може би възпроизвеждайки поведението на някои от най-плодотворните пилотни участници.

„В момента нямаме конкретна времева линия за мащабиране, тъй като работим, за да научим колкото е възможно повече и да повторим, докато пилотният модел е малък“, каза Колман. „Планираме да разширим, тъй като сме в състояние да го направим безопасно и когато това може да помогне за подобряване на ученето.“

И все пак, както при бележките под туита на Pool, има примери за партизан или подвеждаща информация все още се виждат като обикновени бележки.

Четирима от петте най-активни потребители, които представляват повече от 10% от общите бележки, имат подобна активност като най-плодотворния потребител. Един от тях твърди, че смъртта на Джефри Епщайн никога не е била определяна като самоубийство. Въпреки това, вторият най-плодотворен Birdwatcher цитира източник във всяка бележка, включително връзки от Световната здравна организация и FactCheck.org .

Нито един от първите 10 потребители, според биографията им в Twitter, не е професионални проверяващи факти или журналисти.

„Проверката на факти всъщност е тежка работа, тъй като е умствено натоварваща“, каза в имейл главният редактор на PolitiFact Анджи Холан. „Наистина трябва да се концентрирате и да прокарате умствена инерция, за да идентифицирате твърденията и след това да обмислите средства за развенчаването или проверката им. След това трябва да продължите с търсенето и след това да запишете констатациите. Не е ден на плажа, направо казано. И ако проверяващият факти има партийна мотивация, това прави задълбочените и безпристрастни усилия още по-трудни.'

Въпреки проблемите си, Birdwatch маркира дезинформация, традиционните проверяващи факти могат да пропуснат или да изберат да не проверят поради потенциална вреда - което може да помогне за запълване на някои пропуски в цифровата дезинформация. По време на игра стоп сага , дезинформацията за акциите на тази компания се разпространява бързо в различните платформи.

Snopes и PolitiFact не оцени искове относно GameStop, докато Оценка на водещите истории една публикация в Reddit. Но в Birdwatch бележката с най-висока оценка – с оценка за полезност от 1,00 – отбеляза подвеждащ туит за Reddit, където се водеше разговор за акциите. Имаше около 50 бележки за Reddit, GameStop и инвестиционното приложение Robinhood, на които се случи голям обем на търговия по-рано този месец.

И потребителите на Birdwatch правилно маркираха акаунт, за който се твърди, че принадлежи на сенатор от Вирджиния Аманда Чейс, като фалшив, след това туитира , „...Имаме проблем с наркотиците във Вирджиния и легализирането на марихуаната ще доведе само до повече предозиране на марихуана и смъртни случаи…“

Краудсорсингът може да улесни живота на професионалните проверяващи факти, като открие дезинформация, каза Орсек.

Коулман каза, че Twitter се ангажира да поддържа прозрачност - което направи този анализ възможен - и да включва принос от експерти за бъдещето на платформата.

„От работата с вграден член на екипа от Център за RISC на университета в Чикаго , за да организираме сесии за обратна връзка с репортери и изследователи, ние работим, за да се възползваме от огромното количество опит и знания, които съществуват извън Twitter“, каза той.

Holan и Örsek препоръчват стимули и обучение за потребителите на Birdwatch, както и наемане на професионални проверяващи факти за проверка на високопоставени бележки.

„Но аз съм доста съмнителен към технологичните компании, които вярват, че техните потребители ще модерират безплатно съдържание за тях“, каза Холан. „Повечето потребители не виждат задачата си да помагат на платформите да управляват собствения си бизнес.