Ето колко близо е автоматизираната проверка на фактите до реалността

Нов лист с факти от института Reuters прави равносметка на автоматизираната проверка на фактите по целия свят - и бъдещето изглежда светло.

Издаден днес , докладът се основава на интервюта с проверяващи факти и компютърни учени, както и преглед на съществуващата технология, за да се уточни как автоматизираната проверка на фактите може да промени практиката в близко бъдеще.

„Последната година се наблюдава нарастващо внимание сред журналистите, политиците и технологичните компании към проблема за намиране на ефективни, широкомащабни отговори на онлайн дезинформация“, пише в доклада старши научен сътрудник Лукас Грейвс. „Въпреки това, определянето на истинността на публичните твърдения и разделянето на легитимните възгледи от дезинформацията е трудна и често противоречива работа... предизвикателства, които се пренасят в (автоматична проверка на фактите)“.

Сред тези предизвикателства Грейвс отбелязва, че напълно автоматизираната проверка на фактите дори не е в състояние да прецени, която журналистите прилагат всеки ден. Освен това подкрепата от фондации, университети и платформи е от съществено значение за разработването на по-добри възможности и широкомащабни системи.

Но потенциалът за автоматизация е голям - и това вече се случва в някои редакции.

Краткият документ предлага категоризация на най-новите разработки в технологиите за автоматизирана проверка на фактите и изследванията:

(Автоматизирана проверка на фактите) инициативите и изследванията обикновено се фокусират върху една или повече от трите припокриващи се цели: да се открият неверни или съмнителни твърдения, циркулиращи онлайн и в други медии; да проверява авторитетно твърдения или истории, които са съмнителни, или да улеснява проверката им от журналисти и членове на обществеността; и да доставя корекции мигновено, в различни медии, на публика, изложена на дезинформация. Системите от край до край имат за цел да адресират и трите елемента - идентификация, проверка и корекция.

Британската благотворителна организация за проверка на факти Full Fact разработи инструмент, който автоматично сканира медиите и стенограмите на парламента за твърдения и ги съпоставя със съществуващите проверки на фактите. Duke Reporters’ Lab и Chequeado са изградили подобни инструменти, които сканират медийни стенограми за проверени твърдения, като по-късно уведомяват проверяващите факти за потенциални проверки на факти. (Разкриване: Лабораторията на репортерите помага да се плати за Глобалната среща на върха за проверка на фактите).

Първите две организации са включени в третото видео „Check It“ на Международната мрежа за проверка на фактите:

Тази методология - автоматично извличане и намиране на твърдения в преписи, след което ги съпоставя с библиотеки от съществуващи проверки на факти, като Споделете фактите — е най-ефективният и продукт на успешни изследвания, според Грейвс. Но технологията все още не е перфектна.

Въпреки това, досега тези системи могат да идентифицират само прости декларативни твърдения, липсващи подразбиращи се твърдения или твърдения, вградени в сложни изречения, които хората лесно разпознават. Това е особено предизвикателство с разговорни източници, като дискусионни програми, в които хората често използват местоимения и се връщат към по-ранни точки.

Той също така има потенциал да тълкува погрешно перифразирането и фините промени във формулировката, времето и контекста. Освен това, проверката остава извън обхвата на съществуващите автоматизирани инструменти за проверка на фактите днес и все още разчита на хората да отсяват потенциалните проверки на факти, така че очакванията трябва да бъдат скромни, според доклада.

В бъдеще продължаващото предизвикателство за автоматизацията е намирането на начини за съпоставяне на твърдения с официални източници на информация, което по същество е това, което проверяващите факти правят ръчно. Грейвс пише, че изследователите на изкуствения интелект могат да проучат как автоматизираните системи за проверка на фактите могат да идентифицират кои източници на данни са подходящи за дадено твърдение.

Но това създава други проблеми. Данните не винаги са налични и дори когато са, правилното разпознаване на значението на данните за достоверността на твърдението е трудно, както показва едно подчертано проучване:

… начин да се тества твърдението, че „Лесото е най-малката страна в Африка“, без да се тълкува логично, е да се търси подобен език в голям текстов източник или в цялата мрежа. При експерименти, използващи Wikipedia като доверен източник и набор от данни от 125 000 твърдения, например, екип, ръководен от един от студентите на [Andreas Vlachos'], може да предвиди правилно дали твърдение с един предикат се поддържа или опроверга (или дали няма достатъчно доказателства) около 25% от времето (Thorne et al. 2018).

В много отношения този вид академично прозрение се оказа от съществено значение за подпомагането на практикуващите да разработят автоматизирани платформи.

„(Автоматизираната проверка на фактите) е област на необичайно тясно сътрудничество между изследователи и практици“, пише Грейвс. „По-нататъшният напредък ще зависи главно от два фактора: продължаваща финансова подкрепа както за основни изследвания, така и за експерименти в реалния свят, както и напредък на правителствените и гражданското общество в установяването на стандарти за отворени данни.