Как Huffington Post се справя с над 70 милиона коментара годишно

Huffington Post е натрупал повече от 70 милиона коментара досега тази година, далеч надхвърляйки общо 54 милиона за 2011 г.

Да вземем единичен пример, неговият пост ( за първи път публикуван) с вече известното видео с коментарите на Мит Ромни '47 процента' привлече умопомрачително 171 753 коментара .

Всички новинарски сайтове се борят с коментарите на потребителите по един или друг начин, но модерирането на този огромен обем съобщения е уникален тест за това дали онлайн разговорите, каквито ги познаваме – дузина хора, които правят няколко точки в публикация в блог или статия – могат да се мащабират безкрайно по-голям, без да се срива в какофония.

Коментарите на потребителите към статиите на Huffington Post нараснаха през годините до около 8 милиона през юли и 9 милиона (не са на снимката) през август. (Диаграма и данни са предоставени с любезното съдействие на The Huffington Post)

Зададох Джъстин Исаф, директор на общността в The Huffington Post, някои въпроси за това как сайтът създава ценни дискусии и налага стандартите на общността с до 25 000 коментара на час.

Пойнтър: Един от големите въпроси е, мащабира ли се изграждането на общност около онлайн новините? Т.е., когато 100 000 души коментират публикация, можете ли наистина да имате обмен на идеи и истински разговор – или просто имате 100 000 души, които говорят твърде страхотно, за да може някой да слуша? Наистина ли създава общност, която се познават и учат един с друг евтини ретро йордански ?

Джъстин Исаф: Определено можете да имате значима общност в мащаб. 70% от нашите коментари са отговори на други хора, дори на статии със 100 000 коментара. Хората всъщност обръщат внимание един на друг и водят интересни дискусии.

Това всъщност е наистина интересен въпрос и бих искал да се замисля за минута. Има наистина две основни предизвикателства пред общността в мащаб. Най-голямото предизвикателство е проблемът с лошата ябълка, красноречиво посочен в „ Законът на Годуин ” („Тъй като онлайн дискусията става по-дълга, вероятността за сравнение, включващо нацисти или Хитлер, се приближава до 1”). Вторият, който наистина се превръща в проблем само ако сте решили първия, е откривателски – как намирате разговора, който вие, като читател, ще ви интересува, когато има 185 000 коментара към статия.

Джъстин Исаф е работил в Change.org преди присъединяване към The Huffington Post .

Законът на Годуин е свързан с този един човек, който влиза и просто прави нещата по-малко приятни до точката, в която вашите добри членове просто си тръгват. Това е по-голям проблем в мащаб, но е проблем на всички етапи на общността.

За нас решението беше да работим наистина усилено, за да запазим общността безопасна и приятна, като инвестираме значително време и енергия в предварителна модерация, за да предотвратим тези лоши актьори... Нашата вяра се свежда до много просто „ако го правите умишлено или последователно правейки това място по-малко приятно, вие и вашите коментари може да бъдете премахнати от него.'

Подходът ни към другия проблем – намирането на правилната дискусия за вас – беше както обществен, така и технологичен. Първо, „фен” мрежата на HuffPost позволява на хората да гледат какво говорят техните приятели и лесно да общуват с нови хора, които намират за интересни. Искаме да сме сигурни, че старите приятели могат да се намират лесно, но в същото време да ги запознаем с нови хора, така че те винаги да разширяват своята общност и мрежа.

Технологичното решение за свързване на точните хора включва МНОГО хрускане на данни, интелигентни алгоритми и елегантен дизайн. Например, нашата програма Pundit във вертикалната политика – която подчертава коментарите и разговорите, които като цяло ще бъдат по-интересни за голяма аудитория – води до някои от най-ангажиращите и задълбочени разговори на сайта, дори когато има голям обем.

Съсредоточавайки се върху тези два въпроса – създаване на безопасно, приятно пространство и помагане на хората да намерят съдържание, което е подходящо за тях – ни позволи да управляваме растежа и мащаба на истинска общност. Също така ни помогна да задържим потребителите невероятно добре. Над 1000 от членовете на общността, които са се регистрирали през първите 6 месеца от съществуването на HuffPost, все още коментират повече от веднъж седмично днес.

Очевидно този вид усилия също отнема значителни ресурси за поддръжка, нали? Бихте ли ми казали повече за екипа за модериране на коментари – броя на хората, кога работят, какво правят? И какви технологични решения като филтри и алгоритми помагат да се автоматизира част от тази работа?

По-долу: Сега ние сме по-голям екип с еквивалент на около 30 модератори на пълен работен ден. Те работят 24/7/365 на шестчасови смени, преминавайки през стотици коментари на час всеки. Всички те са базирани в САЩ или в страната на изданието, върху което работят, така че да получат местен културен контекст и разговори. Това е много специфичен набор от умения и изисква определен манталитет, за да го направите добре. Постоянно съм възхитен от този отбор.

Те са подкрепени от едни от най-добрите технологии в индустрията. Би отнело много време, за да се обяснят всички различни технологии, които влизат в потока на модериране, но в основата е Джулия. Тя е машина с изкуствен интелект, която помага на модификациите. Тя е много готина технология, която придобихме преди около 2 години и оттогава се разширихме много.

Бих искал да чуя повече за „Джулия“. Каква роля играе тя при модерирането на коментари? Откъде дойде тази технология и достъпна ли е за възприемане от някой друг? Прави ли семантичен анализ? „Учи ли се“ с времето? Какво вдъхнови името?

По-долу: Тя беше част от придобиване на компания, наречена Adaptive Semantics което създаде нея и оригиналната технология зад всичко това. Това беше екип от двама, Джеф Ревес и Елена Халицер. Елена сега е вицепрезидент на продукта на HuffPost, а текущото развитие на Джулия се извършва от някои много умни хора с докторанти в неща, които никога няма да разбера.

Julia е алгоритъм за машинно обучение (JuLiA означава „Просто лингвистичен алгоритъм“), който сме научили да разбираме няколко езика и който продължаваме да преподаваме непрекъснато (да, тя се учи с течение на времето). Тя чете всичко изпратено до HuffPost и помага на модераторите да вършат работата си по-бързо и по-точно. Ние наистина направихме много с машинно подпомагано модериране, което ни позволява да модерираме предварително 9,5 милиона коментара на месец и Джулия е в основата на това.

Аз съм голям фен на това машините да ни помагат със задачи от по-ниско ниво, освобождавайки време, ресурси и мозъчна сила за по-интересни и сложни задачи. Джулия прави това няколко стъпки по-нататък и ни помага с много други аспекти на HuffPost в допълнение към подпомагането на премахването на злоупотребяващите членове, включително идентифицирането на интелигентни разговори за популяризиране и съдържание, което е несъответствие за нашите рекламодатели. Тя ни позволи да направим много повече с много по-малко.

И така, като се имат предвид доста разширените възможности на „Джулия“, какво остава на човешките модератори да се погрижат? Занимават ли се с коментарите в сивата зона, в които компютърът не е сигурен?

По-долу: Нашият човешки екип се занимава с много проблеми. Те определено включват коментари в сива зона, за които Джулия не е сигурна, но също така и справяне с по-високо ниво и модериране на специални грижи, потребителски проблеми, одит и качествена грижа и т.н.

Например:

• Джулия освободи ресурси, за да премине в нашата програма за редактор на общността – редактори, които се фокусират върху създаването на съдържание и ангажирането на нашата аудитория с изричната цел да изградят по-гъста общност от хора около съдържание, което ги интересува, със съмишленици. Това е много практическо, основно човешко и създаде невероятни групи от хора, които сега имат дом, където могат да споделят страстта си с подобни хора, които иначе може би никога не са срещали.
• Когато противоречиви фигури умират или са хоспитализирани, ние много се опитваме да се уверим, че нишките са подходящи и не се превземат от хора, които твърде гласно изразяват неприязънта си към човека. Това е вид грижа, която машините все още не получават съвсем, но това все още са хора с чувства, семейство, приятели, любими хора и ние приемаме като част от нашата отговорност да се уверим, че разговорите в HuffPost вземат това предвид.
• Имаме няколко истории и раздела на сайта, които за съжаление са противоречиви и някои са чувствителни – нашите вертикали на гласове, тийнейджъри, статии за външния вид на хората и т.н. В много случаи в тези вертикали искаме да сме сигурни, че имаме повече човешко участие защото докосват толкова много реални животи и засягат истински чувства. Затова искаме да сме сигурни, че хората с чувства и живот са включени. Джулия е чувствителният тип, но не винаги го „разбира“, когато е емоционално.

И накрая, как мислите да се опитате да извадите най-добрите коментари от хилядите, които получавате? Или по-общо казано, можете ли да проектирате система за коментари, която е оптимизирана за хората, които четат коментарите, а не за хората, които оставят коментарите?

По-долу: Често има компромис при избора на дизайн - хората, които четат и хората, които разговарят, често имат различни нужди.

Можете (и трябва) определено да оптимизирате за четене, особено като се има предвид, че това е голяма част от общността (вижте „ Правило 1-9-90 ”). Но в същото време, ако оптимизирате за хората, които не разговарят, рискувате да намалите количеството неща, които можете да прочетете.

Ние прилагаме подхода, според който искаме да изградим платформа, която е невероятно лесна за членовете на нашата общност да се ангажират помежду си, но която също така улеснява читателите за първи път да намерят най-добрите точки за ангажиране и най-интересните разговори.

Това е балансиращ акт, за да бъдете сигурни и ние проследявахме както качествени, така и количествени данни през годините, за да сме сигурни, че създаваме най-ангажиращата и стабилна платформа и общност, които можем. Нашият подход може да не работи във всеки случай, но за нас той работи доста добре.

по-рано: HuffPost цени разговора и общността повече от съдържанието | HuffPost използва значки, за да даде възможност на потребителите като модератори.