10 инструмента, които могат да помогнат на журналистите с данни да вършат по-добра работа, да бъдат по-ефективни

Трудно е да си еднакво добър във всички задачи, които попадат в журналистиката на данни. За да влошат нещата (или по-добре, наистина), журналистите за данни откриват и прилагат нови методи и инструменти през цялото време.

Като начинаещ журналист по данни, вие ще искате да развиете усещане за инструментите, които другите използват, за да вършат работата, на която се възхищавате. Няма да можете да ги научите наведнъж и не трябва да опитвате. Трябва обаче да развиете някакво атмосферно съзнание за използваните инструменти (нещо като знанието, което Facebook ви дава за живота на вашите съученици от гимназията). Съхранявайте списък с инструменти, които да проверите. Гледайте демонстрациите и прегледайте документацията или кода. След това, когато вашите проекти създадат нужда, ще запомните достатъчно, за да започнете.

По-бързо обаче изберете един или два инструмента и ги направете част от вашето ДНК. Изберете инструмент и изстискайте от него всичко, което можете. Прочетете всичко, което можете да намерите за него. Научете всяка идиосинкразия и оптимизация. Купете си чаша за кафе с клавишите за бърз достъп върху нея. Просто бъдете готови да вземете нов инструмент, когато усетите щипката, която казва, че трябва да има по-лесен начин. По-долу са 10 инструмента, които са част от колана с инструменти на почти всеки журналист за данни.

1. Електронната таблица

Почти всеки журналист за данни започва с електронната таблица. (Разкриване: тук съм изключение, както и някои други програмисти-журналисти. Научих се да използвам електронни таблици, за да работя с моите колеги, които разчитат на тях.)

Електронната таблица е почти универсален формат за данни, особено ако записвате данните си като файл с разделители на обикновен текст, като например файл със стойности, разделени със запетая. Всеки или вече има комерсиална програма за електронни таблици, или може лесно да изтегли a Безплатно едно, а съвременните приложения за електронни таблици са изключително гъвкави.

Има няколко сайтове и курсове на разположение, за да ви помогне да развиете умения за електронни таблици. Започнете със сортиране, филтриране и междинни суми и преминете към по-усъвършенствани формули. Докато се научите да използвате формули, опитвайте се понякога да ги въвеждате директно, вместо да използвате съветниците. Тази практика ще ви даде по-задълбочени познания за формулите, които използвате, и също така ще ви помогне да започнете да изразявате идеите си в код, което ще ви бъде полезно, когато вземете други инструменти.

2. SQL

След известно време може да започнете да усещате щипката от ограниченията на електронните таблици. Много журналисти за данни преминават към мениджър на релационна база данни (например SQLite, MySQL, PostgreSQL, Access), когато имат повече от две електронни таблици за присъединяване или много големи набори от данни за заявка. SQL ви позволява да опишете точно подмножеството от данни, които искате да извлечете, или точните промени, които искате да направите, и ви позволява да изпълнявате тези заявки в свързани набори от данни. Можете също да запазите командите си като скрипт, за да можете да документирате всичко, което сте направили с данните, и можете автоматично да повторите тези стъпки в бъдещ набор от данни.

Почти всяка програма за релационна база данни използва някакъв вкус на SQL, така че след като научите основите (няколко дузини ключови думи и някои пунктуационни знаци), можете да правите заявки към бази данни в произволен брой системи, както безплатни, така и търговски. Също така, релационните бази данни често се използват за съхраняване на данните в уеб приложения, така че знанията ви по SQL могат да бъдат пряко полезни в уеб разработката.

Ето един урок за да започнете.

3. Инструменти за почистване на данни

Всички набори от данни са „мръсни“. Повторете това на себе си три пъти, когато отворите лаптопа си.

За да почистите данните и да ги превърнете в полезен формат, вероятно ще използвате различни инструменти. Любимият ми е Google Refine , което прилича малко на електронна таблица, но е предназначено за неща като стандартизиране на имена, за да можете да създавате надеждни преброявания. (Може да искате „Джон Смит“, „Смит, Джон“ и „Джон К. Смит“ да се отчитат като едно лице, например, вместо трима). Използвайки Google Refine Expression Language , ще можете да правите сложни трансформации на данни и ще направите още една стъпка в изразяването на себе си в код. ( Data Wrangler е нов инструмент с някаква функционалност, подобна на Refine, която също си струва да се провери.)

Трябва също да сте наясно с инструментите във вашата операционна система, които могат да ви помогнат да управлявате файловете и данните в тях. Ако сте на OSX или Linux, имате но, awk, grep и намирам . (Има пристанища за Windows също.) Използвайки тези помощни програми, можете да започнете да изследвате и масажирате данните си, без дори да си правите труда да отваряте програма за електронна таблица или база данни.

И докато разглеждате инструментите на командния ред, проверете CSVKit , невероятен набор от инструменти — разработен от журналисти — който ще ви помогне да работите с магия в този общ формат.

4. Инструменти за визуализация

Визуализацията не е декорация. Това не е нещо, което просто придружава и илюстрира журналистиката за данни; това е централно за задачата. Добрата визуализация ще ви позволи да видите отклонения и тенденции по начини, които могат дълбоко да променят разбирането ви за данните.

Повечето приложения за електронни таблици имат поне основни диаграми и графики (и често по-сложни визуализации, достъпни чрез добавки). Няколко уеб-базирани инструмента за визуализация се превръщат в стандартна цена. Разгледайте Google Fusion Tables и Обществен съвет . И двете предлагат лекота на използване и някои доста впечатляващи резултати.

В крайна сметка може да искате нещо по-гъвкаво и мощно; експертите често се обръщат към нещо като отворен код Р статистически пакет, който съчетава мощни аналитични и визуализационни инструменти в здрав език за програмиране.

5. Софтуер за картографиране

Таблиците на Google Fusion и Tableau Public включват бързи и интуитивни възможности за картографиране. Когато нито една от техните карти не ви даде това, което искате, разгледайте безплатните QGIS пакет за картографиране. (Или, ако вашата нюзрум има резервен лиценз, ArcView е мощен комерсиален вариант.) За въведение в QGIS, насочено към журналисти, вижте това урок .

Има също така пространствени разширения за мениджъри на бази данни, които могат да помогнат при задаване на географски въпроси относно вашите данни. Те разширяват възможностите на SQL, за да включват заявки за география, като например идентифициране на местоположения в граница (например окръг или конгресен окръг). PostGIS и SpatiaLite са безплатни и популярни решения.

6. Език за скриптове

Изберете език, купете книга, реши проблем. Да се ​​научите да програмирате бързо ще разширите обхвата ви като журналист за данни: Правителството няма да ви даде данните зад уебсайт? Изстържете го. Не можете да успеете да получите данните във формата, която искате, като използвате съществуващите инструменти? Изградете свой собствен. Има опияняваща сила да станеш не просто потребител на софтуер, но и създател на софтуер.

Въпреки това няма значение кой език ще изберете Python и Руби изглежда са настоящите фаворити сред журналистите. Ако някой, когото познавате, вече работи с Perl или PHP и желае да ви помогне да започнете, може да искате да започнете от там. Както при естествените езици, след като сте научили един, изучаването на следващия е по-лесно, а да се научите да мислите като програмист е много по-важно от изучаването на определен синтаксис. (Също така, готините деца може да използват нещо съвсем различно, докато научите езика на момента.)

Ако искате да започнете с уеб изстъргване, разгледайте Отличното ръководство за изстъргване на ProPublica . ScraperWiki е друг начин да намокрите краката си и да учите от пример. Научете се да програмирате е страхотно въведение в концепциите за програмиране, което се случва да използва Ruby като целеви език.

7. Уеб рамка

Независимо дали създавате инструменти за себе си или създавате приложения, ориентирани към света, ако изграждате за мрежата, имате нужда от уеб рамка: django за Python, Релси за Ruby , symfony за PHP, катализатор за Perl, изберете.

Рамката ще ви предпази от скучната, повтаряща се работа, ще ви помогне да приемете най-добрите практики, ще ви държи организирани и ще улесни сътрудничеството с другите. Много рамки идват с инсталатор с едно щракване, който може да помогне за облекчаване на болката при започване. Разгледайте Bitnami django и Руби стекове, например.

В хода на изграждането на уеб инструмент, вие ще вземете доста HTML и CSS. Но всички признаци сочат нарастващото значение на JavaScript във всяка уеб разработка. Ако искате вашето уеб приложение да се чувства повече като настолно приложение, запознайте се с някои JavaScript, особено библиотеки като напр jQuery .

8. Гъвкав редактор

За да пишете код, имате нужда от редактор на код. Това означава редактор, който не пуска умни, фантастични знаци във вашия текст (гледайки ви, Microsoft Word) и се надяваме, че добавя някои звънци и свирки, като например оцветяване на синтаксиса, специфично за езика, което ще ви помогне лесно да идентифицирате ключови думи и друг език елементи, докато пишете.

Няма по-сигурен начин да започнете сбиване на маниак от това да попитате кой редактор на код е най-добрият. TextMate (за Mac) е жизнеспособна търговска опция. И Notepad++ (за Windows) е добра безплатна опция. Има и безкрайно адаптивни опции с отворен код ДОЙДОХ и Emacs . Все пак бъдете готови за крива на обучение с всеки от тях. В крайна сметка някой Java програмист ще предложи, че имате нужда от пълен Интегрирана среда за разработка . Ако някой ви помага да се научите да кодирате, приемете неговия или нейния редактор и научете всеки пряк път и конфигурационен трик, който можете. Редакторът е най-личният инструмент и вие ще искате да накарате вашия да се чувства като у дома си.

9. Ревизионен контрол

Никога ли не правите грешки? Никога не искате да си сътрудничите с никого? Тогава може би нямате нужда ревизионен контрол . Но си струва да го използвате, ако искате елегантен начин за запазване на резервни копия, изпробване на неща върху временни версии на файлове и сливане на работата си с други. Може би най-лесният начин да научите контрол на ревизии е да използвате Github . Можете също да инсталирате отивам или Subversion локално.

10. Инструменти за анализ на документи

Може би най-вълнуващата граница в журналистиката за данни сега е опитът да се третират големи набори от документи като данни. DocumentCloud предоставя удобен интерфейс за разхлабване на връзките на PDF формата, позволявайки търсене в документи и извличане на интересни точки.

мозайката е настолен софтуер, който е полезен за навигация в сравнително голям набор от документи. В крайна сметка може да искате да разгледате изчислителния лингвистичен потенциал на пакети като напр Комплект инструменти за естествен език на Python или Станфорд CoreNLP . И тъй като журналистите току-що са надраскали повърхността на тази област, нова инструменти които третират документи като данни, които се появяват през цялото време.

Това е втората история от поредица от две части за журналистика на данни. Можете да прочетете първата история, „5 съвета за започване на работа в журналистиката на данни“ тук.

Тази история също е част от Poynter Хакове/Хакери сериал с участието на Как да се фокусира върху това, което журналистите могат да научат от нововъзникващите тенденции в технологиите и новите инструменти.

корекция: В по-ранна версия на тази история се посочва, че потребителите трябва да плащат за Notepad++. Всъщност това е безплатно.