#данные

Отличный инструмент для инженера, когда нужно поманипулировать текстом и данными, включая сжатие, декодирование и даже криптографию. Английское имя хорошо передает суть — Cyber Swiss Army Knife.

Особенно круто, что можно собирать «рецепты» — цепочки из операций над данными и делиться всем этим богатством простой ссылкой. Разработчик — GCHQ Его Величества, исходные коды доступны на гитхабе, может работать офлайн (в закрытом контуре 👀).

За наводку спасибо Игорю.

Похвастаюсь классным клиентом.

Сервис upmarket размещает товары производителей на интернет-рынках вроде озона и вайлдберрис. Ребята делают полный цикл, от написания карточек товаров и работы с отзывами до логистики.

Звучит довольно просто, но оборот у парней больше полумиллиарда рублей в год.

Нас позвали по двум причинам: 1) придумать, как автоматизировать те вещи, которые сложно поручить машине из-за слабого API торговых площадок и как сделать из «самодельных скриптов» надежную и масштабируемую систему; 2) вторая причина даже интереснее — мы соберем команду разработки, которая будет развивать IT в бизнесе после нашего ухода.

Одна из первых задач — обновить сервер статистики, который собирает данные из личных кабинетов крупных интернет-площадок в наше собственное хранилище. Данные нужны для принятия выгодных решений о ценах и объемах товаров, а ещё для сложных отчетов. Наша цель — автоматизировать подключение новых личных кабинетов, чтобы можно было добавить новых клиентов без лишних операционных затрат.

Федя за 3 недели создал структуру базы данных и реализовал архитектуру, в которой добавление новых магазинов и изменение источников данных можно делать хоть аутсорсерами, не давая им доступа к основным данным и процессам. На этой неделе запустим автоматическое обновление данных.

Дальше мы эти данные будем выгружать клиентам в виде интерактивных отчетов и даже позволим машине самой принимать решения на их основе — например, менять цены.

Сейчас сделаем ещё пару задач сами, а дальше наймем классных программистов и выстроим внутреннюю команду разработки.

Обращайтесь @samatg, мы берем ещё клиентов.

Навальный опубликовал расследование, как его отравили. Все расследование построено на трёх источниках данных:
1. созвоны ФСБшников между собой по мобильным телефонам;
2. геолокация мобильных телефонов;
3. данные об авиаперелетах.

Это квази-открытая информация, потому что по нашим законам, доступ к ней могут получить менты, а у ментов ее может купить любой желающий.

Не хочу здесь вступать в дискуссию о выборе между безопасностью и приватностью — тема большая и интересная, не на телеграм-пост.

Но почему ФСБшники созваниваются между собой по обычной телефонной связи — уму непостижимо. Не будьте как ФСБшники, созванивайтесь в телеграме и вацапе — тогда информацию о ваших звонках нельзя будет купить у участкового. Если опасаетесь Дурова или Цукерберга — используйте мессенджер Сигнал, он менее удобный, но защищён даже от ЦРУ, им пользуется Сноуден.

Классный анализ самых сложных (недочитанных, брошенных) книг на Goodreads от gwern. Внутри детальный рассказ с исходными кодами, вплоть до того, как он вытащил данные с сайта без API.

Жалко, что у Букмейта или Майбука руки не доходят такое сделать, у них данные гораздо более точные и не один аналитик, владеющий матстатом в нужном объеме.

Мы в rawg делали аналогичный список для игр, типа самые «недоигранные» игры.

Если у вас сервис для людей и вы сидите на крутых данных - ловите момент, делайте очевидные анализы и собирайте хайп. Берите пример с Pornhub, эти ребята умеют красиво презентовать свои данные.

Для меня было шоком, когда я на прошлых президентских выборах узнал, что эти прекрасные риал-тайм данные собираются Associated Press, а не правительством США. Вот статья про это у NYT и официальная страница сервиса AP.

Ночные посты не проспонсированы госдепартаментом (хотя я бы не отказался!)

Божественная статья про то, как манипулировать данными (и про глобальное потепление).

По графику средней температуры в Штатах видно, что скоро мы все поджаримся (а перед этим утонем). Что делать, если у тебя говно в голове (зачернуто), если хочется сделать вид, что проблемы нет?

1. Для начала смотрим только на график минимальных температур — уже чуть лучше (хотя тоже растет).
2. Берем только летний сезон — ещё чуть лучше.
3. Выкидываем данные с 1895 по 1918 год (потому что без них лучше).
4. Не берем данные, предобработанные профессионалами (они учитываю то, что в новые метеостанции ставятся всё в более северных широтах), а используем тупо среднее всех измерений.
5. Profit

Сегодня вышла вторая статья за 8 дней, в которой разработка помогла журналистскому расследованию.

При подготовке первой, вместо классического инструмента поиска связей ЕГРЮЛ использовалась база данных RIPE. Вы знали, что она хранит историю правок 10 лет, но пользоваться ею можно только через линуксовый whois?

Для сегодняшей статьи про стихи Бастрыкина мы лопатили version log википедиии и пробивали IP адреса.

Синергия 🙊

Небольшое субботнее чтение о том, как мы сделали интерактивную карту хрущевок, которые собираются снести власти Москвы.
Внутри скрейпинг сайтов, геокодирование и Яндекс.Карты. «Пара часов жизни компьютерщиков в новостном медиа».
https://dev.meduza.io/как-мы-полюбили-хрущевки-d46018b9c021

Хорошо описанный кейс с финансовыми отчетами Airbnb.

Близкая мне тема, я писал одну из первых версий отчетности для правообладателей в Zvooq (звучит громко, в реальности это были безумные SQL запросы в PG и небольшие скрипты поддержки).

Финансовая отчетность из данных сервиса — классическая задача, где для программирования нужно серьезно разобраться в предметной области с безумными бизнес-правилами и процессами. Близко к тому, что делают SAP-специалисты :)