#cloudflare

Один из крупнейших и самый дешевый CDN на свете Cloudflare испытывает проблемы с сетью.

Многие сайты могут быть недоступны. Я лично помогал включить Cloudflare десятку медиа, у RAWG отвалились картинки.

Сохраняйте спокойствие, это не блокировки, скоро все починят. Отвечая на вопрос, который вы задаёте своим программистам: да, от этого можно защититься, но для большинства сайтов польза будет меньше вложенных сил.

Статус тут.

Amazon две недели разбирался и ответил, что простит половину счета за трафик, который мы случайно нагенерили в конце года. Cloudflare простил весь счет за трафик в указанном периоде. УРА!

Не стесняйтесь просить помощи. Люди и компании вполне могут пойти вам навстречу.

P.S. Хорошая история в тему от хмельного девопса.

Самое интересное в последнее время — стыдное.

— Обнаружил, что у нас была плохо подключена гугл-аналитика и терялись «залетные просмотры», когда человек проводил мало времени на странице. Стоило выгрузить в табличку по-дневные показатели яндекс-метрики и гугл-аналитики, построить график-сравнение и всё стало очевидно.

— Фронтенд не прокидывал сессию в события, отсылаемые в гугл-аналитику с бэкенда. Достаточно было открыть распределение событий по источникам трафика, чтобы заметить отклонения.

— Прилетела тонна трафика на главную с видео-роликами, а стандартная конфигурация Cloudflare, оказывается, не кеширует видео — попали на деньги в Amazon S3. Переписываюсь теперь с ними, надеюсь, скостят часть счета. Стоимость казалась константой, пока не произошел резкий всплеск трафика.

Кажется, что с опытом, я теряю право наступать на эти грабли. Ну и пусть, кончаю стесняться, буду рассказывать о таких вот глупых ошибках.

Спасибо Гаджи, что подсказал, что нечего стыдиться. И спасибо Британскому музею, который не постеснялся признаться, что шумерская ваза из третьего тысячелетия до нашей эры, на самом деле — наконечник боевой булавы, который они все эти годы держали перевернутым вниз головой.

В Firefox Nightly и в Cloudflare подвезли поддержку Encrypted SNI. Это рокот канонады, которая скоро накроет Роскомнадзор и остальных клоунов, блокирующих интернет.

(не-техническое описание в следующем абзаце) При установлении HTTPS соединения, клиент в незашифрованном виде передает серверу имя домена, с которым хочет установить TLS-соединение, это называется Server Name Indication, SNI. Пидоры (в плохом смысле этого слова) из Роскомнадзора парсят эту информацию (то, что называется Deep Packet Inspection, DPI) и блокируют неугодные сайты. Encrypted SNI шифрует имя домена, так что владелец канала увидит только IP-адрес и порт. Если сайт хостится на крупном CDN (типа Cloudflare), то у атакующего не будет другого выхода, кроме блокирования крупных частей интернета по IP-адресам.

Приведу аналогию с телефонными разговорами. На сегодняшний день, многие сайты не имеют своего телефонного номера (IP адреса), а пользуются общими номерами арендодателя (CDN типа Cloudflare). Это значит, что сотни тысяч сайтов используют один и тот же номер. Шифрование разговора при этом включается только после того, как вы скажете секретарю арендодателя, какой сайт вам нужен. Товарищ майор (Роскомнадзор) слушает все разговоры и обрывает ваш звонок, как только слышит имя запрещенного сайта. Новая технология позволит включить шифрование уже на этапе разговора с секретарем, так что у товарища майора не будет возможности блокировать отдельные сайты — только крупные части интернета целиком по номеру телефона (IP-адресу).

Технически, это гениальное в своей простоте решение сложной задачи. Специальный ключ домена хранится в оговоренной DNS-записи. Клиент забирает из DNS ключ и вместо ClientHello server_name делает ClientHello encrypted_server_name. Никто кроме целевого сервера не сможет расшифровать, какое имя домена просил пользовать. Понятно, что для того, чтобы это всё работало, нам нужен безопасный DNS. Тут на выручку приходит DNS over HTTPS (DoH), который уже поддерживается как минимум тремя крупными провайдерами: Google, Cloudflare и Verizon. Я до сих пор не понимаю, почему РКН не блокирует неугодные сайты через DNS (если кто знает причину — расскажите, пожалуйста), но с распространением в клиентах поддержки DoH, этот вектор атаки остается в прошлом.

Я думаю, что в перспективе 2-5 лет, власти России встанут перед выбором — двигаться по «китайскому сценарию», заблокировав внешний интернет скопом (и оставив только белые списки) или перестать блокировать точечно сайты, потому что это слишком неэффективно. Ой нет, извините, можно ещё делать хорошую мину при плохой игре и продолжать спускать деньги бюджета на бутафорию. Это — самый вероятный сценарий.

Очень жду, когда поддержка ESNI и DoH приедет в Google, AWS, Chrome, iOS и Android. И всё, пользовательский интернет станет на порядок безопаснее. В интересное время живем, товарищи!

Cloudflare собирается прихлопнуть рынок регистраторов доменных имен, так же, как LetsEncrypt уничтожает рынок SSL-сертификатов.

Они уже давно юридически являются регистратором, но предлагали свои услуги только за большие деньги крупным клиентам. Теперь, они начинают принимать к себе домены .com, .net, .org и .info, купленные обычными клиентами у других регистраторов. Доступ к фиче только по инвайтам. Инвайты выдаются небольшими порциями, более старым клиентам CF — в начале. Есть способ прыгнуть в начало очереди — пожертвовать хотя бы доллар организации Girls Who Code. В будущем, они обещают поддержку практически всех доменов верхнего уровня (TLD; проще говоря, то, что идет после точки) и прямую первичную регистрацию, а не только перенос, как сейчас.

Главное — Cloudflare обещает не брать никакой наценки сверх налога, установленного администратором TLD. Для .com это 7.85$, для .ru — около 170 рублей за домен. Обычные регистраторы «зарабатывают» на двух схемах. Первая: регистрация домена — доллар, а вот продление во второй год — 30$. Теоретически, клиент может перенести домен в конце года к другому регистратору, но регистраторы намеренно делают эту процедуру неудобной, да большинство людей и не знает о такой возможности. Второй прием — апсел. Как насчет услуги перенаправления почты за 10 долларов в год? А может, скрытие персональных данных из WHOIS за 5$? То, что делают автодилеры и продавцы телефонов, только в более чистой и беззастенчивой манере.

Делая правильные и хорошие вещи, Cloudflare при этом всё более централизует базовую инфраструктуру интернета в себя. Принс (CEO Cloudflare) говорит очень правильные вещи про Due process, но сути потери децентрализации и «духа фронтира» это не отменяет. Как бы то ни было, этот анонс приурочен к 10-летию Cloudflare и я их от души поздравляю.

Чуваки из Cloudflare, Mozilla, Fastly и Apple, тем временем, собрались на хакатон и напрогали реализацию encrypted SNI.

SNI - технология, которая используется для создания шифрованного HTTPS соединения. Проблема в том, что SNI сейчас передаёт адрес сайта (не весь адрес страницы, только имя домена, rawg.io, или Meduza.io, например) в нешифрованном виде.

Именно через эту «дыру» в SNI работают 99% DPI-решений, блокирующие доступ к сайтам в России. Если цензору не нравится адрес сайта - он блокирует соединение. Encrypted SNI решает эту «проблему», потому что теперь цензор не знает даже адреса сайта, только IP адрес, а на одном IP адресе может быть множество сайтов.

До продакшена ещё далеко, но как же долго мы ждали этих первых шагов в правильном направлении!

Сходил утром на часовое выступлении-интервью (fireside chat, буквально переводится беседа у камина) интервью Мэтью Принца. Мэтью дико интересный. Заглянул потом на Linkedin интервьювера Эндрю Маклафлина и сижу поднимаю челюсть. 5 лет директор в Google, Execute Vice President в tumlr, 2 года CEO в Digg и так далее и тому подобное.

Помните статью, которую Мэтью написал после того выпилил сайт Daily Stormer? Он там говорил, что его беспокоит власть, которую он имеет над свободой слова в интернете. Сегодня он в основном говорил о том, что радикальная свобода слова — чисто американская тема, а вот «власть закона» — гораздо более универсально принятое в мире понятие. В контексте интернет-компаний, она состоит из двух компонент: прозрачность — правила должны быть известны, а прогресс процесса видим и универсальность — все равны перед законом.

Что там с прозрачностью правил, по которым Google и Facebook блокирует контент? Что с равенством, когда у тебя есть знакомый или когда ты поднимаешь достаточно громкий хайп в новостях? Вот и я о том же.

Я задал Мэтью один вопрос — что вы будете делать, если РКН потребует заблокировать какой-то сайт для русских пользователей и будет угрожать заблокировать весь Cloudflare целиком? Ответ: «мы пока с таким не сталкивались». Удивительно.

Кстати, если вы делаете медиа и всё ещё не используете анти-DDoS защиту от Cloudflare — самое время её включить. Лучше не дожидаться, пока ваш сайт положат или он сам сломается в пик популярности. Включите Cloudflare и спите спокойно. Ах да, ещё сайт начнет открываться быстрее для всех пользователей, даже вне атак. Вам скорее всего хватит бесплатного режима, а для платных фич существует программа поддержки медиа Galileo. Если вы медиа и вам нужна техническая помощь — не стесняйтесь, пишите в личку.

Гениальная штука для быстрого выпуска HTTPS сертификата.

Let’s encrypt certbot docker container + Cloudflare DNS = ❤️

https://github.com/adferrand/docker-letsencrypt-dns

Если не нужна автоматизация (или для совсем ленивых) http://sslforfree.com

Cloudflare анонсировал с публичный DNS-сервер 1.1.1.1. Он в два раза быстрее гугловского 8.8.8.8 и поддерживает DoH (об этом ниже).

DNS — это адресная книга интернета. Каждый раз, когда вы открываете сайт или приложение — телефон или компьютер сначала узнают цифровой адрес сервера через DNS.

По-умолчанию мы пользуемся DNS-сервером провайдера. Если настроить себе в компьютере и телефоне этот новый DNS 1.1.1.1 — страницы начнут открываться быстрее, а блокировки некоторых провайдеров — отключатся. На сайте есть инструкция, это просто и делается обычным человеком за 2 минуты.

Второй важный аспект — поддержка DNS over HTTPS. Это протокол, позволяющий шифровать DNS-запросы. Если его начнет поддерживать крупный сайт (гугл или яндекс, например) — провайдер не сможет блокировать ваши DNS запросы и даже подсматривать за ними. Пока что операционные системы и браузеры не умеют DoH из коробки, да и крупных серверов нет. Этот запуск — серьезный шаг к более безопасному и приватному DNS.

P.S. А ещё, это просто красиво. 1.1.1.1 — первый IP-адрес в интернете. Номерок подогнал APNIC — некоммерческое образование, регулирующее выдачу IP-адресов американского региона. Если хотите технических подробностей, как это всё работает под капотом — вот хороший пост.

UPD. Друзья поправляют, что в России у гугла присутствие гораздо лучше (чуть ли в каждом провайдере), чем у cloudflare, у которого одна точка в Москве. Так что в России (особенно в регионах) лучше использовать гугловский 8.8.8.8. Приношу извинения.

Если вы читаете это с телефона — то наверняка внутри у него процессор архитектуры ARM. Если с компьютера — то почти наверняка это процессор x86 от Intel или AMD. На подавляющем большинстве серверов — x86.

А вот Cloudlfare, одна из крупнейших CDN-сетей (читай сотни тысяч серверов) всерьез думает о крупной закупке ARM от Qualcomm.

Почитайте ноябрьское исследование Cloudfalre тестовых новых процессоров от Quallcom. ARM имеет существенно более низкую закупочную стоимость, показывает схожую производительность на нагрузках Cloudflare и потребляет при этом меньше электроэнергии.

И это важно.

ARM — архитектура, на которой работают почти все мобильные телефоны и планшеты. Она отличается от десктопных-«компьютерных» x86 процессоров относительной простотой, меньшей ценой и меньшим энергопотреблением. Жизнь батарейки в телефонах транслируется в стоимостью эксплуатации серверов.

Из минусов — одно ядро (логический модуль) ARM раньше было заметно медленнее, чем ядро x86, да и программы не были готовы к ARM. Для переноса программы на другую архитектуру нужно её перекомпилировать (механический процесс), а некоторые критичные части некоторых важных программ переписать на ассемблере для скорости работы.

Ещё несколько лет назад никто не смел покуситься на гегемонию x86 архитектуры (Intel & AMD). Кажется, что для части рынка серверных процессоров настают интересные времена — ARM догоняет x86 по производительности для некоторых задач, программы оптимизируются, экосистема растет. Надеюсь, скоро мы увидим очередную битву гигантов.

Мы в Медузе полтора года назад использовали ARM от Scaleway (у этого французского провайдера целый ДЦ на них), но сейчас вернулись на x86-64 от Online.net. При наших нагрузках (мы отдаем кучу статического TLS трафика) конкретно эти предложения дешевле, да и ПО для x86 гораздо более зрелое.

Уверен, что Яндекс и Google/Facebook тоже регулярно проводят схожие тесты свежих ARM-ов. Очень интересно, к каким выводам пришли они.