Ripe atlas что это

Обновлено: 05.07.2024

RIPE Atlas — это система сбора данных о состоянии Интернета, созданная и управляемая организацией RIPE NCC.

Физически она представляет из себя множество устройств, которые постоянно проверяют состояние глобальной сети (потери, задержки, связность и т.д.) и отсылают результаты проверки на серверы RIPE.

Важной особенностью и отличием данной системы от большинства других является то, что устройства размещаются у независимых владельцев — операторов сетей, хостингов, центров обмена данными — а RIPE осуществляет только управление ими.

Таким образом, логически Atlas представляет из себя добровольный общественно-полезный ботнет — по умолчанию бесплатный для участников и открытый на чтение для всех остальных.

RIPE Atlas

Всем доброго времени суток! Свою дебютную статью на habr хочу посвятить весьма интересной теме – системе контроля качества сети Интернет RIPE Atlas. Частично поле моих интересов затрагивают вопросы исследования Интернета или киберпространства (термин стремительно набирает популярность, особенно в научных кругах). Материалов по RIPE Atlas в интернете, в том числе на habr, предостаточно, но мне они показались недостаточно целостными. По большей части, в статье использовалась информация с официального сайта RIPE Atlas и собственные соображения. Время для чтения — 8 минут.

Вместо предисловия

Региональным интернет регистратором (RIR), поле ответственности которого распространяется на Европу, Центральную Азию и Ближний Восток является RIPE NCC (Réseaux IP Européens Network Coordination Centre – Сетевой координационный центр Европейских IP сетей). RIPE NCC – некоммерческая организация, расположенная в Нидерландах. Поддерживает работу Интернета. Предоставляет IP-адреса и номера автономных систем местным интернет провайдерам и крупным организациям.

Одним из ведущих проектов RIPE NCC, направленных на исследование состояния Интернета, является RIPE Atlas (начат в конце 2010 года), который стал развитием Службы тестового измерения трафика (Test Traffic Measurement Service), прекратившей свою работу в 2014 году.

RIPE Atlas – глобальная сеть датчиков, которые производят активные измерения состояния Интернета. В настоящее время в сети RIPE Atlas тысячи датчиков и их число постоянно растет. RIPE NCC агрегирует собираемые данные и условно бесплатно предоставляет их в удобном виде пользователям.

Развитие сети происходит на принципе добровольной установки датчиков пользователями в своей инфраструктуре, за что выдаются «кредиты», которые можно потратить на проведение интересующих измерений с использованием других датчиков.

Как правило RIPE Atlas используют:

для отслеживания доступности своей сети с различных точек в Интернете;
для исследования и устранения неполадок в сети с помощью быстрой и гибкой проверки подключения;
в системе мониторинга собственной сети;
для мониторинга доступности инфраструктуры DNS;
проверки подключения по протоколу IPv6.

RIPE Atlas

Как уже говорил, RIPE Atlas представляет собой систему датчиков, которые расположены в сети Интернет и находятся под единым административным управлением. Помимо обычных датчиков (Probes) бывают более продвинутые – якоря (Anchors).

На середину 2020 года система RIPE Atlas насчитывает более 11 тысяч активных датчиков и более 650 активных якорей, которые в совокупности производят более 25 тысяч измерений и получают более 10 тысяч результатов в секунду.

На графиках ниже показан рост числа датчиков и якорей.

А на следующих рисунках представлена карта Мира с указанием местоположения датчиков и якорей, соответственно.

Несмотря на региональный статус RIPE NCC, сеть RIPE Atlas покрывает практически весь мир, при этом Россия входит в топ-5 по количеству установленных датчиков (568), наряду с Германией (1562), США (1440), Францией (925) и Великобританией (610).

Управляющие серверы

На официальном сайте информации об управляющих серверах я не нашел, но можно предположить, что в их задачи входит управление датчиками, а также агрегирование и обработка данных. Если моя догадка верна, то существует по крайней мере 6 управляющих серверов, из них расположены в США – 2, Нидерландах – 2, Германии – 1, Сингапуре – 1. На всех серверах открыт порт 443.

Если кто-то обладает большей информацией о управляющих серверах сети RIPE Atlas – прошу внести ясность в этот вопрос.

Датчик

Датчик RIPE Atlas представляет собой небольшое устройство (TP-Link 3020), которое запитывается от USB и подключается к порту Ethernet маршрутизатора с помощью сетевого кабеля. В зависимости от модели датчик может иметь чипсет Atheros AR9331, 400 МГц, 4 МБ flash и 32 Мб ОЗУ или чипсет MediaNek MT7628NN, 575 МГц, 8 МБ flash и 64 Мб ОЗУ.

Якорь

Якорь – это усовершенствованный датчик, обладающий гораздо большей производительностью и измерительной способностью. Представляет собой устройство в стандартном 19-дюймовом исполнении на аппаратной платформе APU2C2 или APU2E2 с 4-х ядерным процессором 1 ГГц, 2 Гб ОЗУ, 3 портами Gigabit Ethernet и 250 Гб SSD-накопителем. Стоимость якоря составляет порядка 400 $.

Установка и управление датчиком

К сожалению, ваша заявка не соответствует нашим критериям для получения аппаратного датчика в настоящее время. Хотя наша цель состоит в том, чтобы как можно шире распространять датчики RIPE Atlas, похоже, что уже имеется достаточно устройств, подключенных либо в пределах указанной вами ASN, либо в сети, в которую вы подали заявку, либо в стране, в которой вы подали заявку.

Не беда. В таком случае можно установить программный датчик, например, на виртуальную машину, домашний сервер или маршрутизатор – ограничений на местоположение и автономную систему нет. Поддерживаются CentOS, Debian, Raspbian и Turris OS. Для развертывания нужно скачать и установить соответствующее программное обеспечение, например из репозитория на GitHub.

Установка программного датчика достаточно проста. Например, для установки в CentOS 8 нужно выполнить команды:

и зарегистрировать датчик, при этом необходимо предоставить SSH-ключ, который находится в /var/atlas-probe/etc/probe_key.pub , а также указать номер автономной системы и свой город. В письме напомнили о необходимости корректного указания местоположения датчика.

Управление датчиком ограничивается возможностью разделения измерительного ресурса с другими пользователями, настройки уведомлений о простоях, а также стандартными сетевыми настройками (адрес, шлюз по умолчанию и т.д.).

Измерения

Наконец добрались до проведения измерений. Настройка заданий на проведение измерений производится из личного кабинета. Там же можно обратиться к результатам.

Формирование задания на измерение состоит из трех шагов: выбор типа измерения, выбор датчика, выбор периода измерения.

Выбор датчиков возможен по их идентификатору или стране размещения, региону, автономной системе, тегу и т.д.

Период проведения измерений задается временем начала и окончания.

Результаты измерений доступны на сайте в личном кабинете, которые также возможно получить в формате json. В общем, результаты измерений представляют собой количественные показатели, характеризующие доступность некоторого узла или сервиса.

Для пользователя возможности измерений представлены широким, но весьма ограниченным спектром. Однако, очевидно, что возможности системы предполагают генерацию пакетов практически любой конфигурации, что открывает куда более широкие возможности для измерения состояния сети Интернет.

Зонды:

Зонд представляет из себя обычный китайский бытовой маршрутизатор с дополнительным логотипом. В настоящий момент это TP-Link TL-MR3020. Скорее всего, критериями выбора являлись:

низкая стоимость;
малые габариты;
возможность перепрошивки на OpenWRT или другой Linux-дистрибутив, отсутствие подводных камней;
наличие USB-порта для подключения флешки с приложениями;
питание через micro-USB.

USB-флешка поставляется вместе с роутером, уже воткнутая в порт, но при желании вместо неё можно подключить любую другую, ёмкостью не менее 4 гигабайт, и за 30 минут зонд автоматически закачает на неё требуемое ему ПО.

Разработчики выбрали аппаратное решение и отказались от программного (распространяемого в виде образа виртуальной машины), чтобы гарантировать предсказуемость работы, которая в случае с виртуалкой, на их взгляд, по многим причинам недостаточна.

Проверки:

проверять связность между двумя выбранными публичными сетями;
сравнивать время отклика при одновременном обращении к интересующему ресурсу от нескольких зондов из разных сетей;
анализировать ответы от DNS-серверов и т.д.

Зонд Atlas RIPE: использование

Месяц назад я написал статью о зонде, который я принес с конференции ENOG-4. Побочным эффектом от статьи был скачек заказанных зондов, который можно видеть на графике статистики распределения зондов по пользователям.

Основных вопросов, которые возникли в процессе созерцания устройства, было два: что внутри и как его можно использовать на практике?

Итак, внутри там довольно дорогое и относительно гибкое устройство Lantronix Xport-Pro собственной обвязкой питания по USB. Устройство стоит больше 60 долларов без корпуса и обвязки, а фактически оплачивают их LIR'ы. За эти деньги мы получаем маленький linux-компьютер, который в принципе может делать множество измерений.

Однако, что нам доступно как пользователю? Так как зондов много, они могут использоваться во зло, по этому RIPE ввел кредитную систему: за непрерывную работу начисляются «кредиты», которые потом можно тратить на изменения. Вот история начисления за 1 постоянно работающий (мой) зонд:

Эти кредиты мы можем потратить на создание теста. «Обычному» пользователю доступны только базовые варианты теста практически без возможности сильно кастомизировать запросы:

В результате, мы можем посмотреть на зонды-участники теста и последние запросы:

Сами результаты измерений можно скачать в виде JSON. Не густо? Мне тоже так кажется. Мне, например, было бы интересно посмотреть на скорость скачивания URI из различных точек в мире или TCP traceroute, учитывая мощность и цену устройства.

Что я могу сделать для развития глобального интернета?

RIPE Atlas – система организации RIPE NCC по сбору по всему миру данных о работе интернета.

RIPE NCC – независимая некоммерческая членская организация, которая поддерживает инфраструктуру Сети. Выступает в качестве регионального интернет-реестра (RIR), предоставляющего глобальные интернет-ресурсы и связанные с ними услуги (IPv4, IPv6 и AS Number resources) в регионе обслуживания.

Какие страны охватывает RIPE Atlas?

Зона ответственности RIPE NCC распространяется на Европу, Центральную Азию и Ближний Восток. Однако RIPE Atlas покрывает практически весь мир.

Как работает RIPE Atlas?

Система состоит из т.н. «якорей» (anchors) и «зондов» (probes). Раньше первые представляли из себя серверы (или несколько) для установки в специальные серверные стойки, вторые – сначала были небольшими устройствами для подключения энтузиастами к своим домашним роутерам (или любому другому оборудованию) и рассылались бесплатно в ответ на поданную заявку.

Последняя выпущенная модель такого устройства была выполнена на основе небольшого миникомпьютера (роутера) с установленной ОС на базе Linux. Следующим шагом стали программные зонды (по словам наших экспертов, скорее всего, именно на основе наработок для последней «аппаратной» модели), которые каждый желающий может разместить у себя, запустив соответствующий «слепок» на своём оборудовании. «Аппараты» же на данный момент организацией пока (возможно, временно) не выдаются.

Сервис устроен так, что «зонды» занимаются тем, что получают и выполняют задания по произведению тех или иных измерений, а «якоря» сами имеют разные сетевые сервисы, в отношении которых можно проводить подобные измерения.

Кроме прочего, «зонды» получают задания на проверку связности (доступности) или скорости связи с теми или иными адресами. Любой желающий может получить доступ к этим данным с помощью карт интернет-трафика, визуализации потоковых данных и API. Пользователи RIPE Atlas также могут выполнять индивидуальные измерения, чтобы получить данные о собственных сетях.

Набор программного обеспечения RIPE Atlas, разработанного сообществом, имеет открытый код.

Кто формирует задания?

Что такое «кредиты»?

При хостинге зонда или якоря пользователю идут виртуальные зачисления, т.н. «кредиты». Их можно использовать для личных измерений. Такая система – уникальная вещь, которой нет у других подобных проектов.

А какие у RIPE Atlas есть аналоги?

Например, Measurement Lab, измеряюший пропускную способность интернета. Все данные, собранные платформой M-Lab, становятся общедоступными, а все измерительные инструменты размещаются в M-Lab с открытыми исходными кодами.

Для чего вообще RIPE Atlas нужен?

В первую очередь система нужна для контрольных измерений, ведь изначально проект создавался для провайдеров в целях диагностики Сети. Так, в марте 2020 года были зафиксированы задержки трафика на фоне первой волны пандемии коронавируса, что было «нормально и ожидаемо в такой ситуации».

Мониторинг блокировок – не главная история для проекта, хотя и здесь кейсы найдутся (блокировка Twitter в Турции и Facebook в Казахстане). Кроме того, RIPE Atlas можно использовать для обнаружения интернет-цензуры.

Разработчики и учёные могут использовать данные RIPE Atlas в своих исследованиях.

У проекта есть минусы?

Да, и касаются они темы блокировок. Не все блокировки можно заметить: так было, к примеру, с замедлением Twitter. Кроме того, отслеживание блокировок имеет «побочный эффект»: с зондов людей могут отправляться DNS-запросы на запрещённый в стране контент, что способно вызвать вопросы правоохранительных органов.

Зачем мне подключаться к этому?

Обычным пользователям, наверно, это и не надо. Но обычные пользователи и не занимаются проверкой блокировок или Сети в целом. Скорее это подойдёт интернет-энтузиастам, которые могут отслеживать заблокированные в некоторых местах ресурсы и поломки провайдерских сетей.

Что именно я могу делать?

• На постоянной основе контролировать доступность Сети; доступны тысячи обзорных точек по всему миру.

• Исследовать и устранять неполадки в Сети с помощью быстрой и гибкой проверки подключения.

• Создавать сигналы тревоги с помощью проверок состояния RIPE Atlas.

• Проверять оперативность реагирования инфраструктуры DNS.

• Проверять подключение IPv6.

Как стать частью проекта?

Для подключения нужно зарегистрироваться на сайте проекта.

Помимо этого можно стать спонсором или послом. Первый оказывает финансовую поддержку, второй – распространяет зонды.

Устройства:

Устройства делятся на два типа: probes (зонды) и anchors (якори). Якорь — это зонд с повышенной производительностью и генерацией трафика, который не только производит проверки, но и является целью для чужих проверок.

Читайте также: