Альтернативный список заблокированных в РФ ресурсов Re:filter
#surveillance #roskomnadzor #filter #proxy #VPN #network #linux #infosec
1. Фильтрация доменных имён по словарю,
2. Проверка доступности ресурса,
3. Проверка содержимого главной страницы по тегам,
4. Формирование списка заблокированных доменов на основе данных OONI,
5. Формирование финального списка доменов и резолвинг.
В итоге получились списки (доступные в репозитории (https://github.com/1andrevich/Re-filter-lists)):
- актуальных заблокированных доменов в количестве - 42662 домена
- список IP адресов, полученных из резолвинга - 23434 IP адреса
Которые в т.ч. используются для сборки списков V2Fly, Xray - geoip.dat и geosite.dat,
Sing-box - geoip.db, geosite.db
В тестовом режиме запущен BGP сервер - 165.22.127.207 (номер автономной системы AS 65412), где раздаётся список ipsum.lst
🖼️ 1 изображение 🖼️
🔍 Описание
Схема. На схеме изображен процесс, состоящий из трех этапов. Каждый этап обозначен кружком с вертикальной линией, соединяющей его с предыдущим этапом. Под каждым кружком написано название этапа.
📝 Текст на картинке
Фильтрация списка РКН
|
Этап 1 - Фильтрация доменных имён по словарю
|
Этап 2 - проверка доступности ресурса, проверка зеркала
|
Этап 3 - проверка содержимого главной страницы по тегам
"
🖼️ 2 изображение 🖼️
🔍 Описание
Схема процесса. На схеме изображен алгоритм, состоящий из семи блоков, соединенных стрелками. Каждый блок представляет собой действие или условие, а стрелки показывают порядок выполнения. В блоках используется текст, но он не описан в этом разделе.
📝 Текст на картинке
Запрос данных из API
Скачивание файла CSV
Загрузка алгоритма формирования списка доменов
Этот домен корректный?
Этот домен уже в списке?
anomaly_count > ok_count?
Внесение в список доменов
ooni_domains.txt
Этот домен не отправляется в список
🖼️ 1 изображение 🖼️
🔍 Описание
Схема. На схеме изображен процесс, состоящий из трех этапов. Каждый этап обозначен кружком с вертикальной линией, соединяющей его с предыдущим этапом. Под каждым кружком написано название этапа.
📝 Текст на картинке
Фильтрация списка РКН
|
Этап 1 - Фильтрация доменных имён по словарю
|
Этап 2 - проверка доступности ресурса, проверка зеркала
|
Этап 3 - проверка содержимого главной страницы по тегам
"