Формируем черные списки в автоматическом режиме

Одним из важнейших направлений в области информатизации является ограничение доступа к информации учащихся, на основании закона No 436-ФЗ от 29.12.2010 г. «О защите детей от информации, причиняющей вред их здоровью и развитию», Федерального закона No 139-ФЗ от 28 июля 2012 года «О внесении изменений в Федеральный закон «О защите детей от информации, причиняющей вред их здоровью и развитию» и отдельные законодательные акты Российской Федерации по вопросу ограничения доступа к противоправной информации в сети Интернет». И как показывает практика, сотрудник отвечающий на информатизацию в школе, также и отвечает за организацию контентной фильтрации в образовательном учреждении. Т.е., как минимум, использует в работе «черные списки».

От школы же требуется не много ни мало:

Распространенным решением поставленной задачи является  организация фильтрации на персональных компьютерах учащихся доступа в сеть Интернет по «белым спискам» (ранее мы уже писали о том, как это сделать), а на персональных компьютерах сотрудников  — по «черным спискам». И если «белые списки» школа может формировать самостоятельно, то формирование «черных списков» и их наполнение работа достаточно сложная, так как уследить за всеми запрещенными ресурсами в сети Интернет, практически, невозможно.

Если мы попытаемся найти Федеральный список экстремистских материалов, то сможем его найти только в таком виде: http://minjust.ru/ru/extremist-materials. Его, также, можно выкачать, но для формирования «черных списков» он абсолютно непригоден.

Также в нашем распоряжении имеется Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено

Но данном сайте, мы можем только проверить является ли ресурс запрещенным или нет. Получить базу может только оператор связи, которым образовательное учреждение не является:

Данный ресурс может служить только подспорьем в решении поставленной задачи.

Однако, на просторах сети существует также сайт antizapret.info.

Как сообщают владельцы сайта — они имеют доступ к запрещенным ресурсам со стороны провайдера и постоянно пополняют Реестр запрещенных сайтов и Федеральный список экстремистских материалов. После выборочной проверки предоставленных ресурсов, мы убедились, что они, действительно, относятся к списку запрещенных. Также antizapret.info предлагает механизм, для скачивания запрещенных списков. Для нас интересны следующие:

Получение текущего содержания реестра: URL: http://api.antizapret.info/all.php

Получение текущего содержания базы Минюста: URL: http://api.antizapret.info/minjust.php

Т.е. мы  можем автоматизировать процесс формирования списка запрещенных материалов —  «черных списков».

1. Выкачиваем список:

Он приходит в виде:

2016-07-22;https://www.hollywoodbets.net/;hollywoodbets.net;197.96.4.94,196.36.224.155
2016-07-22;https://www.nevada-bets.com/;nevada-bets.com;104.28.17.32,104.31.74.124,104.31.75.124,185.56.28.235,199.27.134.112,199.27.135.112,104.28.16.32
2016-07-22;https://www.tab.co.nz/sport/#;tab.co.nz;104.16.60.48,190.93.244.199,190.93.245.199,104.16.59.48
2016-07-22;http://allbuker.ru/leonbets/#adres;allbuker.ru;104.27.167.102,104.27.166.102
2016-07-22;http://kino-sezon.ru/boeviki/film-boj-s-tenyu-2-revansh/;kino-sezon.ru;91.215.155.213

2. Так как нас интересуют адреса, то формируем список при помощи утилиты awk:

Получаем файл с содержимым вида:

http://tr.betboo332.com/
https://www.91812888.com/su/

3.  Файл с содержанием Федерального списка экстремистских материалов поступаем аналогично.

4. Для автоматизации процесса скачивания и формирования списков воспользуемся скриптом:

Для Rejik, в нашем варианте, скрипт выглядит так:

Скрипт помещаем в crontab и радуемся )

5. В зависимости от того, какой софт использует образовательное учреждение для организации контентной фильтрации -формируем правило фильтрования в данной программе и предоставляем ей сформированные списки.

Скачать списки:

• Реестр запрещенных сайтов (актуален на 18.04.2017)
• Федеральный список экстремистских материалов (актуален на 18.04.2017)

Как организовать систему контентной фильтрации на базе СПО можно прочитать здесь.