Формируем черные списки в автоматическом режиме
Одним из важнейших направлений в области информатизации является ограничение доступа к информации учащихся, на основании закона No 436-ФЗ от 29.12.2010 г. “О защите детей от информации, причиняющей вред их здоровью и развитию”, Федерального закона No 139-ФЗ от 28 июля 2012 года «О внесении изменений в Федеральный закон «О защите детей от информации, причиняющей вред их здоровью и развитию» и отдельные законодательные акты Российской Федерации по вопросу ограничения доступа к противоправной информации в сети Интернет». И как показывает практика, сотрудник отвечающий на информатизацию в школе, также и отвечает за организацию контентной фильтрации в образовательном учреждении. Т.е., как минимум, использует в работе “черные списки”.
От школы же требуется не много ни мало:
- ограничить доступ несовершеннолетних к электронным ресурсам, несовместимым с задачами с задачами обучения и воспитания (содержащим в сети Интернет информацию экстремистского характера, суицидальной направленности, идеи криминальной идеологии и субкультуры, межнациональной и межконфессиональной розни и др.);
- специалистам, ответственным за функционирование средств контентной фильтрации доступа к сети Интернет, ежемесячно производить принудительное обновление “Черного списка” средств контентной фильтрации согласно Федеральному списку экстремистских материалов.
Распространенным решением поставленной задачи является организация фильтрации на персональных компьютерах учащихся доступа в сеть Интернет по “белым спискам” (ранее мы уже писали о том, как это сделать), а на персональных компьютерах сотрудников – по “черным спискам”. И если “белые списки” школа может формировать самостоятельно, то формирование “черных списков” и их наполнение работа достаточно сложная, так как уследить за всеми запрещенными ресурсами в сети Интернет, практически, невозможно.
Если мы попытаемся найти Федеральный список экстремистских материалов, то сможем его найти только в таком виде: http://minjust.ru/ru/extremist-materials. Его, также, можно выкачать, но для формирования “черных списков” он абсолютно непригоден.
Также в нашем распоряжении имеется Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено
Но данном сайте, мы можем только проверить является ли ресурс запрещенным или нет. Получить базу может только оператор связи, которым образовательное учреждение не является:
Данный ресурс может служить только подспорьем в решении поставленной задачи.
Однако, на просторах сети существует также сайт antizapret.info.
Как сообщают владельцы сайта – они имеют доступ к запрещенным ресурсам со стороны провайдера и постоянно пополняют Реестр запрещенных сайтов и Федеральный список экстремистских материалов. После выборочной проверки предоставленных ресурсов, мы убедились, что они, действительно, относятся к списку запрещенных. Также antizapret.info предлагает механизм, для скачивания запрещенных списков. Для нас интересны следующие:
Получение текущего содержания реестра: URL: http://api.antizapret.info/all.php
Получение текущего содержания базы Минюста: URL: http://api.antizapret.info/minjust.php
Т.е. мы можем автоматизировать процесс формирования списка запрещенных материалов – “черных списков”.
1. Выкачиваем список:
Он приходит в виде:
2016-07-22;https://www.hollywoodbets.net/;hollywoodbets.net;197.96.4.94,196.36.224.155
2016-07-22;https://www.nevada-bets.com/;nevada-bets.com;104.28.17.32,104.31.74.124,104.31.75.124,185.56.28.235,199.27.134.112,199.27.135.112,104.28.16.32
2016-07-22;https://www.tab.co.nz/sport/#;tab.co.nz;104.16.60.48,190.93.244.199,190.93.245.199,104.16.59.48
2016-07-22;http://allbuker.ru/leonbets/#adres;allbuker.ru;104.27.167.102,104.27.166.102
2016-07-22;http://kino-sezon.ru/boeviki/film-boj-s-tenyu-2-revansh/;kino-sezon.ru;91.215.155.213
2. Так как нас интересуют адреса, то формируем список при помощи утилиты awk:
Получаем файл с содержимым вида:
http://tr.betboo332.com/
https://www.91812888.com/su/
3. Файл с содержанием Федерального списка экстремистских материалов поступаем аналогично.
4. Для автоматизации процесса скачивания и формирования списков воспользуемся скриптом:
#backlist all
wget http://api.antizapret.info/all.php
awk -F”;” ‘{print $2}’ all.php > /var/lib/redirector/banlists/blacklist/urls
#minjust
wget http://api.antizapret.info/minjust.php
awk -F”;” ‘{print $2}’ minjust.php > minjust.txt
Для Rejik, в нашем варианте, скрипт выглядит так:
#backlist all
wget http://api.antizapret.info/all.php
rm /var/lib/redirector/banlists/blacklist/urls
awk -F”;” ‘{print $2}’ all.php > /var/lib/redirector/banlists/blacklist/urls
chmod 777 /var/lib/redirector/banlists/blacklist/urls
rm all.php
#minjust
wget http://api.antizapret.info/minjust.php
rm /var/lib/redirector/banlists/minjust/urls
awk -F”;” ‘{print $2}’ minjust.php > /var/lib/redirector/banlists/minjust/urls
chmod 777 /var/lib/redirector/banlists/minjust/urls rm minjust.php
service squid reload
Скрипт помещаем в crontab и радуемся )
5. В зависимости от того, какой софт использует образовательное учреждение для организации контентной фильтрации -формируем правило фильтрования в данной программе и предоставляем ей сформированные списки.
Скачать списки:
- Реестр запрещенных сайтов (актуален на 18.04.2017)
- Федеральный список экстремистских материалов (актуален на 18.04.2017)
Как организовать систему контентной фильтрации на базе СПО можно прочитать здесь.
С экстремистскими материалами, допустим, мы справились и с запрещёнными тоже, но как быть с тем, что не запрещено, но не проходит возрастной ценз? И есть ли какие-то юридические гарантии того, то базы antizapret.info поддерживаются в актуальном состоянии?
Никак юридических грантий нет. Использование данного метода осуществляется по собственному усмотрению. Если такой метод не устраивает, то можете формировать базы самостоятельно.
Существует некая методика фильтрации, рекомендованная Министерством Просвещения. Есть ли у вас информация по ней?
Организация работы контентной фильтрации основана на требованиях законодательства РФ и личном опыте.