--- title: 'Формируем черные списки в автоматическом режиме' url: 'https://itsch.ru/ru/blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime' markdown: 'https://itsch.ru/ru/blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime.md' lang: ru date: '2017-04-19' description: 'Одним из важнейших направлений в области информатизации является ограничение доступа к информации учащихся, на основании закона No 436-ФЗ от 29.12.2010 г. «О защите детей от информации, причиняющей вред их здоровью и развитию», Федерального закона No 139-ФЗ от 28 июля 2012 года «О внесении изменени…' taxonomy: category: - Linux - Статьи - Debian tag: - Linux - Debian - Прокси-сервер - 'Контентная фильтрация' --- # Формируем черные списки в автоматическом режиме ### [Формируем черные списки в автоматическом режиме](https://itsch.ru/ru/blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime) 19.04.2017 00:00 [Linux](https://itsch.ru/ru/tag:Linux) [Debian](https://itsch.ru/ru/tag:Debian) [Прокси-сервер](https://itsch.ru/ru/tag:%D0%9F%D1%80%D0%BE%D0%BA%D1%81%D0%B8-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80) [Контентная фильтрация](https://itsch.ru/ru/tag:%D0%9A%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D1%82%D0%BD%D0%B0%D1%8F%20%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F) ![blog-header-image](https://itsch.ru/images/a/e/f/5/a/aef5ac3fb2fc17f33d2bbeba93a807813fd2c1b8-filtr.png) Одним из важнейших направлений в области информатизации является ограничение доступа к информации учащихся, на основании закона No 436-ФЗ от 29.12.2010 г. «О защите детей от информации, причиняющей вред их здоровью и развитию», Федерального закона No 139-ФЗ от 28 июля 2012 года «О внесении изменений в Федеральный закон «О защите детей от информации, причиняющей вред их здоровью и развитию» и отдельные законодательные акты Российской Федерации по вопросу ограничения доступа к противоправной информации в сети Интернет». И как показывает практика, сотрудник, отвечающий за информатизацию в школе, также отвечает и за организацию контентной фильтрации в образовательном учреждении. Т.е., как минимум, использует в работе «черные списки». 💡 Присоединяйтесь к нашим сообществам! Будьте в курсе новых статей, обновлений и полезных материалов: [ ![MAX](https://itsch.ru/user/themes/bootstrap4/assets/img/max-icon_64x64.png) MAX ](https://max.ru/channel_itsch) [ ![Telegram](https://itsch.ru/user/themes/bootstrap4/assets/img/telegram-icon_64x64.png) Telegram ](https://t.me/itschool) [ ![VK](https://itsch.ru/user/themes/bootstrap4/assets/img/vk-icon_64x64.png) ВКонтакте ](https://vk.ru/notesteachers) [ ![Dzen](https://itsch.ru/user/themes/bootstrap4/assets/img/dzen-icon_64x64.png) Дзен ](https://dzen.ru/itsch) [ ![RuTube](https://itsch.ru/user/themes/bootstrap4/assets/img/rutube-icon_64x64.png) RuTube ](https://rutube.ru/channel/46066409/) ##### 📑 Содержание - [Требования к школе](#trebovaniya) - [«Белые» и «черные» списки](#belye-chernye) - [Источники данных для черных списков](#istochniki) - [Автоматизация формирования списков](#avtomatizaciya) - [Скрипт для Rejik](#skript) - [Скачать списки](#skachat) ![Автоматическое формирование чёрных списков для контентной фильтрации](https://itsch.ru/user/pages/01.blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime/filtr.png) #### Требования к школе От школы же требуется не много ни мало: - ограничить доступ несовершеннолетних к электронным ресурсам, несовместимым с задачами обучения и воспитания (содержащим в сети Интернет информацию экстремистского характера, суицидальной направленности, идеи криминальной идеологии и субкультуры, межнациональной и межконфессиональной розни и др.); - специалистам, ответственным за функционирование средств контентной фильтрации доступа к сети Интернет, ежемесячно производить принудительное обновление «Черного списка» средств контентной фильтрации согласно Федеральному списку экстремистских материалов. #### «Белые» и «черные» списки Распространенным решением поставленной задачи является организация фильтрации на персональных компьютерах учащихся доступа в сеть Интернет по «[белым спискам](http://itsch.ru/spisok-resursov-seti-internet-dlya-organizacii-belyx-spiskov/)» ([ранее мы уже писали о том, как это сделать](http://itsch.ru/category/kontent-filtr/)), а на персональных компьютерах сотрудников — по «черным спискам». И если «[белые списки](http://itsch.ru/spisok-resursov-seti-internet-dlya-organizacii-belyx-spiskov/)» школа может формировать самостоятельно, то формирование «черных списков» и их наполнение — работа достаточно сложная, так как уследить за всеми запрещенными ресурсами в сети Интернет практически невозможно. #### Источники данных для черных списков Если мы попытаемся найти Федеральный список экстремистских материалов, то сможем его найти только в таком виде: . Его также можно выкачать, но для формирования «черных списков» он абсолютно непригоден. Также в нашем распоряжении имеется [Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено](https://eais.rkn.gov.ru/). ![Единый реестр запрещённых сайтов Роскомнадзора](https://itsch.ru/user/pages/01.blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime/reestr-1024x864.png) Но на данном сайте мы можем только проверить, является ли ресурс запрещенным или нет. Получить базу может только оператор связи, которым образовательное учреждение не является: ![Сообщение о доступности базы реестра только операторам связи](https://itsch.ru/user/pages/01.blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime/reestr_operator.png) Данный ресурс может служить только подспорьем в решении поставленной задачи. Однако на просторах сети существует также сайт [antizapret.info](https://antizapret.info/). ![Сайт antizapret.info с базой запрещённых ресурсов](https://itsch.ru/user/pages/01.blog/formiruem-chernye-spiski-v-avtomaticheskom-rezhime/antizapret-1024x810.png) Как сообщают владельцы сайта — они имеют доступ к запрещенным ресурсам со стороны провайдера и постоянно пополняют Реестр запрещенных сайтов и Федеральный список экстремистских материалов. После выборочной проверки предоставленных ресурсов мы убедились, что они действительно относятся к списку запрещенных. Также [antizapret.info](https://antizapret.info/) предлагает механизм для скачивания запрещенных списков. Для нас интересны следующие: **Получение текущего содержания реестра:** URL: **Получение текущего содержания базы Минюста:** URL: Т.е. мы можем автоматизировать процесс формирования списка запрещенных материалов — «черных списков». #### Автоматизация формирования списков 1\. Выкачиваем список: ``` wget http://api.antizapret.info/all.php ``` Он приходит в виде: ``` 2016-07-22;https://www.hollywoodbets.net/;hollywoodbets.net;197.96.4.94,196.36.224.155 2016-07-22;https://www.nevada-bets.com/;nevada-bets.com;104.28.17.32,104.31.74.124,104.31.75.124,185.56.28.235,199.27.134.112,199.27.135.112,104.28.16.32 2016-07-22;https://www.tab.co.nz/sport/#;tab.co.nz;104.16.60.48,190.93.244.199,190.93.245.199,104.16.59.48 2016-07-22;http://allbuker.ru/leonbets/#adres;allbuker.ru;104.27.167.102,104.27.166.102 2016-07-22;http://kino-sezon.ru/boeviki/film-boj-s-tenyu-2-revansh/;kino-sezon.ru;91.215.155.213 ``` 2\. Так как нас интересуют адреса, то формируем список при помощи утилиты **awk**: ``` awk -F ';' '{print $2}' all.php > all ``` Получаем файл с содержимым вида: ``` http://tr.betboo332.com/ https://www.91812888.com/su/ ``` 3\. Файл с содержанием **Федерального списка экстремистских материалов** поступаем аналогично. 4\. Для автоматизации процесса скачивания и формирования списков воспользуемся скриптом: ``` #!/bin/bash #backlist all wget http://api.antizapret.info/all.php awk -F ';' '{print $2}' all.php > /var/lib/redirector/banlists/blacklist/urls #minjust wget http://api.antizapret.info/minjust.php awk -F ';' '{print $2}' minjust.php > minjust.txt ``` #### Скрипт для Rejik Для Rejik, в нашем варианте, скрипт выглядит так: ``` #!/bin/bash #backlist all wget http://api.antizapret.info/all.php rm /var/lib/redirector/banlists/blacklist/urls awk -F ';' '{print $2}' all.php > /var/lib/redirector/banlists/blacklist/urls chmod 777 /var/lib/redirector/banlists/blacklist/urls rm all.php #minjust wget http://api.antizapret.info/minjust.php rm /var/lib/redirector/banlists/minjust/urls awk -F ';' '{print $2}' minjust.php > /var/lib/redirector/banlists/minjust/urls chmod 777 /var/lib/redirector/banlists/minjust/urls rm minjust.php service squid reload ``` Скрипт помещаем в crontab и радуемся). 5\. В зависимости от того, какой софт использует образовательное учреждение для организации контентной фильтрации — формируем правило фильтрования в данной программе и предоставляем ей сформированные списки. #### Скачать списки - [Реестр запрещенных сайтов](http://itsch.ru/wp-content/uploads/2017/04/all.txt) (актуален на 18.04.2017) - [Федеральный список экстремистских материалов](http://itsch.ru/wp-content/uploads/2017/04/minjust.txt) (актуален на 18.04.2017) [Как организовать систему контентной фильтрации на базе СПО можно прочитать здесь](http://itsch.ru/category/kontent-filtr/). 🚀 Понравилась статья? Подписывайтесь на наши соцсети, чтобы не пропустить новые полезные материалы! [ ![MAX](https://itsch.ru/user/themes/bootstrap4/assets/img/max-icon_64x64.png) MAX ](https://max.ru/channel_itsch) [ ![Telegram](https://itsch.ru/user/themes/bootstrap4/assets/img/telegram-icon_64x64.png) Telegram ](https://t.me/itschool) [ ![VK](https://itsch.ru/user/themes/bootstrap4/assets/img/vk-icon_64x64.png) ВКонтакте ](https://vk.ru/notesteachers) [ ![Dzen](https://itsch.ru/user/themes/bootstrap4/assets/img/dzen-icon_64x64.png) Дзен ](https://dzen.ru/itsch) [ ![RuTube](https://itsch.ru/user/themes/bootstrap4/assets/img/rutube-icon_64x64.png) RuTube ](https://rutube.ru/channel/46066409/) [ Следующая запись](https://itsch.ru/ru/blog/glpi-uchet-kartridzhej) [Предыдущая запись ](https://itsch.ru/ru/blog/ustanovka-zabbix-agent-i-fusioninventory-agent-v-freenas) ##### Поиск по сайту ##### Мы в соцсетях [ ![MAX](https://itsch.ru/user/themes/bootstrap4/assets/img/max-icon_64x64.png) ](https://max.ru/channel_itsch) [ ![Telegram](https://itsch.ru/user/themes/bootstrap4/assets/img/telegram-icon_64x64.png) ](https://t.me/itschool) [ ![Дзен](https://itsch.ru/user/themes/bootstrap4/assets/img/dzen-icon_64x64.png) ](https://dzen.ru/itsch) [ ![RuTube](https://itsch.ru/user/themes/bootstrap4/assets/img/rutube-icon_64x64.png) ](https://rutube.ru/channel/46066409) ##### Облако тэгов [Linux](https://itsch.ru/ru/tag:Linux) [Debian](https://itsch.ru/ru/tag:Debian) [ALT Linux](https://itsch.ru/ru/tag:ALT%20Linux) [Веб-сервер](https://itsch.ru/ru/tag:%D0%92%D0%B5%D0%B1-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80) [Цифровая среда](https://itsch.ru/ru/tag:%D0%A6%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F%20%D1%81%D1%80%D0%B5%D0%B4%D0%B0) [Удаленное управление](https://itsch.ru/ru/tag:%D0%A3%D0%B4%D0%B0%D0%BB%D0%B5%D0%BD%D0%BD%D0%BE%D0%B5%20%D1%83%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5) [Офисный пакет](https://itsch.ru/ru/tag:%D0%9E%D1%84%D0%B8%D1%81%D0%BD%D1%8B%D0%B9%20%D0%BF%D0%B0%D0%BA%D0%B5%D1%82) [CUPS](https://itsch.ru/ru/tag:CUPS) [Astra Linux](https://itsch.ru/ru/tag:Astra%20Linux) [Ubuntu](https://itsch.ru/ru/tag:Ubuntu) [GLPI](https://itsch.ru/ru/tag:GLPI) [Google](https://itsch.ru/ru/tag:Google) [Контентная фильтрация](https://itsch.ru/ru/tag:%D0%9A%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D1%82%D0%BD%D0%B0%D1%8F%20%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F) [Драйвер](https://itsch.ru/ru/tag:%D0%94%D1%80%D0%B0%D0%B9%D0%B2%D0%B5%D1%80) [OnlyOffice](https://itsch.ru/ru/tag:OnlyOffice) [Apache](https://itsch.ru/ru/tag:Apache) [NextCloud](https://itsch.ru/ru/tag:NextCloud) [Печать](https://itsch.ru/ru/tag:%D0%9F%D0%B5%D1%87%D0%B0%D1%82%D1%8C) [Zabbix](https://itsch.ru/ru/tag:Zabbix) [iTalc](https://itsch.ru/ru/tag:iTalc) [Прокси-сервер](https://itsch.ru/ru/tag:%D0%9F%D1%80%D0%BE%D0%BA%D1%81%D0%B8-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80) [Локальная сеть](https://itsch.ru/ru/tag:%D0%9B%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F%20%D1%81%D0%B5%D1%82%D1%8C) [Windows](https://itsch.ru/ru/tag:Windows) [Proxmox](https://itsch.ru/ru/tag:Proxmox) [Cloud](https://itsch.ru/ru/tag:Cloud) [MySQL](https://itsch.ru/ru/tag:MySQL) [Сервер виртуализации](https://itsch.ru/ru/tag:%D0%A1%D0%B5%D1%80%D0%B2%D0%B5%D1%80%20%D0%B2%D0%B8%D1%80%D1%82%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8) [OwnCloud](https://itsch.ru/ru/tag:OwnCloud) [Контроллер домена](https://itsch.ru/ru/tag:%D0%9A%D0%BE%D0%BD%D1%82%D1%80%D0%BE%D0%BB%D0%BB%D0%B5%D1%80%20%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD%D0%B0) [Нормативные документы](https://itsch.ru/ru/tag:%D0%9D%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5%20%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B) [KDE](https://itsch.ru/ru/tag:KDE) [Дистанционные технологии](https://itsch.ru/ru/tag:%D0%94%D0%B8%D1%81%D1%82%D0%B0%D0%BD%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5%20%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8) [Программирование](https://itsch.ru/ru/tag:%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5) [SSH](https://itsch.ru/ru/tag:SSH) [FreeBSD](https://itsch.ru/ru/tag:FreeBSD) [NAS](https://itsch.ru/ru/tag:NAS) [Интерактивная доска](https://itsch.ru/ru/tag:%D0%98%D0%BD%D1%82%D0%B5%D1%80%D0%B0%D0%BA%D1%82%D0%B8%D0%B2%D0%BD%D0%B0%D1%8F%20%D0%B4%D0%BE%D1%81%D0%BA%D0%B0) [LDAP](https://itsch.ru/ru/tag:LDAP) [Сайт школы](https://itsch.ru/ru/tag:%D0%A1%D0%B0%D0%B9%D1%82%20%D1%88%D0%BA%D0%BE%D0%BB%D1%8B) [Backup](https://itsch.ru/ru/tag:Backup) [ППЭ](https://itsch.ru/ru/tag:%D0%9F%D0%9F%D0%AD) [Help Desk](https://itsch.ru/ru/tag:Help%20Desk) [Veyon](https://itsch.ru/ru/tag:Veyon) [Сканирование](https://itsch.ru/ru/tag:%D0%A1%D0%BA%D0%B0%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5) [Moodle](https://itsch.ru/ru/tag:Moodle) [Р7-Офис](https://itsch.ru/ru/tag:%D0%A07-%D0%9E%D1%84%D0%B8%D1%81) [Chrome](https://itsch.ru/ru/tag:Chrome) [Мессенджер](https://itsch.ru/ru/tag:%D0%9C%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B4%D0%B6%D0%B5%D1%80) [Репозиторий](https://itsch.ru/ru/tag:%D0%A0%D0%B5%D0%BF%D0%BE%D0%B7%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%B9) [WordPress](https://itsch.ru/ru/tag:WordPress) [MeshCentral](https://itsch.ru/ru/tag:MeshCentral) [Nginx](https://itsch.ru/ru/tag:Nginx) [Оборудование](https://itsch.ru/ru/tag:%D0%9E%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5) [Docker](https://itsch.ru/ru/tag:Docker) [VirtualBox](https://itsch.ru/ru/tag:VirtualBox) [Безопасность](https://itsch.ru/ru/tag:%D0%91%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D0%BE%D1%81%D1%82%D1%8C) [Pidgin](https://itsch.ru/ru/tag:Pidgin) [Чат-бот](https://itsch.ru/ru/tag:%D0%A7%D0%B0%D1%82-%D0%B1%D0%BE%D1%82) [Samba AD](https://itsch.ru/ru/tag:Samba%20AD) [Браузер](https://itsch.ru/ru/tag:%D0%91%D1%80%D0%B0%D1%83%D0%B7%D0%B5%D1%80) [WebDAV](https://itsch.ru/ru/tag:WebDAV) [Техническая поддержка](https://itsch.ru/ru/tag:%D0%A2%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F%20%D0%BF%D0%BE%D0%B4%D0%B4%D0%B5%D1%80%D0%B6%D0%BA%D0%B0) [Мультимедиа](https://itsch.ru/ru/tag:%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BC%D0%B5%D0%B4%D0%B8%D0%B0) [Python](https://itsch.ru/ru/tag:Python) [CloneZilla](https://itsch.ru/ru/tag:CloneZilla) [Веб-разработка](https://itsch.ru/ru/tag:%D0%92%D0%B5%D0%B1-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0) [RustDesk](https://itsch.ru/ru/tag:RustDesk) [Vesta CP](https://itsch.ru/ru/tag:Vesta%20CP) [Hestia](https://itsch.ru/ru/tag:Hestia) [CentOS](https://itsch.ru/ru/tag:CentOS) [pfSense](https://itsch.ru/ru/tag:pfSense) [APT](https://itsch.ru/ru/tag:APT) [Euro-Office](https://itsch.ru/ru/tag:Euro-Office) [Антивирус](https://itsch.ru/ru/tag:%D0%90%D0%BD%D1%82%D0%B8%D0%B2%D0%B8%D1%80%D1%83%D1%81) [КриптоПро](https://itsch.ru/ru/tag:%D0%9A%D1%80%D0%B8%D0%BF%D1%82%D0%BE%D0%9F%D1%80%D0%BE) [Игры](https://itsch.ru/ru/tag:%D0%98%D0%B3%D1%80%D1%8B) [ОnlyOffice](https://itsch.ru/ru/tag:%D0%9EnlyOffice) [Отечественное программное обеспечение](https://itsch.ru/ru/tag:%D0%9E%D1%82%D0%B5%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B5%20%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B5%20%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D0%B5) [Linux Mint](https://itsch.ru/ru/tag:Linux%20Mint) [Collabora Online](https://itsch.ru/ru/tag:Collabora%20Online) [RDP](https://itsch.ru/ru/tag:RDP) [MAX](https://itsch.ru/ru/tag:MAX) [Сферум](https://itsch.ru/ru/tag:%D0%A1%D1%84%D0%B5%D1%80%D1%83%D0%BC) [Почта](https://itsch.ru/ru/tag:%D0%9F%D0%BE%D1%87%D1%82%D0%B0) Bootstrap 4 Theme for [Grav](http://getgrav.org) --- ## Navigation - Parent: [Блог](https://itsch.ru/ru/index.md) - Previous: [GLPI — учет картриджей для принтеров и МФУ в организации](https://itsch.ru/ru/blog/glpi-uchet-kartridzhej.md) - Next: [Установка zabbix-agent и fusioninventory-agent в FreeNAS](https://itsch.ru/ru/blog/ustanovka-zabbix-agent-i-fusioninventory-agent-v-freenas.md)