Обновления Немезида ВАФ 2020 | Немезида ВАФ

Накопительный пакет исправлений и улучшений для Nemesida AI MLA, обновление динамического модуля в связи с выходом Nginx 1.19.6 mainline и NGINX Plus Release 23 (R23).

Накопительный пакет исправлений и улучшений:

• Добавлен параметр flood_detect_list для блокирования попыток СМС-флуда;
• Улучшен механизм разбора RabbitMQ очередей;
• Оптимизирован процесс управления памятью при длительном использовании модуля;
• Прочие улучшения и исправления.

Рекомендуется произвести переобучение поведенческих моделей.

Улучшен механизм нормализации содержимого запросов, поступающих от Nemesida WAF.

• Добавлена опция vhost в параметре nwaf_rmq, которая отвечает за режим формирования очереди vhost;
• Изменён алгоритм формирования очереди vhost для Nemesida AI MLA и Nemesida AI MLC с учётом регулярных выражений.

Накопительный пакет исправлений и улучшений.

Накопительный пакет исправлений и улучшений:

• Добавлена возможность использования протокола IPv6;
• Добавлена опция nwaf_bf_detect_host_lm, позволяющая переводить события типа BT 7 (атаки методом перебора) в режим LM;
• Стабилизирован механизм обмена данными с Nemesida AI MLA;
• Улучшена информативность журнала ошибок;
• Исправления в работе модуля Nemesida AI MLA.

Накопительный пакет исправлений и улучшений:

• Добавлена поддержка wildcard-значения «*» для опции vhosts_list и виртуальных хостов из файла, определяющего параметром brute_detect_list;
• Исправлена проблема отправки статуса обучения в Nemesida WAF API;
• Исправлена проблема, возникающая в некоторых случаях при использовании wildcard-значений в опции vhosts_list;
• Прочие улучшения и исправления.

Рекомендуется произвести переобучение поведенческих моделей.

• Добавлена возможность формирования отчета в формате CSV;
• Добавлена возможность в панели администратора установить для пользователя несколько WAF ID, WAF domains и IP;
• Улучшено отображение информации в отчете;
• Изменен формат дат на графике атак;
• Улучшено отображение страниц Attacks, Brute-force и Internal error.

• Добавлена страница с описанием внутренних ошибок Nemesida WAF (BT 5);
• В панели администратора добавлена возможность задавать для пользователя несколько WAF ID;
• Добавлен полнотекстовый поиск по содержимому, если операторы поиска не заданы;
• Исправлено наименование поля URI на странице Scanner;
• Улучшено отображение информации в панели администратора;
• Улучшен механизм работы кнопки Exclude на странице Scanner;
• Оптимизирован вывод информации об атаках;
• Улучшен шаблон писем об атаках, отправляемых на электронную почту;
• Улучшено отображение страницы Traffic status и информации в отчете;
• Скорректирован вывод информации о Rule ID.

Незначительные улучшения и исправления.

Накопительный пакет обновлений.

Накопительный пакет исправлений и улучшений:

• Улучшен механизм нормализации и парсинга запросов;
• Добавлен параметр brute_detect_list (секция [brute] конфигурационного файла mlc.conf). Параметр brute_detect_list определяет путь до файла, в котором необходимо указывать цели для мониторинга атак методом перебора в формате vhost/path (например, example.com/auth). Параметр mconf признается устаревшим и в скором времени перестанет поддерживаться;
• Добавлен параметр latest_only, позволяющий, в зависимости от значения, активировать передачу в Nemesida WAF API информации о всех выявленных атаках методом перебора по каждому IP-адресу, либо передачу только последней атаки по каждому IP-адресу;
• Прочие улучшения и исправления.

Рекомендуется произвести переобучение поведенческих моделей.

Множественные улучшения и исправления работы модуля Nemesida AI MLA, включающие:

• Добавлен механизм кеширования WAF ID для действующего лицензионного ключа;
• Прочие незначительные улучшения.

• Улучшен механизм обработки поступаемых от Nemesida WAF запросов;
• Добавлен функционал приема событий типа BT 5.

• Добавлена отправка сообщений типа BT 5 в Nemesida WAF API;
• Добавлен функционал обработки запросов типа БТ 5 в режиме LM;
• Добавлена опция исключения из обработки тела запроса для указанного URL;
• Добавлена поддержка Nginx 1.19.4 mainline.

Исправления, связанные с модулем Nemesida AI MLA.

Накопительный пакет исправлений и улучшений.

• Добавлен новый фильтр recheck;
• Улучшен механизм поиска;
• Улучшено отображение статуса обучения;
• Улучшено представление информации на странице Traffic status.

Исправлена проблема совместимости со старыми версиями Python.

Накопительный пакет обновлений и улучшений:

• Обновлен модуль загрузки набора сигнатур;
• Исправлена ошибка в конфигурационном файле nwaf.conf.

Накопительный пакет обновлений и улучшений:

• Оптимизировано управление памятью при операциях блокировки IP-адресов;
• Снято ограничение размера тела запроса при отправке сообщения на Nemesida WAF API;
• Улучшено взаимодействии с модулем RabbitMQ;
• Параметр nwaf_sync_ban_ip_key сделан обязательным для функционала синхронизации заблокированных IP-адресов.

Накопительный пакет обновлений и улучшений:

• Оптимизирована работа модуля в режиме MTP (Multipoint Mode);
• Улучшен механизм нормализации и парсинга запросов;
• Улучшена система построения поведенческих моделей;
• Добавлена поддержка wildcard-значений в файле параметра mconf конфигурационного файла mlc.conf;
• Прочие улучшения и исправления.

После обновления рекомендуем произвести переобучение моделей.

Накопительный пакет обновлений динамического модуля и модуля машинного обучения Nemesida AI MLA:

• Добавлена возможность синхронизации списка заблокированных IP адресов между модулями Nemesida WAF с использованием параметров nwaf_sync_ban_ip_key и nwaf_sync_ban_ip_host;
• Оптимизирован механизм работы сигнатурного анализа;
• Улучшена работы подсистемы журналирования событий
• Исправлена проблема, возникающая в некоторых случаях при формировании сообщений, передаваемых в модуль Nemesida WAF API;
• Улучшения, связанные с анализом запросов модулем Nemesida AI MLA.

Добавлена поддержка Nginx 1.19.3 mainline.

Накопительный пакет обновлений, включающий:

• Улучшенный механизм отображения результатов поиска;
• Установку ограничения в 2000 символов при выводе тела запроса на главной странице, полое содержимое тела запроса доступно при нажатии на кнопку «Details»;
• Прочие улучшения и исправления

Накопительный пакет обновлений и улучшений:

• Улучшен механизм нормализации и парсинга запросов;
• Улучшена система построения поведенческих моделей;
• Добавлена поддержка wildcard-значений в параметре vhosts_list конфигурационного файла mlc.conf;
• Прочие улучшения и исправления.

После обновления рекомендуем актуализировать содержимое параметра vhosts_list конфигурационного файла mlc.conf и произвести переобучение моделей.

Накопительный пакет обновлений и улучшений модуля машинного обучения Nemesida AI MLA:

• Улучшен механизм нормализации и парсинга запросов;
• Прочие улучшения и исправления.

Накопительный пакет обновлений и улучшений для динамического модуля Nemesida WAF и модуля машинного обучения Nemesida AI MLA:

• • • Оптимизирован механизм создания списка уникальных виртуальных хостов в момент запуска/перезапуска Nginx;
    • Улучшен механизм взаимодействия с модулями ClamAV и Nemesida WAF API;
    • Улучшен механизм анализа запросов модуля Nemesida AI MLA.

Накопительный пакет обновлений и улучшений. Прекращена поддержка моделей при использовании значения * в параметре vhosts_list конфигурационного файла mlc.conf.

Накопительный пакет обновлений.

Накопительный пакет обновлений.

Релиз модуля в связи с выпуском Nginx 1.19.2 mainline.

Накопительный пакет обновлений и улучшений:

• Улучшен механизм определения ботов (параметр nwaf_check_bot_name);
• Добавлена поддержка опции CHAIN при создании цепочки сигнатур;
• В Nemesida WAF Management API добавлены команды get_banned_ip и delete_banned_ip, позволяющие получать и удалять заблокированные IP-адреса;
• Повышена стабильность работы при взаимодействии с модулем RabbitMQ;
• Добавлен параметр nwaf_mla_host_lm, позволяющий переводить в режим LM запросы, заблокированные модулем Nemesida AI MLA;
• Множественные улучшения модуля Nemesida AI MLA.

Накопительный пакет обновлений, включающий улучшения функционала построения моделей и выявления атак. После обновления рекомендуется произвести переобучение поведенческих моделей.

Накопительный пакет обновлений.

Накопительный пакет обновлений и улучшений:

• • • Добавлен параметр nwaf_host_enable, активирующий функционал Nemesida WAF для перечисленных виртуальных хостов. Если параметр не задан, то по умолчанию функционал Nemesida WAF применяется для всех виртуальных хостов;
    • Улучшен механизм нормализации для запросов, содержащих символы в кодировке UTF8/16/32 и HTML entity при обработке модулем Nemesida AI MLA;
    • Стабилизировано поведение динамического модуля при обработке нетипичных ответов от ClamAV;
    • Прочие исправления и улучшения модуля.

Накопительный пакет обновлений и улучшений:

• • • Улучшен механизм нормализации для запросов, содержащих символы в кодировке UTF8/16/32 и HTML entity;
    • Добавлен функционал применения экспортированных из Nemesida WAF Signtest False Positive запросов «на лету»;
    • Прочие исправления и улучшения модуля.

Накопительный пакет обновлений и улучшений:

• • • Исправлена ошибка, возникающая в некоторых случаях при чтении конфигурационного файла nwaf.conf;
    • Исправлена проблема, возникающая в некоторых случаях при построении поведенческих моделей;
    • Экспортированные из Nemesida WAF Signtest False Positive запросы добавляются в обучающую выборку как легитимные;
    • Улучшен механизм взаимодействия с Nemesida WAF Signtest;
    • Прочие исправления и улучшения модуля.

Накопительный пакет обновлений и улучшений для модуля Nemesida AI MLA:

• • • Исправлена ошибка, возникающая при обработке некоторых запросов;
    • Исправлена ошибка, возникающая в некоторых случаях при чтении конфигурационного файла nwaf.conf;
    • Прочие исправления и улучшения модуля.

Кроме этого, в Nemesida WAF добавлена поддержка версий NGINX:

• • • 1.15.12 mainline (nwaf-dyn-1.15)
    • 1.19.1 mainline (nwaf-dyn-1.19)
    • NGINX Plus R22 (nwaf-dyn-plus-r22)

Накопительный пакет обновлений и улучшений.

Накопительный пакет обновлений и улучшений:

• • • Повышена стабильность работы модуля Nemesida AI MLA;
    • Для сигнатур со score равным 12 добавлена поддержка зоны NoBan. Вхождение сигнатуры с такой зоной не уменьшает счетчик nwaf_limit, то есть не может привести к блокированию IP-адреса;
    • Исправлена ошибка, приводящая к отправке некорректного значения зоны определения атаки на Nemesida WAF API;
    • Прочие исправления и улучшения.

Накопительный пакет обновлений:

• • • добавлено ограничение, исключающее параллельный запуск процессов сканирования для нескольких целей;
    • исправлена проблема избыточного вывода сообщений в файл журнала при использовании функции «recheck».

Добавлена возможность применения wildcard-значений для опции brute_wl, например, .example.com или *.example.com.

Накопительный пакет исправлений и улучшений:

• • • добавлена опция nwaf_put_body_exclude, позволяющая удалять содержимое BODY для PUT-запросов;
    • скорректирован механизм обработки имен сервера вида *.example.com и .example.com из параметра server_name Nginx при сортировки на уникальность и помещении в очередь vhost сервера RabbitMQ;
    • добавлена дополнительная проверка ответов от Nemesida WAF MLA, повышена стабильность работы в случае таймаута ответа;
    • исправлена ошибка, возникающая при одновременном использовании уровня журналирования info для error_log в Nginx и опции WL ID:* ... в динамическом модуле Nemesida WAF;
    • прочие исправления, повышающие стабильность работы модуля.

Накопительный пакет обновлений и исправлений.

Операторы поиска скорректированы в соответствии с документацией.

Улучшен механизм поиска уязвимых плагинов в CMS.

Накопительный пакет исправлений и улучшений:

• • • скорректирован принцип применения WL-правил;
    • при вызове nginx -t в основной error.log, помимо информации о загруженном наборе правил rules.bin, выводится информация о версии Nemesida WAF и сроке действия лицензионного ключа;
    • прочие улучшения и исправления;
    • релиз nwaf-dyn-1.19 в связи выпуском Nginx 1.19.0 mainline.

Исправлена проблема игнорирования содержимого файла из параметра mconf (по умолчанию /opt/mlc/bf/bf-manual.conf) конфигурационного файла mlc.conf. Проблема сопровождалась генерацией ложных срабатываний при выявлении атак методом перебора.

Накопительный пакет обновлений и исправлений, включающий улучшенный механизм поиска и сортировки событий.

Накопительный пакет обновлений и исправлений:

• • • реализован Nemesida WAF Management API: интерфейс управления модулем Nemesida WAF через HTTP-запросы в формате JSON;
    • исправлена проблема утечки памяти при использовании Nemesida WAF API;
    • исправлена проблема, при которой запросы в пределах локального хоста, переведенного в режим LM, приводили к «зависанию» Nginx;
    • исправлена проблема, связанная с закрытием соединений при взаимодействии с Nemesida AI MLA;
    • изменена логикалогика применения wildcard-параметров для виртуального хоста: теперь *.example.com включает все поддомены, но не включает основной домен, а .example.com включает основной домен и поддомены;
    • прочие обновления и исправления.

Накопительный пакет обновлений и исправлений:

• • • улучшен механизм работы функционала recheck;
    • добавлен механизм повторного подключения к СУБД в случае, когда связь прерывается;
    • добавлен механизм повторной проверки лицензионного ключа в случае, когда выполнить проверку не удалось;
    • оптимизирован принцип формирования поля URL;
    • оптимизирован механизм поиска LFI и SQLi уязвимостей;
    • дополнена сигнатурная база для выявления уязвимостей;
    • прочие изменения и улучшения.

Обновлен файл pip_update.sh.

Обновлен файл pip_update.sh.

Исправлен неверный путь обращения при передачи статуса обучения.

Модуль обновлен в связи с выпуском Nginx версий:

• • • R20 plus;
    • R21 plus;
    • 1.17.10 mainline;
    • 1.18.0 stable.

Исправлена ошибка, возникающая при поиске событий.

Накопительный пакет обновлений и исправлений.

Накопительный пакет обновлений и исправлений:

• • • оптимизирован механизм взаимодействия с СУБД для экспортированных событий;
    • прочие обновления и улучшения.

Модуль nwaf-dyn-1.17 обновлен в связи с выпуском Nginx 1.17.9 mainline.

Накопительный пакет обновлений и исправлений:

• • • реализован новый принцип взаимодействия с Nemesida AI MLA;
    • устранена проблема, приводящая в некоторых случаях к «зависанию» модуля при взаимодействии с Nemesida AI MLA;
    • расширен функционал создания правил исключения: в качестве уточнения для правил RL и WL можно использовать подзаголовки Headers: User-Agent, Referer, Cookie и т.д.
    • обновлен сервис по загрузке пакета сигнатур (nwaf_update);
    • повышена стабильность работы модуля.

Добавлен скрипт для обновления Python3 PIP зависимостей: /var/www/nw-api/pip_update.sh

• • • модуль nwaf-dyn-1.17 обновлен для совместимости с Nginx 1.17.8 mainline версии;
    • в модуль Nemesida AI MLA добавлен функционал многопоточности при обработке экспортированных через Nemesida WAF Signtest событий «False Positive»;
    • обновлен модуль Nemesida WAF Rule Update, управляемый сервисом nwaf_update.

Накопительный пакет обновлений и исправлений.