Руководство по установке, настройке и эксплуатации модуля машинного обучения Nemesida AI MLC, предназначенного для построения поведенческих моделей, а также выявления атак методом перебора, флуда и DDoS-атак.
Не используется в Nemesida WAF Free.
Перед установкой компонентов Nemesida WAF добавьте информацию о репозитории в систему:
# apt install apt-transport-https gnupg2
sudo
# wget -O- https://nemesida-security.com/repo/nw/gpg.key | apt-key add - # apt update && apt upgrade
# apt install apt-transport-https gnupg2
Модуль Nemesida AI состоит из модулей Nemesida AI MLA (входит в установочный пакет модуля Nemesida WAF) и Nemesida AI MLC, взаимодействие которых возможно в обычном режиме (модули функционируют на одном сервере) и режиме «точка-многоточка» (модуль Nemesida AI MLC функционирует на выделенном сервере).
Python pip-пакеты
Для корректной работы модулей машинного обучения необходимо использовать единые версии Python3 pip-пакетов на серверах с установленными Nemesida AI MLA и Nemesida AI MLC.
Установка
Установите Nemesida AI MLC:
# apt install nwaf-mlc
Установите Nemesida AI MLC:
# apt install nwaf-mlc
Первичная настройка
После установки модуля необходимо произвести первичную настройку, указав следующие параметры:
После внесения изменений выполните перезагрузку сервера или перезапуск сервиса и проверьте его работу:
# service mlc_main restart # service mlc_main status
Функционал облачного управления настройками включен по умолчанию, но его можно отключить, направив запрос на электронную почту.
Во избежании ошибок при настройке модуля рекомендуем использовать облачное веб-приложение.
Для корректной работы модуля рекомендуем разрешить обращения к портам:
8080(Nemesida WAF API),5672(RabbitMQ),11211(Memecache).
Управление настройками с помощью облачного веб-приложения и облачного API
Информация о настройке Nemesida AI MLC c использованием облачного веб-приложения и облачного API доступна в соответствующих разделах.
Управление настройками с помощью конфигурационных файлов
Nemesida AI MLC
Для настройки модуля внесите необходимые изменения в конфигурационный файл /opt/mlc/mlc.conf. Файл /opt/mlc/mlc-example.conf содержит полный перечень доступных параметров.
После внесения изменений выполните перезагрузку сервера или перезапуск сервиса и проверьте его работу:
# service mlc_main restart # service mlc_main status
Работа в режиме Multipoint Mode
Для построения поведенческих моделей модулю Nemesida AI MLC требуется значительное количество свободной ОЗУ. При использовании более одного сервера с модулем Nemesida WAF можно сэкономить аппаратные ресурсы, задействовав схему работы «точка-многоточка» (один сервер с установленным модулем Nemesida AI MLC взаимодействует со множеством серверов с установленными модулями Nemesida WAF).
На сервере с установленным модулем Nemesida WAF
— Создайте пользователя сервиса RabbitMQ:
# rabbitmqctl add_user USER PASSWORD # rabbitmqctl set_permissions -p / USER ".*" ".*" ".*"
где USER и PASSWORD — имя пользователя и пароль для подключения модуля Nemesida AI MLC.
— Внесите изменения в конфигурационный файл /etc/rabbitmq/rabbitmq-env.conf:
NODE_PORT=5672 export RABBITMQ_NODENAME=rabbit@localhost export RABBITMQ_NODE_IP_ADDRESS=0.0.0.0 export ERL_EPMD_ADDRESS=127.0.0.1
— Разрешите обращения с сервера, на котором установлен модуль Nemesida AI MLC, к порту RabbitMQ (по умолчанию 5672 TCP).
— Завершите настройку RabbitMQ:
# service rabbitmq-server restart
На сервере с установленным модулем Nemesida AI MLC
Создайте дополнительные файлы конфигурации в директории /opt/mlc/conf/, скопировав файл /opt/mlc/mlc.conf. Внесите изменения в новые конфигурационные файлы для работы с удаленным сервером RabbitMQ. После внесения изменений выполните перезапуск службы:
# service mlc_main restart # service mlc_main status
В дополнительных файлах конфигурации
nwaf_license_key– обязательный параметр. Лицензионный ключ, используемый в настройках Nemesida AI MLC, и удаленные Nemesida WAF должны иметь одинаковыеWAF ID. При использовании дополнительных файлов конфигурации рекомендуется удалить файл/opt/mlc/mlc.conf.
Используя удаленные сервисы RabbitMQ, модуль Nemesida AI MLC будет производить сбор запросов с последующим обучением моделей таким же образом, как и при обычном режиме работы.
Работа с использованием облачного сервера Nemesida AI MLS
Облачный сервер Nemesida AI предназначен для генерации поведенческих моделей на основе поступающей с удаленных серверов копии трафика. Облачный сервер используется в случаях, когда пользователь ПО Nemesida WAF не имеет достаточного для работы модуля Nemesida AI MLC объема ОЗУ. Для использования возможностей облачного сервера Nemesida AI свяжитесь со службой технической поддержки.
Точность поведенческих моделей
В период обучения, для построения более качественных моделей, не рекомендуется производить сканирование веб-приложения на уязвимости, а также направлять другие нелегитимные запросы. Сразу после первого обучения рекомендуется произвести переобучение моделей. Управление ложными срабатываниями производится с помощью модуля Nemesida WAF Signtest.
Хранение поведенческих моделей
Поведенческие модели, созданные модулем Nemesida AI MLC, передаются на удаленный сервер Nemesida AI MLS и автоматически распространяются на все запущенные экземпляры Nemesida AI MLA и Nemesida AI MLC в соотвествии с WAF ID.
Переобучение моделей Nemesida AI
Для повышения точности определения атак рекомендуется выполнять переобучение моделей раз в неделю. Для этого можно воспользоваться облачным веб-приложением, облачным API или добавить к значению виртуального хоста символ ^ при использовании конфигурационных файлов.
Пример:
vhosts_list = example.com^
После внесения изменений выполните перезапуск службы:
# service mlc_main restart
После переобучения моделей рекомендуется удалить экспортированные запросы ВТ 12 (запросы содержатся на странице False Positive, доступной на веб-интерфейсе модуля Nemesida WAF Signtest). При обучении моделей для виртуального хоста запросы ВТ 12 войдут в обучающую выборку и далее не потребуются.
Для переобучения поведенческих моделей при использовании облачных сервисов необходимо с их помощью задать список виртуальных хостов.
Увеличение срока обучения поведенческих моделей Nemesida AI
Для корректного построения моделей требуется порядка 400.000-800.000 уникальных запросов. По умолчанию срок обучения составляет 4 дня. Период обучения модели можно изменить непосредственно при указании списка доменных имен в параметре vhosts_list в mlc.conf: x:example.com, где x — период обучения в днях. Например, 5:example.com — обучение модели будет длиться 5 дней.
После внесения изменений выполните перезапуск службы:
# service mlc_main restart
Дообучение моделей с использованием резервной копии обучающей выборки
Для корректного построения моделей требуется порядка 400.000-800.000 уникальных запросов. Если во время обучения количество запросов было недостаточным, то можно его перезапустить и воспользоваться запросами из прошлой выборки. Для этого выполните следующие действия:
1. Остановите сервис Nemesida AI MLC:
# service mlc_main stop
2. Переместите файл /opt/mlc/ml/backup/[vhost].d_[timestamp], где [timestamp] — дата создания резервной копии обучающей выборки, созданной Nemesida AI MLC перед началом построения модели, в /opt/mlc/ml/[vhost].d. Например, для модели example.com:
# mv /opt/mlc/ml/backup/example.com.d_1613587613 /opt/mlc/ml/example.com.d
3. Запустите обучение. Для этого необходимо добавить к значению виртуального хоста символ ^.
Пример:
vhosts_list = example.com^
Запустите сервис Nemesida AI MLC:
# service mlc_main start
После завершения периода обучения (период можно изменить) поведенческая модель будет создана на основе запросов из общей выборки.
Удаление моделей Nemesida AI
В случае некорректного обучения поведенческих моделей или значительных изменений в веб-приложении, приводящих ко множеству ложных срабатываний, рекомендуется удалить модели. Для этого отправьте запрос, используя функционал управления настройками с использованием облачного API или воспользуйтесь облачным веб-приложением управления настройками.
Пример удаления модели с помощью облачного API:
# curl 'https://nemesida-security.com/nw/ml/mgmt/del_models_uri' --data 'key=1234567890&vhost=example.com'
где:
key— лицензионный ключ или его SHA256-хеш;vhost— имя виртуального хоста, для которого необходимо удалить модель.
Обучающая выборка при построении поведенческих моделей
Запросы, определенные как BT 1, BT 2, BT 3 и BT 4, не добавляются в обучающую выборку, даже если попадают под действие режима LM.
При включенном режиме ai_extra запросы, определенные модулем Nemesida AI MLC как нелегитимные, не добавляются в обучающую выборку.