Nemesida AI MLC | Немезида ВАФ

Не используется в некоммерческой версии Немезида ВАФ.

Модуль Nemesida AI состоит из модулей Nemesida AI MLA (входит в установочный пакет nwaf-dyn) и Nemesida AI MLC.

Библиотеки Python
Для корректной работы модулей машинного обучения необходимо использовать единые версии библиотек Python на фильтрующих нодах и серверах с установленными Nemesida AI MLC.

Установка компонента

# apt update && apt upgrade
# apt install apt-transport-https gnupg2 curl

# echo "deb https://nemesida-security.com/repo/nw/debian bullseye non-free" > /etc/apt/sources.list.d/NemesidaWAF.list
# curl -s https://nemesida-security.com/repo/nw/gpg.key | gpg --no-default-keyring --keyring gnupg-ring:/etc/apt/trusted.gpg.d/trusted.gpg --import
# chmod 644 /etc/apt/trusted.gpg.d/trusted.gpg
# apt update

# echo "deb https://nemesida-security.com/repo/nw/debian bookworm nwaf" > /etc/apt/sources.list.d/NemesidaWAF.list
# curl -s https://nemesida-security.com/repo/nw/gpg.key | gpg --no-default-keyring --keyring gnupg-ring:/etc/apt/trusted.gpg.d/trusted.gpg --import
# chmod 644 /etc/apt/trusted.gpg.d/trusted.gpg
# apt update

# apt install python3 python3-venv python3-pip python3-dev python3-setuptools libc6-dev rabbitmq-server gcc memcached
# apt install nwaf-mlc

# apt update && apt upgrade
# apt install apt-transport-https gnupg2 curl

# echo "deb [arch=amd64] https://nemesida-security.com/repo/nw/ubuntu focal non-free" > /etc/apt/sources.list.d/NemesidaWAF.list
# curl -s https://nemesida-security.com/repo/nw/gpg.key | gpg --no-default-keyring --keyring gnupg-ring:/etc/apt/trusted.gpg.d/trusted.gpg --import
# chmod 644 /etc/apt/trusted.gpg.d/trusted.gpg 
# apt update

# echo "deb [arch=amd64] https://nemesida-security.com/repo/nw/ubuntu jammy non-free" > /etc/apt/sources.list.d/NemesidaWAF.list
# curl -s https://nemesida-security.com/repo/nw/gpg.key | gpg --no-default-keyring --keyring gnupg-ring:/etc/apt/trusted.gpg.d/trusted.gpg --import
# chmod 644 /etc/apt/trusted.gpg.d/trusted.gpg 
# apt update

# apt install python3 python3-venv python3-pip python3-dev python3-setuptools libc6-dev rabbitmq-server gcc memcached
# apt install nwaf-mlc

# setenforce 0

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

[NemesidaWAF]
name=Nemesida WAF Packages for RHEL
baseurl=https://nemesida-security.com/repo/nw/rhel/$releasever/$basearch/
gpgkey=https://nemesida-security.com/repo/nw/gpg.key
enabled=1
gpgcheck=1

# systemctl enable rabbitmq-server
# service rabbitmq-server restart
# service rabbitmq-server status

# dnf update
# dnf install epel-release
# dnf config-manager --set-enabled powertools
# dnf install python39 python39-devel python39-setuptools python39-pip gcc memcached

# systemctl enable rabbitmq-server
# service rabbitmq-server restart
# service rabbitmq-server status

# dnf update
# dnf install epel-release
# dnf config-manager --set-enabled crb
# dnf install python3 python3-devel python3-setuptools python3-pip gcc memcached

# dnf install nwaf-mlc

В целях безопасности рекомендуется запретить внешние входящие соединения с сетевыми сервисами.

Предварительная настройка

Для корректной работы модуля Nemesida AI MLC требуется подключение к RabbitMQ, установленному на фильтрующей ноде. Для этого на сервере с фильтрующей нодой выполните следующие действия:

1. Разрешите обращения к RabbitMQ через веб-сервер Nginx. Для этого добавьте соответствующие записи в файл /etc/nginx/nginx.conf:

stream {
    server {
        listen 5673;
        proxy_pass 127.0.0.1:5672;
        allow x.x.x.x;
        deny all;
    }
}

где x.x.x.x — IP-адрес сервера, на котором установлен Nemesida AI MLC.

2. Выполните перезапуск Nginx:

# nginx -t && service nginx reload

3. Разрешите обращения с сервера, на котором установлен модуль Nemesida AI MLC, на сервер с фильтрующей нодой на порт 5673 (TCP).

Первичная настройка

После установки модуля необходимо произвести первичную настройку. Конфигурационный файл /opt/mlc/mlc.conf содержит перечень доступных параметров модуля Nemesida AI MLC, настройка которых невозможна с помощью Личного кабинета или API.

nwaf_license_key = 1234567890

sys_proxy=http://proxy.example.com:3128

sys_proxy=http://<user>:<password>@proxy.example.com:3128

api_proxy=http://proxy.example.com:3128

api_proxy http://<user>:<password>@proxy.example.com:3128

rmq_host = guest:guest@192.168.0.1:5673 guest:guest@192.168.0.2:5673

rmq_host = ssl://guest:guest@example.ru:5673

rmq_host_local = guest:guest@127.0.0.1

После внесения изменений выполните перезагрузку сервера или перезапуск сервиса и проверьте его работу:

# systemctl restart mlc_main rabbitmq-server memcached
# systemctl status mlc_main rabbitmq-server memcached

После выполнения первичной настройки модуля необходимо проверить наличие ошибок в журнале регистрации событий работы компонента /var/log/nwaf/mlc.log.

Управление настройками с помощью веб-приложения и API

Для управления настройками настройками Nemesida AI используйте Личный кабинет и API.

Дополнительная информация

Для коррректной работы компонента, на сервере располагаются следующие файлы и директории:

• /opt/mlc/mlc.conf — файл конфигурации, позволяющий выполнить первичную настройку компонента;
• /opt/mlc/ml/ — директория, которая содержит:
  • все созданные Nemesida AI MLC поведенческие модели (файлы .ml);
  • обучающие выборки на время создания поведенческой модели (файлы .db);
  • резервные копии обучающей выборки, используемые при переобучении поведенческой модели (директория backup);
  • запросы (файл mt.json), экспортированные через Личный кабинет;
  • файлы, используемые Nemesida AI MLC при автоматической генерации спецификаций в формате OpenAPI (файлы openapi_*.json).

Модуль Nemesida AI MLC поддерживает схему работы «точка-многоточка», когда один сервер с установленным модулем Nemesida AI MLC взаимодействует со множеством фильтрующих нод, в том числе с множеством виртуальных кластеров Немезида ВАФ. Для активации работы в таком режиме выполните настройки, представленные ниже.

Фильтрующая нода

На каждой из фильтрующих нод выполните следующие действия:

1. Разрешите обращения к RabbitMQ через веб-сервер Nginx. Для этого добавьте соответствующие записи в файл /etc/nginx/nginx.conf:

stream {
  server {
    listen 5673;
    proxy_pass 127.0.0.1:5672;
    allow x.x.x.x;
    deny all;
  }
}

где x.x.x.x — IP-адрес сервера, на котором установлен Nemesida AI MLC.

2. Выполните перезапуск Nginx:

# nginx -t && service nginx reload

3. Разрешите обращения с сервера, на котором установлен модуль Nemesida AI MLC, на сервер с фильтрующей нодой на порт 5673 (TCP).

Nemesida AI MLC

1. Переместите файл /opt/mlc/mlc.conf в каталог /opt/mlc/conf, переименуйте его (например, server-1.conf) и обновите настройки, включая настройки подключения к серверу RabbitMQ, расположенному на фильтрующей ноде:

...
rmq_host = guest:guest@x.x.x.x:5673
...

или (если используется более 1 фильтрующей ноды в виртуальном кластере Немезида ВАФ):

...
rmq_host = guest:guest@x.x.x.x:5673 guest:guest@y.y.y.y:5673
...

где x.x.x.x/y.y.y.y — IP-адреса фильтрующих нод.

2. Выполните перезапуск службы:

# systemctl restart mlc_main
# systemctl status mlc_main

После выполнения настройки необходимо проверить информацию об ошибках, которая содержится в журналах регистрации событий работы компонента для каждого сервера, например: /var/log/nwaf/server-1/mlc.log.