Page History

Общие сведения

Запуск работы алгоритмов нейроаналитики на Nvidia GPU после перезагрузки Сервера сервера может занимать несколько минут. В это время осуществляется оптимизация нейромоделей под конкретный тип используемого GPU.

Для того чтобы эта операция выполнялась только единожды, можно использовать функцию кэширования. Она сохраняет результат оптимизации на жестком диске и использует его при последующих запусках аналитики.

Начиная с версии DetectorPack 3.9 в состав пакета нейроаналитики (см. Установка дополнительных пакетов DetectorPack) добавлена утилита, которая позволяет создавать GPU кэши сетей без использования ПК Интеллект X. Наличие кэша влияет на ускорение инициализации и оптимизирует потребление видеопамяти.

Оптимизация работы нейроаналитики на GPU

Для оптимизации работы нейроаналитики на GPU необходимо:

1. Остановить

Сервер

2. сервер (см.

 

3. Запуск и остановка Сервера ПК Интеллект X в ОС Linux).

   Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, необходимо остановить процесс его работы.

4. Войти под пользователем ngp:
   1. Ввести в терминале команду:
      

      Code Block
      language bash
      sudo su ngp

   2. Ввести пароль от суперпользователя
root
5. 1. .
6. Создать папку с произвольным названием для расположения кэша. Например:
   

   Code Block
   language bash
   mkdir /opt/ITV/IntellectX/gpucache

7. Изменить права доступа к папке:
   

   Code Block
   language bash
   chmod -R 777 /opt/ITV/IntellectX/gpucache

8. Перейти в папку /opt/ITV/IntellectX:
   

   Code Block
   language bash
   cd /opt/ITV/IntellectX

9. Открыть файл конфигурации сервера для редактирования:
   

   Code Block
   language bash
   nano instance.conf

   Note
   title Внимание!
   При использовании сервера в отказоустойчивом режиме (FailOver) необходимо: Открыть папку /etc/ITV: Code Block language bash cd /etc/ITV Открыть файл конфигурации сервера для редактирования: Code Block language bash nano intellect-x.conf Info title Внимание! Перед внесением изменений в файл intellect-x.conf рекомендуется ознакомиться с инструкцией на странице Создание системных переменных для сервера ПК Интеллект Х в отказоустойчивом режиме в ОС Linux. Добавить системную переменную GPU_CACHE_DIR в файл конфигурации, где в значении будет указан путь к папке для расположения кэша. Например: Code Block language bash export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache" Сохранить изменения в файле. Добавить системную переменную GPU_CACHE_DIR в файл /etc/profile. Code Block language bash export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache

Создать

10. " Выполнить команду. Code Block language bash source /etc/profile

11. Добавить системную переменную GPU_CACHE_DIR, где в значении будет указан путь к папке для расположения кэша
(см. Создание системных переменных для сервера ПК Интеллект Х в ОС Linux, 
12. . Например:
    

    Code Block
    language bash
    export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache"

13. Сохранить изменения в файле конфигурации с помощью сочетания клавиш Ctrl+O.
14. Выйти из режима редактирования файла с помощью сочетания клавиш Ctrl+X.
    

    Note
    title Внимание!
    При изменении конфигурации сервера (см. Изменение конфигурации Сервера Интеллект X в ОС Linux) или при обновлении на новую версию ПК Интеллект Х ранее добавленные в файл конфигурации instance.conf системные переменные будут удалены (см. Создание системных переменных для сервера ПК Интеллект Х в

отказоустойчивом режиме в

15. ОС Linux).

16. Выполнить команду в терминале, которая использовалась для добавления системной переменной с указанием пути к папке с кэшем. Например:
    

    Code Block
    language bash
    export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache"

17. Перейти в папку /opt/ITV/DetectorPack:

    Code Block
    language bash
    cd /opt/ITV/DetectorPack

18. Выполнить команду:
    

    Code Block
    language bash
    ./NeuroPackGpuCacheGenerator

    Note
    title Внимание!
    Если доступно более одной Nvidia GPU, будет предложен выбор GPU, который требуется указать в виде числа от 0 до 3 в соответствии с отображаемым списком устройств.

Оптимизация работы нейроаналитики на GPU завершена. Утилита создаст кэши 4 нейросетей, входящих в состав пакета нейроаналитики:

• GeneralNMHuman_v1.0GPU_onnx.ann – человек;
• smokeScanned_v1_onnx.ann (или bestSmoke_v1.ann, начиная с версии Detector Pack 3.14) – детекция дыма;
• fireScanned_v1_onnx.ann (или bestFire_v1.ann, начиная с версии Detector Pack 3.14) – детекция огня;
• reid_15_0_256__osnetfpn_segmentation_noise_20_common_29_onnx.ann – поиск похожих в нейротрекере (см. Поиск похожих образов).

Создание GPU кэшей нейросетей с использованием ключей

1. -p – ключ для создания кэша для определенной нейросети.
   Пример команды:

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator -p /opt/ITV/DetectorPack/NeuroSDK/GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann

2. -v – ключ для вывода лога процедуры в консоль в процессе формирования кэша.
   Пример команды для автоматического создания кэшей 4-х нейросетей, входящих в состав пакета нейроаналитики с выводом логов:
   

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator -v

3. --int8=1 – ключ для создания кэша для тех нейросетей, для которых доступна квантование. По умолчанию: --int8=0 – выключен.
   Пример команды:
   

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator -p /opt/ITV/DetectorPack/NeuroSDK/GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann --int8=1

   Note
   title Внимание!
   Нейросети, для которых доступен режим квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info

Нейросети, для которых доступен режим квантования (см. Нейротрекер, Детектор остановившегося объекта, Нейросчетчик):

• GeneralNMCar_v1.0GPU_onnx.ann – Транспортное средство.
• GeneralNMHuman_v1.0GPU_onnx.ann – Человек.
• GeneralNMHumanTopView_v0.8GPU_onnx.ann – Человек (вид сверху).

Начиная с версии DetectorPack 3.11 добавлены нейросети:

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann – Человек и транспортное средство (Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann – Человек и транспортное средство (Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann – Человек и транспортное средство (Большая).

Начиная с версии DetectorPack 3.12 добавлены нейросети:

• GeneralNMHumanTopView_Nano_v1.0_GPU_onnx.ann – Человек (вид сверху Нано).
• GeneralNMHumanTopView_Medium_v1.0_GPU_onnx.ann – Человек (вид сверху Средняя).
• GeneralNMHumanTopView_Large_v1.0_GPU_onnx.ann – Человек (вид сверху Большая).