Page History

Общие сведения

Запуск работы алгоритмов нейроаналитики на NVIDIA GPU после перезагрузки Сервера может занимать несколько минут. В это время осуществляется оптимизация нейромоделей под конкретный тип используемого GPU.

Для того чтобы эта операция выполнялась только единожды, можно использовать функцию кэширования. Она сохраняет результат оптимизации на жестком диске и использует его при последующих запусках аналитики.

Начиная с версии версии DetectorPack 3 3.11 в состав пакета пакета нейроаналитики (см. Установка дополнительных пакетов DetectorPackДетектор Пак) добавлена утилита, которая  которая позволяет создавать GPU кэши сетей без использования ПК ПК Интеллект X. Наличие кэша влияет на ускорение инициализации и оптимизирует потребление видеопамяти.

Оптимизация работы нейроаналитики на GPU

Для оптимизации работы нейроаналитики на GPU необходимо:

1. Остановить Сервер (см. Запуск и остановка Сервера ПК Интеллект X в ОС Linux).

   Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, необходимо остановить процесс его работы.

2. Войти под
суперпользователем root
3. пользователем ngp:
   1. Ввести в терминале команду:
      

      Code Block
      language bash
      sudo su

-i

4. 1. ngp

   2. Ввести пароль от суперпользователя root.
5. Создать
папку с
6. папку с произвольным названием для расположения кэша. Например:
   

   Code Block
   language bash
   mkdir /opt/ITV/IntellectX/gpucache

7. Изменить права доступа к папке:
   

   Code Block
   language bash
   chmod -R 777 /opt/ITV/IntellectX/gpucache

8. Создать системную переменную GPU_CACHE:
   1. Открыть папку /opt/ITV/IntellectX:
      

      Code Block
      language bash
      cd /opt/ITV/IntellectX

   2. Открыть файл instance.conf для редактирования:
      

      Code Block
      language bash
      nano instance.conf

   3. Добавить в файл строку:
      

      Code Block
      language bash
      export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache"

   4. Сохранить файл с помощью сочетания клавиш Ctrl+O.
   5. Выйти из режима редактирования файла с помощью сочетания клавиш Ctrl+X.
   6. В терминале выполнить команду:
      

      Code Block
      language bash
      export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache"

9. Перейти в папку /opt/ITV/DetectorPack:

   Code Block
   language bash
   cd /opt/ITV/DetectorPack

10. Выполнить команду:
    

    Code Block
    language bash
    ./NeuroPackGpuCacheGenerator

    Note
    title Внимание!
    Если доступно более одной GPU Nvidia, будет предложен выбор GPU, который требуется указать в виде числа от 0 до 3 в соответствии с отображаемым списком устройств.

Оптимизация Оптимизация работы нейроаналитики на GPU завершенаGPU завершена. Утилита создаст кэши 4 нейросетей, входящих в состав пакета нейроаналитики:

• GeneralNMHuman_v1.0GPU_onnx.ann
– 
• – человек;
• smokeScanned_v1_onnx.ann – детекция дыма;
• fireScanned_v1_onnx.ann – детекция огня;
• reid_15_0_256__osnetfpn_segmentation_noise_20_common_29_onnx.ann
– 
• – поиск похожих в нейротрекере (см. Поиск по изображениям).

Создание GPU кэшей нейросетей с использованием ключей

...

1. -

p 

2. p – ключ для создания кэша для определенной нейросети.
   Пример команды:

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator -p /opt/ITV/DetectorPack/NeuroSDK/GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann

3. -v

 –

4.  – ключ для вывода лога процедуры в консоль в процессе формирования кэша.
   Пример команды для автоматического создания кэшей 4-х нейросетей, входящих в состав пакета нейроаналитики с выводом логов:
   

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator -v

5. --int8=1 – ключ для создания

квантизированного варианта

6. кэша для тех нейросетей, для которых доступна

квантизация

7. квантование. По умолчанию:

 

8. --int8=0 – выключен.
   Пример команды:
   

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator -p /opt/ITV/DetectorPack/NeuroSDK/GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann --int8=1

   Note
   title Внимание!
   Нейросети, для которых доступен режим

квантизации

9. квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info

Нейросети, для которых доступен режим

...

квантования (см.

...

Нейротрекер, Детектор остановившегося объекта, Нейросчетчик):

• GeneralNMCar_v1.0GPU_onnx.ann –

...

• Транспортное средство.
• GeneralNMHuman_v1.0GPU_onnx.ann

...

• – Человек.
• GeneralNMHumanTopView_v0.8GPU_onnx.ann

...

• – Человек (вид сверху).

Начиная с версии версии DetectorPack  3.11 добавлены нейросети:  

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Большая).

Начиная с версии DetectorPack 3.12 добавлены нейросети:

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann – Человек (вид сверху Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann – Человек (вид сверху Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann – Человек (Вид сверху (Большая).