Page History

...

Запуск работы алгоритмов нейроаналитики на NVIDIA Nvidia GPU после перезагрузки Сервера может занимать несколько минут. В это время осуществляется оптимизация нейромоделей под конкретный тип используемого GPU.

...

Начиная с версии DetectorPack 3 3.11 9 в состав пакета нейроаналитики (см. Установка дополнительных пакетов DetectorPack) добавлена утилита, которая позволяет создавать GPU кэши сетей без использования ПК Интеллект X. Наличие кэша влияет на ускорение инициализации и оптимизирует потребление видеопамяти.

Оптимизация работы нейроаналитики на GPU

Для оптимизации работы нейроаналитики на GPU необходимо:

1. Остановить Сервер (см. Запуск и остановка Сервера ПК Интеллект X в ОС Linux).

   Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, необходимо остановить процесс его работы.

2. Войти под пользователем ngp:
   1. Ввести в терминале команду:
      

      Code Block
      language bash
      sudo su ngp

   2. Ввести пароль от суперпользователя root.
3. Создать папку с произвольным названием для расположения кэша. Например:
   

   Code Block
   language bash
   mkdir /opt/ITV/IntellectX/gpucache

4. Изменить права доступа к папке:
   

   Code Block
   language bash
   chmod -R 777 /opt/ITV/IntellectX/gpucache

5. Создать системную переменную GPU_CACHE:
   1. Открыть папку /opt/ITV/IntellectX:
      

      Code Block
      language bash
      cd /opt/ITV/IntellectX

   2. Открыть файл instance.conf для редактирования:
      

      Code Block
      language bash
      nano instance.conf

   3. Добавить в файл строку:
      

      Code Block
      language bash
      export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache"

   4. Сохранить файл с помощью сочетания клавиш Ctrl+O.
   5. Выйти из режима редактирования файла с помощью сочетания клавиш Ctrl+X.
   6. В терминале выполнить команду:
      

      Code Block
      language bash
      export GPU_CACHE_DIR="/opt/ITV/IntellectX/gpucache"

6. Перейти в папку /opt/ITV/DetectorPack:

   Code Block
   language bash
   cd /opt/ITV/DetectorPack

7. Выполнить команду:
   

   Code Block
   language bash
   ./NeuroPackGpuCacheGenerator

   Note
   title Внимание!
   Если доступно более одной Nvidia GPU Nvidia, будет предложен выбор GPU, который требуется указать в виде числа от 0 до 3 в соответствии с отображаемым списком устройств.

Оптимизация работы нейроаналитики на GPU завершена. Утилита создаст кэши 4 нейросетей, входящих в состав пакета нейроаналитики:

• GeneralNMHuman_v1.0GPU_onnx.ann – человек;
• smokeScanned_v1_onnx.ann – детекция дыма;
• fireScanned_v1_onnx.ann – детекция огня;
• reid_15_0_256__osnetfpn_segmentation_noise_20_common_29_onnx.ann – поиск похожих в нейротрекере (см. Поиск по изображениям).

...

Нейросети, для которых доступен режим квантования (см. Нейротрекер, Детектор остановившегося объекта, Нейросчетчик):

• GeneralNMCar_v1.0GPU_onnx.ann – Транспортное средство.
• GeneralNMHuman_v1.0GPU_onnx.ann – Человек.
• GeneralNMHumanTopView_v0.8GPU_onnx.ann – Человек (вид сверху).

Начиная с версии DetectorPack 3.11 добавлены нейросети:

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann – Человек и транспортное средство (Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann – Человек и транспортное средство (Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann – Человек и транспортное средство (Большая).

Начиная с версии DetectorPack 3.12 добавлены нейросети:

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann – Человек (вид сверху Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann – Человек (вид сверху Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann – Человек (Вид сверху (Большая).