Page History

Общие сведения

Запуск работы алгоритмов нейроаналитики на NVIDIA Nvidia GPU после перезагрузки Сервера cервера может занимать несколько минут. В это время осуществляется оптимизация нейромоделей под конкретный тип используемого GPU.

Для того чтобы эта операция выполнялась только единожды, можно использовать функцию кэширования. Она сохраняет результат оптимизации на жестком диске и использует его при последующих запусках нейроаналитики.

Начиная с версии DetectorPack 3.9 в состав пакета Дополнение: пакет нейроаналитики (см. Установка дополнительных пакетов DetectorPack) добавлена утилита, которая позволяет создавать GPU кэши нейросетей без использования ПК Интеллект X. Наличие кэша влияет на ускорение инициализации и оптимизирует потребление видеопамяти.

...

Оптимизация работы нейроаналитики на GPU

...

Данная функция работает в экспериментальном режиме для всех детекторов, использующих нейроаналитику (см. Общие сведения о нейроаналитике), кроме детекторов лиц. Для оптимизации работы детекторов лиц с помощью системной переменной GPU_CACHE_DIR необходимо выполнить дополнительные действия:

на GPU

...

...

Для оптимизации работы нейроаналитики на GPU необходимо:

1. Остановить

Сервер

2. cервер (см.

 Завершение работы Сервера

3. Остановка сервера).

   Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, необходимо остановить процесс его работы.

4. В ОС Windows в Параметры → Настройки графики отключить параметр Планирование графического процессора с аппаратным ускорением. Данный параметр увеличивает нагрузку на сервер. 

5. Создать системную

переменную

6. переменную GPU_CACHE_DIR (см. 

Приложение 9.

7. Создание системных переменных), указав в поле Значение путь к расположению кэша с произвольным названием папки. Например, D:\GPU_cache. В указанной директории будет храниться кэш по всем используемым детекторам и нейросетям. Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа. Минимальный размер – 70 МБ.

   Note
   title Внимание!
   Если в значении системной переменной GPU_CACHE_DIR указанная существующая папка содержит символы кириллицы (например: D:\Кэш), необходимо убедиться, что в настройках региона во вкладке Дополнительно (1) параметр Текущий язык программ, не поддерживающих Юникод (2) имеет значение Русский (Россия) (3). Image Modified

8. Запустить командную строку от имени администратора.
9. В командной строке ввести запрос C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.
exe для
10. exe для вызова утилиты.

11. Нажать Enter.

12. Указать ID требуемой Nvidia GPU (см. Выбор Nvidia GPU при настройке детекторов).
13. Нажать Enter.

Оптимизации работы нейроаналитики на GPU завершена. Утилита создаст кэши 4-х нейросетей, входящих в состав пакета Дополнение: пакет нейроаналитики:

• GeneralNMHuman_v1.0GPU_onnx.ann
– человек
• (или GeneralNMHuman_v1.0_onnx.ann, начиная с версии Detector Pack 3.16) – Человек;
• smokeScanned_v1_onnx.ann (или bestSmoke_v1.ann, начиная с версии Detector Pack 3.14) – детекция дыма;
• fireScanned_v1_onnx.ann (или bestFire_v1.ann, начиная с версии Detector Pack 3.14) – детекция огня;
• reid_15_0_256__osnetfpn_segmentation_noise_20_common_29_onnx.ann – поиск похожих в нейротрекере (см. Поиск
по изображениям
• похожих образов).

Note
title Внимание!
Требуется повторное создание кэша при: обновлении пакета нейроаналитики  Дополнение: пакет нейроаналитики (см.   Установка дополнительных пакетов DetectorPack),  замене замене модели Nvidia Nvidia GPU, обновлении драйверов Nvidia GPU.

Создание GPU кэшей нейросетей с использованием ключей

1. -p – ключ для создания кэша для определенной нейросети.
   Пример команды:

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения нейросети>\Название_нейросети.ann"

   Для создания кэша для нескольких нейросетей необходимо перечислить пути к выбранным нейросетям через пробел.
   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения нейросети>\Название_нейросети.ann" "C:\Program Files\Common Files\ITV\DetectorPack\NeuroSDK\WaterLevelRuleNet_origin_onnx.ann"

2. -v – ключ для вывода лога процедуры в консоль в процессе формирования кэша.
   Пример команды для автоматического создания кэшей 4-х нейросетей, входящих в состав

пакета

3. Дополнение: пакет нейроаналитики с выводом логов:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -v

   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения нейросети>\Название_нейросети.ann" -v

4. --int8=1 – ключ для создания кэша для тех нейросетей, для которых доступно квантование. Нейросети, для которых доступен режим квантования, входят в состав

пакета

5. Дополнение: пакет нейроаналитики вместе с одноименным файлом *.info. По умолчанию: --int8=0 – выключен.
   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe --int8=1

6. -f – ключ для сохранения логов процедуры кэширования в файлы. Доступен с версии DetectorPack 3.15. При совместном использовании ключей -v и -f логи по каждому созданному кэшу сохраняются в: <Путь к папке с кэшем, созданной для системной переменной GPU_CACHE_DIR>\caching-utility-log. Для каждой нейросети создается отдельный файл лога. Файлы логов, созданные при предыдущих запусках утилиты, удаляются.
   

   Пример команды для создания кэша с подробным логированием в консоль и сохранением логов в файлы:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -v -f

Нейросети, для которых доступен режим квантования (см. Нейротрекер, Детектор остановившегося объекта, Нейросчетчик):

• GeneralNMCar_v1.0GPU_onnx.ann (или GeneralNMCar_v1.0_onnx.ann, начиная с версии Detector Pack 3.16) – Транспортное средство.
• GeneralNMHuman_v1.0GPU_onnx.ann (или GeneralNMHuman_v1.0_onnx.ann, начиная с версии Detector Pack 3.16) – Человек.
• GeneralNMHumanTopView_v0.8GPU_onnx.ann (или GeneralNMHumanTopView_v0.8_onnx.ann, начиная с версии Detector Pack 3.16)– Человек (вид сверху).

Начиная с версии DetectorPack 3.11 добавлены нейросети:

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann – Человек и транспортное средство (Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann – Человек и транспортное средство (Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann – Человек и транспортное средство (Большая).

Начиная с версии DetectorPack 3.12 добавлены нейросети:

• GeneralNMHumanAndVehicleGeneralNMHumanTopView_Nano_v1.0_GPU_onnx.ann – Человек (вид сверху Нано).
• GeneralNMHumanAndVehicleGeneralNMHumanTopView_Medium_v1.0_GPU_onnx.ann – Человек (вид сверху Средняя).
• GeneralNMHumanAndVehicleGeneralNMHumanTopView_Large_v1.0_GPU_onnx.ann – Человек (Вид вид сверху ( Большая).