Page History

Общие сведения

Запуск работы алгоритмов нейроаналитики на NVIDIA GPU после перезагрузки Сервера может занимать несколько минут. В это время осуществляется оптимизация нейромоделей под конкретный тип используемого GPU.

Для того чтобы эта операция выполнялась только единожды, можно использовать функцию использовать функцию кэширования. Она сохраняет результат оптимизации на жестком диске и использует его при последующих запусках аналитикинейроаналитики.

Начиная с версии DetectorPack 3.9 в состав пакета пакета нейроаналитики (см. Установка дополнительных пакетов Детектор Пак) добавлена утилита, которая позволяет создавать GPU кэши нейросетей без использования ПК Интеллект X. Наличие кэша влияет на ускорение инициализации и оптимизирует потребление видеопамяти.

Оптимизация работы нейроаналитики на GPU

Для оптимизации работы нейроаналитики на GPU необходимо:

1. Остановить Сервер (см. Завершение работы Сервера).

   Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, необходимо остановить процесс его работы.

2. Создать системную переменную GPU_CACHE_DIR (см. Приложение 9. Создание системных переменных), указав в поле Значение путь к расположению кэша с произвольным названием папки. Например, D:\GPU_cache. В указанной директории будет храниться кэш по всем используемым детекторам и нейросетям. Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа. Минимальный размер – 70 МБ.

   Note
   title Внимание!
   Если в значении системной переменной GPU_CACHE_DIR указанная существующая папка содержит символы кириллицы (например: D:\Кэш), необходимо убедиться, что в настройках региона во вкладке Дополнительно (1) параметр Текущий язык программ, не поддерживающих Юникод (2) имеет значение Русский (Россия) (3). Image Modified

Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа, минимальный размер 70 МБ.

Note
title Внимание!
Данная функция работает в экспериментальном режиме для всех детекторов, использующих нейроаналитику (см. Общие сведения о нейроаналитике), кроме детектора лиц. Для оптимизации работы детектора лиц с помощью системной переменной GPU_CACHE_DIR необходимо выполнить дополнительные действия (см. Оптимизация работы детектора лиц на GPU).

3. Запустить командную строку от имени администратора.
4. В командной строке ввести запрос
Для вызова утилиты открыть в командной строке:
5. C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator
.exe и нажать
6. .exe для вызова утилиты.

7. Нажать Enter.

8. Указать ID требуемой GPU Nvidia (см.
Общие сведения о
9. Выбор Nvidia GPU при настройке детекторов)
и нажать 
10. .
11. Нажать Enter.

Оптимизации Оптимизации работы нейроаналитики на GPU завершена. Утилита создаст кэши 4-х нейросетей, входящих в состав пакета нейроаналитики:

• GeneralNMHuman_v1.0GPU_onnx.ann – человек;
• smokeScanned_v1_onnx.ann – детекция дыма;
• fireScanned_v1_onnx.ann – детекция огня;
• reid_15_0_256__osnetfpn_segmentation_noise_20_common_29_onnx.ann – поиск похожих в нейротрекере (см. Поиск по изображениям).
  Image Modified

Создание GPU кэшей нейросетей с использованием ключей

...

1. -p – ключ для создания кэша для определенной нейросети.
   Пример команды:

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения нейросети>\Название_нейросети.ann"

   Для создания кэша для нескольких нейросетей необходимо перечислить пути к выбранным нейросетям через пробел.
   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения нейросети>\Название_нейросети.ann" "C:\Program Files\Common Files\ITV\DetectorPack\NeuroSDK\WaterLevelRuleNet_origin_onnx.ann"

2. -v – ключ для вывода лога процедуры в консоль в процессе формирования кэша.
   Пример команды для автоматического создания кэшей 4-х нейросетей, входящих в состав пакета нейроаналитики с выводом логов:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -v

   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения нейросети>\Название_нейросети.ann" -v

3. --int8=1 – ключ для создания

квантизированного варианта

4. кэша для тех нейросетей, для которых

доступна квантизация. По

5. доступно квантование. Нейросети, для которых доступен режим квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info. По умолчанию: --int8=0 – выключен.
   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe --int8=1

note

title	Внимание!

Нейросети, для которых доступен режим

...

квантования (см.

...

Нейротрекер, Детектор остановившегося объекта, Нейросчетчик):

• GeneralNMCar_v1.0GPU_onnx.ann –

...

• Транспортное средство.
• GeneralNMHuman_v1.0GPU_onnx.ann –

...

• Человек.
• GeneralNMHumanTopView_v0.8GPU_onnx.ann –

...

• Человек (вид сверху).

Начиная с

...

версии DetectorPack 3.11 добавлены нейросети:

...

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Большая).

Начиная с версии DetectorPack 3.12 добавлены нейросети:

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann – Человек (вид сверху Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann – Человек (вид сверху Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann – Человек (Вид сверху (Большая).