Page History

Общие сведения

Запуск работы алгоритмов нейроаналитики на NVIDIA Nvidia GPU после перезагрузки Сервера cервера может занимать несколько минут. В это время осуществляется оптимизация нейромоделей под конкретный тип используемого GPU.

Для того чтобы эта операция выполнялась только единожды, можно использовать функцию использовать функцию кэширования. Она сохраняет результат оптимизации на жестком диске и использует его при последующих запусках аналитикинейроаналитики.

Начиная с версии DetectorPack 3.9 в состав пакета Дополнение: пакет нейроаналитики (см. Установка дополнительных пакетов DetectorPack) добавлена утилита, которая позволяет создавать GPU кэши сетей нейросетей без использования ПК Интеллект X. Наличие кэша влияет на ускорение инициализации и оптимизирует потребление видеопамяти.

Оптимизация работы нейроаналитики на GPU

Для оптимизации работы нейроаналитики на GPU необходимо:

1. Остановить

Сервер

2. cервер (см.

 Завершение работы Сервера

3. Остановка сервера).

   Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, необходимо остановить процесс его работы.

4. В ОС Windows в Параметры → Настройки графики отключить параметр Планирование графического процессора с аппаратным ускорением. Данный параметр увеличивает нагрузку на сервер. 

5. Создать системную

переменную

6. переменную GPU_CACHE_DIR (см. 

Приложение 9.

7. Создание системных переменных), указав в поле Значение путь к расположению кэша с произвольным названием папки. Например, D:\GPU_cache. В указанной директории будет храниться кэш по всем используемым детекторам и нейросетям. Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа. Минимальный размер – 70 МБ.

   Note
   title Внимание!
   Если в значении системной переменной GPU_CACHE_DIR указанная существующая папка содержит символы кириллицы (например: D:\Кэш), необходимо убедиться, что в настройках региона во вкладке Дополнительно (1) параметр Текущий язык программ, не поддерживающих Юникод (2) имеет значение Русский (Россия) (3). Image Modified

Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа, минимальный размер 70 МБ.

Note
title Внимание!
Данная функция работает в экспериментальном режиме для всех детекторов, использующих нейроаналитику (см. Общие сведения о нейроаналитике), кроме детектора лиц. Для оптимизации работы детектора лиц с помощью системной переменной GPU_CACHE_DIR необходимо выполнить дополнительные действия (см. Оптимизация работы детектора лиц на GPU).

8. Запустить командную строку от имени администратора.
Для вызова утилиты открыть в командной строке:
9. В командной строке ввести запрос
10. C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe
и нажать
11.  для вызова утилиты.

12. Нажать Enter.

13. Указать ID требуемой Nvidia GPU (см.
Общие сведения о
14. Выбор Nvidia GPU при настройке детекторов)
и нажать 
15. .
16. Нажать Enter.

Оптимизации Оптимизации работы нейроаналитики на GPU завершена. Утилита создаст кэши 4-х сетейнейросетей, входящих в состав пакета Дополнение: пакет нейроаналитики:

• GeneralNMHuman_v1.0GPU_onnx.ann
– человек
• (или GeneralNMHuman_v1.0_onnx.ann, начиная с версии Detector Pack 3.16) – Человек;
• smokeScanned_v1_onnx.ann (или bestSmoke_v1.ann, начиная с версии Detector Pack 3.14) – детекция дыма;
• fireScanned_v1_onnx.ann (или bestFire_v1.ann, начиная с версии Detector Pack 3.14) – детекция огня;
• reid_15_0_256__osnetfpn_segmentation_noise_20_common_29_onnx.ann – поиск похожих в нейротрекере (см. Поиск
по изображениям
• похожих образов).
Image Removed

Создание GPU кэшей

...

нейросетей с использованием ключей

...

1. -p – ключ для создания кэша для определенной

сети

2. нейросети.
   Пример команды:

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения

сети>

3. нейросети>\Название_

сети

4. нейросети.ann"

   Для создания кэша для нескольких

сетей

5. нейросетей необходимо перечислить пути к выбранным

сетям

6. нейросетям через пробел.
   Пример команды:
   

   Code Block
   C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения

сети>

7. нейросети>\Название_

сети

8. нейросети.ann" "C:\Program Files\Common Files\ITV\DetectorPack\NeuroSDK\WaterLevelRuleNet_origin_onnx.ann"

9. -v – ключ для вывода лога процедуры в консоль в процессе формирования кэша.
   Пример команды для автоматического создания кэшей 4-х

сетей

10. нейросетей, входящих в состав

пакета

11. Дополнение: пакет нейроаналитики с выводом логов:
    

    Code Block
    C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -v

    Пример команды:
    

    Code Block
    C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -p "<Системный диск>\<Директория расположения

сети>

12. нейросети>\Название_

сети

13. нейросети.ann" -v

14. --int8=1 – ключ для создания

квантизированного варианта

15. кэша для тех

сетей

16. нейросетей, для которых доступно квантование. Нейросети, для которых

доступна квантизация

17. доступен режим квантования, входят в состав Дополнение: пакет нейроаналитики вместе с одноименным файлом *.info. По умолчанию: --int8=0 – выключен.
    Пример команды:
    

    Code Block
    C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe --int8=1

Note
title Внимание!
Сети, для которых доступен режим квантизации, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info

Сети
18. -f – ключ для сохранения логов процедуры кэширования в файлы. Доступен с версии DetectorPack 3.15. При совместном использовании ключей -v и -f логи по каждому созданному кэшу сохраняются в: <Путь к папке с кэшем, созданной для системной переменной GPU_CACHE_DIR>\caching-utility-log. Для каждой нейросети создается отдельный файл лога. Файлы логов, созданные при предыдущих запусках утилиты, удаляются.
    

    Пример команды для создания кэша с подробным логированием в консоль и сохранением логов в файлы:
    

    Code Block
    C:\Program Files\Common Files\ITV\DetectorPack\NeuroPackGpuCacheGenerator.exe -v -f

Нейросети, для которых доступен режим

...

квантования (см.

...

Нейротрекер, Детектор остановившегося объекта, Нейросчетчик):

• GeneralNMCar_v1.0GPU_onnx.ann (или GeneralNMCar_v1.0_onnx.ann

...

• , начиная с версии Detector Pack 3.16) – Транспортное средство.
• GeneralNMHuman_v1.0GPU_onnx.ann

...

• (или GeneralNMHuman_v1.0_onnx.ann, начиная с версии Detector Pack 3.16) – Человек.
• GeneralNMHumanTopView_v0.8GPU_onnx.ann

...

• (или GeneralNMHumanTopView_v0.8_onnx.ann, начиная с версии Detector Pack 3.16)– Человек (вид сверху).

Начиная с

...

версии DetectorPack 3.11 добавлены

...

нейросети:

...

• GeneralNMHumanAndVehicle_Nano_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Нано).
• GeneralNMHumanAndVehicle_Medium_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Средняя).
• GeneralNMHumanAndVehicle_Large_v1.0_GPU_onnx.ann –
человек
• Человек и транспортное средство (Большая).

Начиная с версии DetectorPack 3.12 добавлены нейросети:

• GeneralNMHumanTopView_Nano_v1.0_GPU_onnx.ann – Человек (вид сверху Нано).
• GeneralNMHumanTopView_Medium_v1.0_GPU_onnx.ann – Человек (вид сверху Средняя).
• GeneralNMHumanTopView_Large_v1.0_GPU_onnx.ann – Человек (вид сверху Большая).