Утилита Генератор кэша GPU

Установка утилиты

Утилита Генератор кэша GPU предназначена для предварительного создания кэша нейросетей, используемых в работе детекторов.

Для установки утилиты нужно:

1. Скачать файл утилиты с официального сайта компании ITV.
2. Запустить скачанный файл от имени администратора системы.
3. В открывшемся окне установки нажать на кнопку Далее.
   
4. Нажать на кнопку Установить.
   
5. Дождаться окончания процесса установки утилиты. После установки будет выведено новое диалоговое окно с сообщением о завершении установки утилиты.
   
   
6. По умолчанию после завершения установки откроется окно утилиты. Если не требуется запускать утилиту после завершения установки, нужно снять флажок Запустить утилиту генерации кэша GPU.
7. Если необходимо ознакомиться с документацией по работе с утилитой Генератор кэша GPU, нужно установить флажок Открыть руководство пользователя. По умолчанию флажок снят.
8. Нажать на кнопку Готово для подтверждения завершения работы программы установки.

Установка утилиты Генератор кэша GPU завершена.

Интерфейс утилиты и подготовка к работе

При запуске утилиты появится окно с требованием: Внимание. Пожалуйста, остановите сервер VMS и другие службы, использующие ресурсы GPU.

Для подтверждения остановки всех приложений, использующих GPU, нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU. В результате отобразится основное окно утилиты, которое разделено на две взаимосвязанные области:

• Детекторы — список доступных детекторов.
• Нейронные сети — список нейросетей, для которых можно сгенерировать кэш.
  

Элементы в этих областях связаны: выбор детектора в левой части автоматически отображает связанные с ним нейросети справа, и наоборот. В таблице представлен перечень детекторов и связанных с ними нейросетей:

Генерация кэша

Для генерации кэша нужно:

1. Остановить сервер (см. Остановка сервера).
   

   Внимание!

   • Если в системе используется ПО, работающее на GPU, нужно остановить процесс его работы.
   • При запуске утилиты откроется окно с требованием: Внимание. Пожалуйста, остановите сервер VMS и другие службы, использующие ресурсы GPU. Это критически важное требование для обеспечения максимальной эффективности процесса создания кэша. Если сервер и службы не будут остановлены, утилита может продолжить работу, но результат кэширования будет менее эффективным, а процесс — более медленным, из-за конкуренции за ресурсы GPU. Для подтверждения остановки всех приложений, использующих GPU, нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU.
     

2. В основное окно утилиты, которое разделено на две взаимосвязанные области:

   • Детекторы — список доступных детекторов.
   • Нейронные сети — список нейросетей, для которых можно сгенерировать кэш.
     

   установить флажки  напротив детекторов/нейросетей, для которых требуется создать кэш. Элементы в этих областях связаны: выбор детектора в левой части автоматически отображает связанные с ним нейросети справа, и наоборот.

   
   В таблице представлен перечень детекторов и связанных с ними нейросетей:
   

   Детектор	Нейросеть
   Детектор штрихкодов	GeneralNM barcodes
   Детектор экипировки (СИЗ)	Ppe helmet (head) general Ppe safety vest (body) general Ppe segmentation by pose origin
   Детектор огня	Best fire v1 (Обычный режим) Fire scanned v1 (Режим сканирования)
   Мета-детектор	Blip img only Blip text only
   Нейросчетчик или Детектор остановившегося объекта	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8
   Нейротрекер	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8 Dpe 1638 light pa 100 k (Распознавание атрибутов) Reid 15 0 256 osnetfpn segmentation noise 20 common 29 (Поиск похожих)
   Детектор позы	General human pose estimation General human pose estimation yolov8 large General human pose estimation yolov8 medium General human pose estimation yolov8 nano
   Маска конфиденциальности на основе человека	General human pose estimation
   Маска приватности	Privacy masking origin
   Детектор дыма	Best smoke v1 (Обычный режим) Smoke scanned v1 (Режим сканирования)
   Детектор уровня воды	Water level rule net origin
   Пользовательские нейронные сети	Позволяет сгенерировать кэш пользовательской нейросети, при условии, что данная нейросеть может быть запущена на GPU

   
   
3. Нажать на кнопку в нижней правой части окна. 
4. Настроить параметры генерации кэша, которые указаны в таблице:
   

   Параметр	Значение	Описание
   Графические процессоры для выполнения операций
   		Внимание! Генерация кэша поддерживается только для видеокарт NVIDIA, так как технология TensorRT не поддерживает другие видеокарты. Установить флажок напротив видеокарты, для которой будет создан кэш
   Дополнительные параметры
   Выполнять калибровку int 8		Внимание! Данный параметр доступен только для нейросетей, для которых доступен режим квантования, и которые входят в состав пакета нейроаналитики вместе с одноименным файлом *.info. Если в предыдущем окне были выбраны нейронные сети, для которых режим квантования недоступен, то для них кэш сгенерирован не будет. По умолчанию флажок снят. Для включения режима квантования Int8 для нейросети нужно установить флажок
   Подробный режим ведения журнала		По умолчанию флажок снят. Для включения логирования процесса инициализации и генерации кэша нужно установить флажок Примечание Включение параметра предоставляет детальную информацию о процессе генерации кэша, увеличивает объем логов и может замедлить процесс генерации. Логи для каждой нейронной сети сохраняются в отдельном файле в директории C:\Пользователи\<имя_пользователя>\.gpuCacheGenerator\logs. Предыдущие логи автоматически удаляются при каждом новом запуске утилиты.
   Кэш будет сохранен в каталог:		Выбрать директорию, в которой будет храниться кэш по всем используемым детекторам и нейросетям. Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа. Минимальный размер – 70 МБ. Внимание! Если в значении системной переменной GPU_CACHE_DIR указанная существующая папка содержит символы кириллицы (например: D:\Кэш), необходимо убедиться, что в настройках региона во вкладке Дополнительно параметр Текущий язык программ, не поддерживающих Юникод имеет значение Русский (Россия). Примечание Если системная переменная GPU_CACHE_DIR не задана, кэш будет сохранен по умолчанию в директории: C:\Пользователи\<имя_пользователя>\.gpuCacheGenerator\ (см. Приложение 9. Создание системных переменных). Если переменная GPU_CACHE_DIR задана, кэш будет сохранен по указанному в ней пути. При выборе директории кэша через утилиту значение переменной GPU_CACHE_DIR будет обновлено на выбранный путь.

5. Нажать на кнопку  в нижней правой части окна для перехода к генерации кэша для всех выбранных нейросетей. Если выбрано несколько нейросетей, они будут обработаны последовательно. 
   Для каждой нейросети отображается текущий статус выполнения. Возможные статусы:
   • готово (строка выделяется зеленой рамкой),
   • в процессе,
   • в очереди,
   • ошибка (строка выделяется красной рамкой).
6. После окончания процесса генерации нажать на кнопку  в нижней правой части окна.

Генерация кэша завершена. Созданные файлы доступны для использования детекторами.