Утилита GPU Cache Generator

Установка утилиты

Утилита GPU Cache Generator предназначена для предварительного создания кэша нейросетей, используемых в работе детекторов.

Для установки утилиты нужно:

1. Скачать файл утилиты с официального сайта компании ITV.
2. Запустить скачанный файл.
3. В появившемся окне установки нажать на кнопку Next.
   
4. Нажать на кнопку Install.
   
5. Подтвердить выполнение установки от имени администратора.
6. Дождаться окончания процесса установки утилиты.
   
   После установки будет выведено новое диалоговое окно с сообщением о завершении установки утилиты.
7. Нажать на кнопку Finish для подтверждения завершения работы программы установки.

   Примечание

   По умолчанию после завершения установки откроется окно утилиты. Если не требуется запускать утилиту после завершения установки, нужно снять флажок Launch the GPU cache generator.

   

Установка утилиты завершена.

Интерфейс утилиты

При запуске утилиты отобразится окно с просьбой остановить сервер VMS и другие службы, использующие ресурсы GPU. Это требуется для корректного создания оптимального кэша. Если сервер VMS и связанные службы не будут остановлены, утилита может продолжить работу, однако в этом случае результат кэширования может быть менее эффективным.

Для отображения основного интерфейса утилиты нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU.

В результате отобразится основное окно утилиты, которое разделено на две области:

• В левой части отображается список доступных детекторов.
• В правой части отображается общий список нейросетей, для которых можно генерировать кэш.

При выборе конкретного детектора, в правой части автоматически отобразятся все нейросети, связанные с выбранным детектором. А при выборе конкретной нейросети, в левой части будет автоматически выделен соответствующий детектор.

В таблице представлено соответствие детекторов и нейросетей:

Генерация кэша

Для генерации кэша нужно:

1. В правой части основного окна утилиты установить флажки напротив нейросетей, для которых требуется создать кэш.
2. Нажать на кнопку в нижней правой части окна для перехода к настройкам генерации кэша. 
3. В появившемся окне установить флажок напротив видеокарты, для которой будет создан кэш.
   

   Внимание!

   Генерация кэша поддерживается только для видеокарт NVIDIA, так как технология TensorRT не поддерживает другие видеокарты.

4. Настроить параметры генерации кэша, которые указаны в таблице:
   

   Параметр	Значение	Описание
   Выполнять калибровку int8		Внимание! Данный параметр доступен только для нейросетей с соответствующим файлом *.info. По умолчанию флажок снят. Для включения режима квантования Int8 для нейросети нужно установить флажок. Нейросети, для которых доступен режим квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info
   Подробный режим ведения журнала		По умолчанию флажок снят. Для включения логирования процесса инициализации и генерации кэша нужно установить флажок. Включение параметра предоставляет детальную информацию о процессе генерации кэша, но увеличивает объем логов и может замедлить процесс генерации Примечание Логи сохраняются в директории C:\Users\<имя_пользователя>\.gpuCacheGenerator\logs. Предыдущие логи автоматически удаляются при каждом новом запуске утилиты.
   Кэш будет сохранен в каталог	D:\ITVGPU	Указать директорию хранения кэша Примечание Если системная переменная GPU_CACHE_DIR не задана, кэш будет сохранен по умолчанию в директории: C:\Users\<имя_пользователя>\.gpuCacheGenerator\ (см. Приложение 9. Создание системных переменных). Если переменная GPU_CACHE_DIR задана, кэш будет сохранен по указанному в ней пути. При выборе директории кэша через утилиту значение переменной GPU_CACHE_DIR будет обновлено на выбранный путь.

5. Нажать на кнопку  в нижней правой части окна для перехода к генерации кэша для всех выбранных нейросетей.
   

   Примечание

   • Если выбрано несколько нейросетей, они будут обработаны последовательно.
   • Для каждой нейросети отображается текущий статус выполнения.
6. Дождаться окончания процесса генерации. При успешной генерации кэша созданные файлы станут доступны для использования детекторами.

Генерация кэша завершена.