View Source

Установка утилиты

Утилита GPU Cache Generator предназначена для предварительного создания кэша нейросетей, используемых в работе детекторов.

Для установки утилиты нужно:

Скачать файл утилиты с официального сайта компании ITV.
Запустить скачанный файл.
В появившемся окне установки нажать на кнопку Next.
Нажать на кнопку Install.
Подтвердить выполнение установки от имени администратора.
Дождаться окончания процесса установки утилиты.

После установки будет выведено новое диалоговое окно с сообщением о завершении установки утилиты.

Нажать на кнопку Finish для подтверждения завершения работы программы установки.

По умолчанию после завершения установки откроется окно утилиты. Если не требуется запускать утилиту после завершения установки, нужно снять флажок Launch the GPU cache generator.

Интеллект X 5.0 > Утилита Генератор кэша GPU > 4.jpg

Установка утилиты завершена.

Интерфейс утилиты

При запуске утилиты отобразится окно с просьбой остановить сервер VMS и другие службы, использующие ресурсы GPU. Это требуется для корректного создания оптимального кэша. Если сервер VMS и связанные службы не будут остановлены, утилита может продолжить работу, однако в этом случае результат кэширования может быть менее эффективным.

Интеллект X 5.0 > Утилита Генератор кэша GPU > 5.jpg

Для отображения основного интерфейса утилиты нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU.

В результате отобразится основное окно утилиты, которое разделено на две области:

В левой части отображается список доступных детекторов.
В правой части отображается общий список нейросетей, для которых можно генерировать кэш.

Интеллект X 5.0 > Утилита Генератор кэша GPU > 6.jpg

При выборе конкретного детектора, в правой части автоматически отобразятся все нейросети, связанные с выбранным детектором. А при выборе конкретной нейросети, в левой части будет автоматически выделен соответствующий детектор.

В таблице представлено соответствие детекторов и нейросетей:

Детектор	Нейросеть
Детектор штрихкодов	GeneralNM barcodes
Детектор экипировки (СИЗ)	Ppe helmet (head) general Ppe safety vest (body) general Ppe segmentation by pose origin
Детектор огня	Fire scanned v1
Мета-детектор	Blip img only Blip text only
Нейросчетчик или Детектор остановившегося объекта	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8
Нейротрекер	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8 Dpe 1638 light pa 100 k (Person attribuetes recognition) Reid 15 0 256 osnetfpn segmentation noise 20 common 29 (Similitude)
Детектор позы	General human pose estimation General human pose estimation yolov8 large General human pose estimation yolov8 medium General human pose estimation yolov8 nano
Маска конфиденциальности на основе человека	General human pose estimation
Маска приватности	Privacy masking origin
Детектор дыма	Smoke scanned v1
Детектор уровня воды	Water level rule net origin
Пользовательские нейронные сети	Позволяет сгенерировать кэш пользовательской нейросети, при условии, что данная нейросеть может быть запущена на GPU

Генерация кэша

Для генерации кэша нужно:

В правой части основного окна утилиты установить флажки напротив нейросетей, для которых требуется создать кэш.
Нажать на кнопку в нижней правой части окна для перехода к настройкам генерации кэша.

В появившемся окне установить флажок напротив видеокарты, для которой будет создан кэш.

Генерация кэша поддерживается только для видеокарт NVIDIA, так как технология TensorRT не поддерживает другие видеокарты.

Настроить параметры генерации кэша, которые указаны в таблице:

Параметр

Значение

Описание

Выполнять калибровку int8

Данный параметр доступен только для нейросетей с соответствующим файлом *.info.

По умолчанию флажок снят. Для включения режима квантования Int8 для нейросети нужно установить флажок. Нейросети, для которых доступен режим квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info

Подробный режим ведения журнала

По умолчанию флажок снят. Для включения логирования процесса инициализации и генерации кэша нужно установить флажок. Включение параметра предоставляет детальную информацию о процессе генерации кэша, но увеличивает объем логов и может замедлить процесс генерации

Логи сохраняются в директории C:\Users\<имя_пользователя>\.gpuCacheGenerator\logs.
Предыдущие логи автоматически удаляются при каждом новом запуске утилиты.

Кэш будет сохранен в каталог

D:\ITVGPU

Указать директорию хранения кэша

Если системная переменная GPU_CACHE_DIR не задана, кэш будет сохранен по умолчанию в директории: C:\Users\<имя_пользователя>\.gpuCacheGenerator\ (см. Приложение 9. Создание системных переменных).
Если переменная GPU_CACHE_DIR задана, кэш будет сохранен по указанному в ней пути.
При выборе директории кэша через утилиту значение переменной GPU_CACHE_DIR будет обновлено на выбранный путь.

Нажать на кнопку

Интеллект X 5.0 > Утилита Генератор кэша GPU > 7.jpg

в нижней правой части окна для перехода к генерации кэша для всех выбранных нейросетей.

Если выбрано несколько нейросетей, они будут обработаны последовательно.
Для каждой нейросети отображается текущий статус выполнения.

Дождаться окончания процесса генерации. При успешной генерации кэша созданные файлы станут доступны для использования детекторами.

Генерация кэша завершена.

При повторной генерации кэша для конкретной нейросети система попытается использовать уже существующий кэш. Если кэш отсутствует или повреждён, будет создан новый файл.