Page History

Установка утилиты

Утилита Генератор кэша GPU Cache Generator предназначена для предварительного создания кэша нейросетей, используемых в работе детекторов.

...

1. Скачать файл утилиты с официального сайта компании ITV.
2. Запустить скачанный файл от имени администратора системы.
3. В появившемся открывшемся окне установки нажать на кнопку Next Далее.
   
4. Нажать на кнопку Install Установить.
   
Подтвердить выполнение установки от имени администратора.
6. Дождаться окончания процесса установки утилиты.
   Image Removed
   После установки будет выведено новое диалоговое окно с сообщением о завершении установки утилиты.
   
Нажать на кнопку Finish для подтверждения завершения работы программы установки.
7. Image Added
   
Info

title	Примечание

8. По умолчанию после завершения установки откроется окно утилиты. Если не требуется запускать утилиту после завершения установки, нужно снять флажок
Launch the GPU cache generator.Image Removed

Установка утилиты завершена.

Интерфейс утилиты

...

1. Запустить утилиту генерации кэша GPU.
2. Если необходимо ознакомиться с документацией по работе с утилитой Генератор кэша GPU, нужно установить флажок Открыть руководство пользователя. По умолчанию флажок снят.
3. Нажать на кнопку Готово для подтверждения завершения работы программы установки.

Установка утилиты Генератор кэша GPU завершена.

Интерфейс утилиты и подготовка к работе

При запуске утилиты появится окно с требованием: Внимание. Пожалуйста, остановите сервер VMS и другие службы, использующие ресурсы GPU.

...

...

...

...

...

...

...

Для подтверждения остановки всех приложений, использующих GPU,

...

Image Removed

Для отображения основного интерфейса утилиты нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU. В результате отобразится основное окно утилиты, которое разделено на две взаимосвязанные области:

• В левой части отображается Детекторы — список доступных детекторов.
• В правой части отображается общий Нейронные сети — список нейросетей, для которых можно генерировать сгенерировать кэш.
  

Image Removed

При выборе конкретного детектора, в правой части автоматически отобразятся все нейросети, связанные с выбранным детектором. А при выборе конкретной нейросети, в левой части будет автоматически выделен соответствующий детектор.

...

Элементы в этих областях связаны: выбор детектора в левой части автоматически отображает связанные с ним нейросети справа, и наоборот. В таблице представлен перечень детекторов и связанных с ними нейросетей:

Генерация кэша

Для генерации кэша нужно:

1. Остановить сервер (см. Остановка сервера).
   
В правой части основного окна утилиты установить флажки напротив

2. Note
   title Внимание!
   Если в системе используется ПО, работающее на GPU, нужно остановить процесс его работы. При запуске утилиты откроется окно с требованием: Внимание. Пожалуйста, остановите сервер VMS и другие службы, использующие ресурсы GPU. Это критически важное требование для обеспечения максимальной эффективности процесса создания кэша. Если сервер и службы не будут остановлены, утилита может продолжить работу, но результат кэширования будет менее эффективным, а процесс — более медленным, из-за конкуренции за ресурсы GPU. Для подтверждения остановки всех приложений, использующих GPU, нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU.

3. В основное окно утилиты, которое разделено на две взаимосвязанные области:

   • Детекторы — список доступных детекторов.
   • Нейронные сети — список нейросетей, для которых можно сгенерировать кэш.
     

   установить флажки  напротив детекторов/нейросетей, для которых требуется создать кэш. Элементы в этих областях связаны: выбор детектора в левой части автоматически отображает связанные с ним нейросети справа, и наоборот.

   Tip

   Image Added
   В таблице представлен перечень детекторов и связанных с ними нейросетей:
   

   Детектор	Нейросеть
   Детектор штрихкодов	GeneralNM barcodes
   Детектор экипировки (СИЗ)	Ppe helmet (head) general Ppe safety vest (body) general Ppe segmentation by pose origin
   Детектор огня	Best fire v1 (Обычный режим) Fire scanned v1 (Режим сканирования)
   Мета-детектор	Blip img only Blip text only
   Нейросчетчик или Детектор остановившегося объекта	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8
   Нейротрекер	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8 Dpe 1638 light pa 100 k (Распознавание атрибутов) Reid 15 0 256 osnetfpn segmentation noise 20 common 29 (Поиск похожих)
   Детектор позы	General human pose estimation General human pose estimation yolov8 large General human pose estimation yolov8 medium General human pose estimation yolov8 nano
   Маска конфиденциальности на основе человека	General human pose estimation
   Маска приватности	Privacy masking origin
   Детектор дыма	Best smoke v1 (Обычный режим) Smoke scanned v1 (Режим сканирования)
   Детектор уровня воды	Water level rule net origin
   Пользовательские нейронные сети	Позволяет сгенерировать кэш пользовательской нейросети, при условии, что данная нейросеть может быть запущена на GPU

   
   
4. Нажать на кнопку Image Modified в нижней правой части окна
для перехода к настройкам генерации кэша
5. . 
В появившемся окне установить флажок напротив видеокарты, для которой будет создан кэш.
6. Настроить параметры генерации кэша, которые указаны в таблице:
   

   Параметр	Значение	Описание
   Графические процессоры для выполнения операций
   	Image Added	Note title Внимание! Генерация кэша поддерживается только для видеокарт NVIDIA, так как технология TensorRT не поддерживает другие видеокарты.

   Настроить параметры генерации кэша, которые указаны в таблице:
   

   Установить флажок напротив видеокарты, для которой будет создан кэш
   	Image Added
   Дополнительные параметры
   Выполнять калибровку int 8
   	Параметр	Значение	Описание
   Выполнять калибровку int8		Note title Внимание! Данный параметр доступен только для нейросетей с соответствующим , для которых доступен режим квантования, и которые входят в состав пакета нейроаналитики вместе с одноименным файлом *.info. Если в предыдущем окне были выбраны нейронные сети, для которых режим квантования недоступен, то для них кэш сгенерирован не будет. По умолчанию флажок снят. Для включения режима квантования Int8 для нейросети нужно установить флажок. Нейросети, для которых доступен режим квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info
   Подробный режим ведения журнала		По умолчанию флажок снят. Для включения логирования процесса инициализации и генерации кэша нужно установить флажок. Включение Info title Примечание Включение параметра предоставляет детальную информацию о процессе генерации кэша, но увеличивает объем логов и может замедлить процесс генерации. Info title Примечание Логи сохраняются Логи для каждой нейронной сети сохраняются в отдельном файле в директории C:\UsersПользователи\<имя_пользователя>\.gpuCacheGenerator\logs. Предыдущие логи автоматически удаляются при каждом новом запуске утилиты.
   Кэш будет сохранен в каталог:	D:\ITVGPU		Выбрать директорию, в которой будет храниться кэш по всем используемым детекторам и нейросетям. Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа. Минимальный размер – 70 МБ. Указать директорию хранения кэша Note title Внимание! Если в значении системной переменной GPU_CACHE_DIR указанная существующая папка содержит символы кириллицы (например: D:\Кэш), необходимо убедиться, что в настройках региона во вкладке Дополнительно параметр Текущий язык программ, не поддерживающих Юникод имеет значение Русский (Россия). Image Added Info title Примечание Если системная переменная GPU_CACHE_DIR не задана, кэш будет сохранен по умолчанию в директории: C:\UsersПользователи\<имя_пользователя>\.gpuCacheGenerator\ (см. Приложение 9. Создание системных переменных). Если переменная GPU_CACHE_DIR задана, кэш будет сохранен по указанному в ней пути. При выборе директории кэша через утилиту значение переменной GPU_CACHE_DIR будет обновлено на выбранный путь.

7. Нажать на кнопку  в нижней правой части окна для перехода к генерации кэша для кэша для всех выбранных нейросетей.
   Info

   title	Примечание

    Если выбрано несколько нейросетей, они будут обработаны последовательно. 
   Для каждой нейросети отображается текущий статус выполнения. Возможные статусы:
   • готово (строка выделяется зеленой рамкой),
   • в процессе,
   • в очереди,
   • ошибка (строка выделяется красной рамкой).
8. Дождаться После окончания процесса генерации . При успешной генерации кэша созданные файлы станут нажать на кнопку  в нижней правой части окна.

Генерация кэша завершена. Созданные файлы доступны для использования детекторами

...

Генерация кэша завершена.