Утилита Генератор кэша GPU

Установка утилиты

Утилита Генератор кэша GPU предназначена для предварительного создания кэша нейросетей, используемых в работе детекторов.

Для установки утилиты нужно:

1. Скачать файл утилиты с официального сайта компании ITV.
2. Запустить скачанный файл от имени администратора системы.
3. В открывшемся окне установки нажать на кнопку Далее.
   
4. Нажать на кнопку Установить.
   
5. Дождаться окончания процесса установки утилиты. После установки будет выведено новое диалоговое окно с сообщением о завершении установки утилиты.
   
   
6. По умолчанию после завершения установки откроется окно утилиты. Если не требуется запускать утилиту после завершения установки, нужно снять флажок Запустить утилиту генерации кэша GPU.
7. Если необходимо ознакомиться с документацией по работе с утилитой Генератор кэша GPU, нужно установить флажок Открыть руководство пользователя. По умолчанию флажок снят.
8. Нажать на кнопку Готово для подтверждения завершения работы программы установки.

Установка утилиты Генератор кэша GPU завершена.

Генерация кэша

Для генерации кэша нужно:

1. Остановить сервер (см. Остановка сервера).
   
2. Запустить утилиту Генератор кэша GPU из меню Пуск → Программы → Генератор кэша GPU. При запуске утилиты откроется окно с требованием: Внимание. Пожалуйста, остановите сервер VMS и другие службы, использующие ресурсы GPU. Это критически важное требование для обеспечения максимальной эффективности процесса создания кэша. Если сервер и службы не будут остановлены, утилита может продолжить работу, но результат кэширования будет менее эффективным, а процесс — более медленным, из-за конкуренции за ресурсы GPU. Для подтверждения остановки всех приложений, использующих GPU, нужно нажать на кнопку Да. Я закрыл все приложения, использующие GPU.

3. В основном окне утилиты, которое разделено на две взаимосвязанные области:

   • Детекторы — список доступных детекторов.
   • Нейронные сети — список нейросетей, для которых можно сгенерировать кэш.
     

   установить флажки напротив детекторов/нейросетей, для которых требуется создать кэш. Элементы в этих областях связаны: выбор детектора в левой части автоматически отображает связанные с ним нейросети справа, и наоборот.

   В таблице представлен перечень детекторов и связанных с ними нейросетей:
   

   Детекторы	Нейронные сети
   Детектор штрихкодов	GeneralNM barcodes
   Детектор экипировки (СИЗ)	Ppe helmet (head) general Ppe safety vest (body) general Ppe segmentation by pose origin
   Детектор огня	Best fire v1 (Обычный режим) Fire scanned v1 (Режим сканирования)
   Мета-детектор	Blip img only Blip text only
   Нейросчетчик или Детектор остановившегося объекта	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8
   Нейротрекер	GeneralNM car v1.0 GeneralNM human v1.0 GeneralNM human and vehicle large v1.0 GeneralNM human and vehicle medium v1.0 GeneralNM human and vehicle nano v1.0 GeneralNM human top view large v1.0 GeneralNM human top view medium v1.0 GeneralNM human top view nano v1.0 GeneralNM human top view v0.8 Dpe 1638 light pa 100 k (Распознавание атрибутов) Reid 15 0 256 osnetfpn segmentation noise 20 common 29 (Поиск похожих)
   Детектор позы	General human pose estimation General human pose estimation yolov8 large General human pose estimation yolov8 medium General human pose estimation yolov8 nano
   Маска конфиденциальности на основе человека	General human pose estimation
   Маска приватности	Privacy masking origin
   Детектор дыма	Best smoke v1 (Обычный режим) Smoke scanned v1 (Режим сканирования)
   Детектор уровня воды	Water level rule net origin
   Пользовательские нейронные сети	При использовании уникальной нейросети требуется указать путь к файлу в формате *.ann или *.annext, при условии, что данная нейросеть может быть запущена на GPU Внимание! Использование подготовленной нейросети для конкретной сцены позволяет детектировать объекты только определенного типа (например, человек, велосипедист, мотоциклист и т.д.). Для подготовки нейросети необходимо обратиться в компанию ITV (см. Требования ко сбору данных для обучения нейросетей). При использовании стандартной нейросети (обучение которой не выполнялось в эксплуатируемых условиях) гарантируется общая точность 80-95% и процент пропуска 5-20% (см. Требования ко сбору данных для обучения нейросетей). Сетевое указание файла в ОС Windows недопустимо. Файл нейросети должен располагаться локально, т.е. на том же сервере, где установлен ПК Интеллект Х. Для корректной работы нейросети в ОС Linux соответствующий файл должен располагаться локально в директории /opt/ITV/DetectorPack/NeuroSDK, либо в сетевой папке с соответствующими правами доступа. При повторном запуске утилиты Генератор кэша GPU файл уникальной нейросети не будет отображаться в списке Нейронные сети.

   
   
4. Нажать на кнопку в нижней правой части окна. 
5. Настроить параметры генерации кэша, которые указаны в таблице:
   

   Параметр	Значение	Описание
   Графические процессоры для выполнения операций
   NVIDIA <модель> (см. Список графических процессоров Nvidia)		Внимание! Генерация кэша поддерживается только для видеокарт NVIDIA, так как технология TensorRT не поддерживает другие видеокарты. Установить флажок напротив видеокарты, для которой будет создан кэш
   Дополнительные параметры
   Выполнять калибровку int 8		Внимание! Данный параметр доступен только для нейросетей, для которых доступен режим квантования, и которые входят в состав пакета нейроаналитики вместе с одноименным файлом *.info: GeneralNM car v1.0, GeneralNM human v1.0, GeneralNM human and vehicle large v1.0, GeneralNM human and vehicle medium v1.0, GeneralNM human and vehicle nano v1.0, GeneralNM human top view large v1.0, GeneralNM human top view medium v1.0, GeneralNM human top view nano v1.0, GeneralNM human top view v0.8. Если в предыдущем окне были выбраны нейронные сети, для которых режим квантования недоступен, то для них кэш сгенерирован не будет. По умолчанию флажок снят. Для включения режима квантования Int8 для нейросети нужно установить флажок
   Подробный режим ведения журнала		По умолчанию флажок снят. Для включения логирования процесса инициализации и генерации кэша нужно установить флажок Примечание Включение параметра предоставляет детальную информацию о процессе генерации кэша, увеличивает объем логов и может замедлить процесс генерации. Логи для каждой нейронной сети сохраняются в отдельном файле в директории C:\Пользователи\<имя_пользователя>\.gpuCacheGenerator\logs. Предыдущие логи автоматически удаляются при каждом новом запуске утилиты.
   Кэш будет сохранен в каталог:		Выбрать директорию, в которой будет храниться кэш по всем используемым детекторам и нейросетям. Ориентировочный размер кэша будет зависеть от количества используемых нейросетей и их типа. Минимальный размер – 70 МБ. Если системная переменная GPU_CACHE_DIR не задана, кэш будет сохранен по умолчанию в директории: C:\Пользователи\<имя_пользователя>\.gpuCacheGenerator\ (см. Приложение 9. Создание системных переменных). Если переменная GPU_CACHE_DIR задана, кэш будет сохранен по указанному в ней пути. При выборе директории кэша через утилиту значение переменной GPU_CACHE_DIR будет обновлено на выбранный путь Внимание! Если в значении системной переменной GPU_CACHE_DIR указанная существующая папка содержит символы кириллицы (например: D:\Кэш), необходимо убедиться, что в настройках региона во вкладке Дополнительно параметр Текущий язык программ, не поддерживающих Юникод имеет значение Русский (Россия).

6. Нажать на кнопку  в нижней правой части окна для перехода к генерации кэша для всех выбранных нейросетей. Если выбрано несколько нейросетей, они будут обработаны последовательно. 
   Для каждой нейросети отображается текущий статус выполнения. Возможные статусы:
   • готово (строка выделяется зеленой рамкой),
   • в процессе,
   • в очереди,
   • ошибка (строка выделяется красной рамкой).
7. После окончания процесса генерации нажать на кнопку  в нижней правой части окна.

Генерация кэша завершена. Созданные файлы доступны для использования детекторами.