Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

  1. В правой части основного окна утилиты установить флажки напротив нейросетей, для которых требуется создать кэш.
  2. Нажать на кнопку в нижней правой части окна для перехода к настройкам генерации кэша. 
  3. В появившемся окне установить флажок напротив видеокарты, для которой будет создан кэш.
    Note
    titleВнимание!

    Генерация кэша поддерживается только для видеокарт NVIDIA, так как технология TensorRT не поддерживает другие видеокарты.

  4. Настроить параметры генерации кэша, которые указаны в таблице:
    ПараметрЗначениеОписание
    Выполнять калибровку int8

    Note
    titleВнимание!
    Данный параметр доступен только для нейросетей с соответствующим файлом *.info.

    По умолчанию флажок снят. Для включения режима квантования Int8 для нейросетей с файлом .info нейросети нужно установить флажок. Основная цель – преобразование весов нейросетей из формата Float32/Float16 в формат Int8 для снижения вычислительных затрат и ускорения работы нейросети Нейросети, для которых доступен режим квантования, входят в состав пакета нейроаналитики вместе с одноименным файлом *.info

    Подробный режим ведения журнала

    По умолчанию флажок снят. Для включения логирования процесса инициализации и генерации кэша нужно установить флажок. Включение параметра предоставляет детальную информацию о процессе генерации кэша, но увеличивает объем логов и может замедлить процесс генерации

    Info
    titleПримечание
    • Логи сохраняются в директории C:\Users\<имя_пользователя>\.gpuCacheGenerator\logs.
    • Предыдущие логи автоматически удаляются при каждом новом запуске утилиты.

    Кэш будет сохранен в каталогD:\ITVGPU

    Указать директорию хранения кэша

    Info
    titleПримечание
    • Если системная переменная GPU_CACHE_DIR не задана, кэш будет сохранен по умолчанию в директории: C:\Users\<имя_пользователя>\.gpuCacheGenerator\ (см. Приложение 9. Создание системных переменных).
    • Если переменная GPU_CACHE_DIR задана, кэш будет сохранен по указанному в ней пути.
    • При выборе директории кэша через утилиту значение переменной GPU_CACHE_DIR будет обновлено на выбранный путь.
  5. Нажать на кнопку  в нижней правой части окна для перехода к генерации кэша для всех выбранных нейросетей.
    Info
    titleПримечание
    • Если выбрано несколько нейросетей, они будут обработаны последовательно.
    • Для каждой нейросети отображается текущий статус выполнения.
  6. Дождаться окончания процесса генерации. При успешной генерации кэша созданные файлы станут доступны для использования детекторами.

...