Этот репозиторий посвящен практическому сравнению методов Quantization Aware Training и Post-Training Quantization.
Главная цель — найти самый эффективный метод для каждой из предложенных архитектур (LSTM, SasRec, ESPCN).
Проект разделен на три независимых модуля. Внутри каждой папки находится свой подробный README.md с инструкциями по запуску, гиперпараметрами и детальными метриками.
| Модуль | Архитектура | Задача |
|---|---|---|
ESPCN/ |
ESPCN | Восстановление высокого разрешения изображения |
LSTM/ |
Bidirectional LSTM | Классификация текстов |
SasRec/ |
SasRec | Рекомендательные системы |
В рамках проекта были реализованы и протестированы следующие алгоритмы:
- LSQ (Learned Step Size Quantization): Обучение шага квантования вместе с весами сети через Straight-Through Estimator (STE).
- PACT (Parameterized Clipping Activation): Использование обучаемого порога отсечения для борьбы с выбросами.
- APoT (Additive Powers-of-Two): Квантизация с использованием неравномерной сетки уровней, основанной на сумме степеней двойки.
- AdaRound: метод PTQ, обучающий направление округления весов к ближайшему целому.
- DSQ (Differentiable Soft Quantization): Гладкая аппроксимация функции округления.
- QDrop: Случайное отключение квантизации части весов/активаций во время QAT.
- Лузанин Матвей @luzaninmatvey
- Завен Мартиросян @zmazak0
- Бурминов Михаил @evolvens