Бенчмарк автомобильных NPU: точность INT8, FP16 и разреженность для трансформеров

Алгоритмы автопилота перешли от 2D-сетей к трансформерам с обзором с высоты птичьего полета (BEV). Это требует оценки реальной пропускной способности памяти, а не маркетинговых TOPS.

Пиковые TOPS против эффективной утилизации

Хотя чип может заявлять 200 TOPS, нормализация слоев часто простаивает в ожидании данных из DRAM, снижая реальную утилизацию ниже 35% без оптимизации компилятора.

Потери точности квантования при 3D-детекции объектов

Конвертация сетей в INT8 требует калибровки на дорожных данных. Без тренировки с учетом квантования (QAT) ошибка оценки расстояния до пешеходов может возрасти на 6%.

Исследовать портфель доменов