[Zurück]

D. Dallinger, M. Wess:
"FPGA optimized dynamic post-training Quantization of Tiny-YoloV3";
2021; 25 S.

Heutzutage werden DNNs mehr und mehr zu einem Teil unseres täglichen Lebens. DNNs werden oft
für anspruchsvolle Aufgaben wie z.B. Spracherkennung oder Computer Vision verwendet. DNNs auf
dem neuesten Stand der Technik werden in der Regel immer größer, was eine erheblich größere Bandbreite,
einen größeren Speicherplatz und mehr Rechenleistung erfordert. Diese Entwicklung macht
es schwierig, diese State-of-the-Art DNNs auf integrierten Geräten unterzubringen. Es wurden verschiedene
Verfahren entwickelt, um dieser Entwicklung entgegenzuwirken. Zum einen gibt es eigene
ASIC-Designs, die DNNs beschleunigen, zum anderen gibt es Verfahren, die das Netzwerk verändern.
Das gängigste Verfahren zur Optimierung eines neuronalen Netzes für Embedded Devices ist die Quantisierung.
Die Quantisierung ist eine Technik, bei der typischerweise ein 32-Bit-Fließkommanetzwerk
in einen anderen Datentyp transformiert wird. Die gebräuchlichste Quantisierung ist eine Transformation
in eine 8-Bit-Festkommazahl. Es gibt zwei Haupttechniken zur Quantisierung eines Netzwerks:
. Quantized-Aware-Training: Eswerden eineModellde nition und ein Trainingsdatensatz benötigt,
um den Backpropagation-Algorithmus so zu ändern, dass er den Quantisierungsfehler einbezieht
und das gesamte Netzwerk neu trainiert. Daher werden auch Informationen über den Trainingsalgorithmus
benötigt. Ein großer Nachteil dieser Technik ist die zum Teil sehr lange Trainingszeit
bei komplexen Datensätzen.
. Post-Training Quantization: Für diese Art der Quantisierung werden keine Informationen
über die Trainingsalgorithmen oder den gesamten Datensatz benötigt, sondern nur ein kleiner
Kalibrierungsdatensatz und die Modellde nition. Das Modell wird durch stochastische oder
statistische Methoden quantisiert. Da kein Nachtrainieren erforderlich ist, lässt sich dieses Optimierungsverfahren
in nur wenigen Minuten ausführen.
In dieser Arbeitwerden verschiedene Techniken zur Post-Training-Quantisierung von DNNs verglichen,
Ansätze zur Realisierung auf realer Hardware diskutiert und eine Technik zur FPGA-Optimierung
vorgeschlagen.

Nowadays Deep Neural Networks (DNNs) are getting more and more a part of our everyday life. DNNs
are often used for sophisticated tasks such as speech recognition or computer vision. Recent state-ofthe-
art DNNs are usually getting bigger and bigger, which require a signi cant memory bandwidth,
memory storage and more computational power. This development makes it di cult to t these stateof-
the-art DNNs on Embedded Devices. Various processes have been developed to counteract this
development. On the one hand there are custom ASIC designs which accelerate the DNNs, on the
other hand there are procedures that change the network. The most common procedure to optimize a
neural network for Embedded Devices is quantization. Quantization is a technique where, typically, a
32bit oating point network is transformed to a di erent data type. The most common quantization is
a transformation to 8bit xed point integer. There are two main techniques to quantize a Network.
. Quantized-Aware-Training: A model de nition and training data-set is needed to alter the
back-propagation algorithm to include the quantization error and retrain the whole network.
Therefore also information about the training algorithm is needed. A big disadvantage of this
technique is, in most cases, the very long training time of complex data-sets.
. Post-Training Quantization: For this type of quantization, there is no need for information
about the training algorithms or the whole data-set, only a small calibration data set and the
model de nition is needed. The model will be quantized through stochastical or statistical methods.
Since there is no retraining needed this method works only in just a few minutes computing
time.
In this work di erent techniques for Post-Training Quantization DNNs are compared, approaches for
realization on real hardware are being discussed and a technique for Field Programmable Gate Array
(FPGA) optimization is proposed.

Machine Learning, Quantization

https://publik.tuwien.ac.at/files/publik_296008.pdf