[Zurück]

B. Haas:
"Compressing MobileNet With Shunt Connections for NVIDIA Hardware";
Betreuer/in(nen): A. Wendt, A. Jantsch; E384, 2021.

Obwohl enorme Fortschritte im Bereich ´semantic segmentation´ mithilfe von neuartigen neuronalen Netzwerkarchitekturen erzielt wurden, besteht das Problem immer noch, diese Netzwerke auch auf ressourcenschwacher Hardware in akzeptabler Zeit auszuführen, wodurch diese Netzwerke in der Praxis nur eingeschränkt eingesetzt werden können. Ziel dieser Diplomarbeit ist, diese Kluft zwischen modernen ´deep-learning´-Netzwerken und ´embedded´-Hardware, wie beispielsweise Geräte der NVIDIA Jetson Serie, zu verkleinern oder bestenfalls zu schließen. Dafür soll die Kompressionsmethode der sogenannten ´shunt connections´ genutzt werden. Diese Diplomarbeit zeigt erste Resultate von ´shunt connections´ für die MobileNetV3-Architektur und für den ´semantic-segmentation´-Datensatz 'Cityscapes'. Resultate werden erzielt, indem die Modelle mittels ´knowledge distillation´ trainiert werden. Erste Beschleunigungswerte auf dem NVIDIA Jetson Xavier werden ebenfalls berichtet. Es wird gezeigt, dass MobileNetV3, trainiert auf dem CIFAR100 Datensatz, um 31% komprimiert werden kann, ohne dabei an Genauigkeit des Modells einzubüßen. Trainiert man MobileNetV3 auf ´Cityscapes´, lässt sich dieses Modell um 28% komprimieren, wobei 4 Punkte an mIoU verloren gehen. Resultate werden mit der Methode verglichen, MobileNetV3-Modelle mittel ´depth-multiplier´ zu komprimieren, was die Vorteile von ´shunt connections´ weiter hervorhebt.

Although modern convolutional neural network architectures achieve astounding results on large-scale tasks like semantic segmentation, employing them on embedded devices still resembles a big challenge, hindering their applications for the real world. This thesis aims at closing the computational gap between embedded devices like the NVIDIA Jetson
series and modern deep-learning architectures through improving the method of compressing networks through shunt connections. This thesis shows the applicability of shunt connections on MobileNetV3 and for the semantic segmentation task on the Cityscapes dataset. For this, knowledge distillation is explored as a method to effciently fine-tune shunt inserted models, while the achieved speed-up of shunt connection compression is measured on the NVIDIA Jetson Xavier device to validate results. It is shown that MobileNetV3 trained on CIFAR100 can be compressed by 31% without
losing any accuracy. MobileNetV3 trained on Cityscapes is compressed by 28%, resulting in a drop of four points of mIoU. Results are compared against the compression through using smaller depth multipliers, proving the advantages of shunt connections.

Machine Learning, Neural Networks, Semantic Segementation, Optimization, Compression

https://publik.tuwien.ac.at/files/publik_295948.pdf