[Zurück]

M. Wuschnig, A. Wendt:
"Auswertung verschiedener Methoden der Hyperparameteroptimierung in Machine Learning";
2020; 49 S.

Im Forschungsgebiet von Machine Learning wird viel Zeit für Hyperparameteroptimisierung verwendet. Modelle, welche mit guten Hyperparametern trainiert wurden erzielen bessere Ergebnisse als Modelle mit schlechten Hyperparametern. Es gibt viele Möglichkeiten die Hyperparameter zu optimieren. Unser Ziel ist es verschiedene automatisierte Hyperparameteroptimierungsmethoden und Frameworks miteinander zu vergleichen und unsere eigene Methode zu erstellen. Es wird gezeigt das unsere Methode für SVR schneller ist als andere etablierte Methoden. Unsere Methode Random100+Random100 war bis zu 7 mal so schnell für große Datensets verglichen mit der Standard Randomsuche für SVR mit ausreichender Zuverlässigkeit. Unglücklicherweise hat es nur für SVR funktioniert und nicht für Random Forrest Regressor Maschinen. Wir hoffen das unsere Arbeit für schnellere und zuverlässige Hyperparameteroptimisierung genutzt wird.

In the eld of machine learning, hyperparameteroptimasation is a time consuming task. Models trained with good hyperparameters
outperform models with bad hyperparameters in terms of accuracy. There are many options to choose how to tune your hyperparametersettings. Our main goal is to try to compare different hyperparameteroptimisation methods and frameworks and to build our own one. We show that our best hyperparameteroptimisation method was
faster for Support Vector Regressor Machines (SVR Machines) compared to other well established hyperparameteroptimisation methods. Our method Random100+Random100 was up to 7 times faster for large datasets compared to standard Randomsearch for SVR with reasonable reliablity. Unfortunally it just worked for SVR and not for Random Forrest Regressor Machines. We anticipate our work to be used for faster and reliable hyperparameteroptimization.

Hyperparameters, Machine Learning

https://publik.tuwien.ac.at/files/publik_295896.pdf