Institut für Informatik
Modellierung 2
Michael Wand
Ann-Christin Wörl & David Hartmann
Sommersemester 2023
Zur Vorbereitung schauen wir uns in dieser Lehreinheit an, wie man mit PyTorch Variablen optimieren kann.
Vorbereitung 1: Optimierung mit PyTorch
Arbeiten Sie die folgenden offiziellen Guides durch:
Praxisaufgabe 1: Testfunktionen für Optimierer
PyTorch implementiert bereits jede Menge Optimierer vor: (torch.optim). Um einen Einblick zu bekommen was für mögliche Stärken und Schwächen eine Wahl eines Optimierers mit sich bringen kann, gibt es sog. künstliche Landschaften.
Wiki: Testfunctions for Optimization
Aufgaben:
- Wählen Sie drei solcher Testfunktionen aus und implementieren Sie diese in PyTorch.
- Erstellen Sie nun einen zufälligen 2d-Tensor, der die Startposition auf dieser Landschaft darstellt und lassen Sie dessen Wert mithilfe von
optim.SGD(möglichst) das (globale) Minimum finden. - Implementieren Sie eine Visualisierung (beispielsweise mit Matplotlib), die den zurückgelegten Weg des Punktes auf der Landschaft anzeigen kann. Alternativ können Sie die Visualisierung auch als Animation implementieren. (Dies ist jedoch etwas Aufwändiger. Beispielcode dazu in der Matplotlib Gallerie)
- Vergleichen Sie nun die Wege für verschiedene Learning Rates-, Momentum-, Dampening-Parametern. (Beispielsweise indem Sie alle Pfade verschieden gefärbt visualisieren.)
- Vergleichen Sie auch das Verhalten von
optim.Adam,optim.RMSProp,optim.LBFGS - Wie verbessert sich das Konvergenzverhalten, wenn die Lernrate dynamisch angepasst wird? Zum Beispiel können Sie testen was passiert, wenn sie die Lernrate nach einigen Schritten mit 10 multiplizieren oder dividieren.
Beispielcode zum dynamischen Anpassen der Lernrate:optimizer.param_groups[0]['lr'] *= 10 - Wie verbessern sich die Chancen auf ein gutes Ergebnis, wenn wir direkt eine Menge von zufälligen Punkten \(x_1,\dots,x_n\) gleichzeitig Optimieren und dann das beste Modell wählen?
Praxisaufgabe 2: Adam Optimizer
In der vorigen Aufgabe haben wir ein paar Optimizer an einem einfachen Beispiel getestet & wir haben den Effekt einer Learning Rate-Änderung untersucht. In dieser Aufgabe möchten wir die Beobachtungen einer aktuellen Arbeit nachvollziehen, nämlich das der Adam-Optimizer selbstständig Learning Rate-Änderungen unternimmt. (Also, dass die Magnitude der angewandten Änderungen sich über die Zeit ändert.) Konkret werden wir zuerst die Funktion eines Optimierers nachbauen, sodass ihre Implementierung im Prinzip anstelle der vorgefertigten
torch.optim Klasse verwendet werden kann. Danach untersuchen wir das Verhalten dieses Optimierers bei zufälligen Gradienten.
Ein Optimierer aus torch.optim benötigt drei Methoden (siehe "Learning PyTorch with Examples"):
- die Initialisierung (zur Speicherung aller Hyperparameter) und insbesondere der zu optimierenden Parameter. Diese können inplace verändert werden
optimizer.zero_grad(), um Gradienteninformation zu löschenoptimizer.step(), um Parameter mithilfe der internen Gradienten zu verändern. Im einfachsten Fall werden diese gewichtet mit der Learning addiert.
Aufgaben:
- (Optional): Implementieren Sie den Adam-Optimierer nach & vergleichen Sie das Ergebnis Ihrer mit dem der vorgefertigten Klasse
torch.optim.Adam. Die Gradienten \(g_t\) erhalten Sie wie vorher auch durchloss.backward()und werden in den Parameter-Attributenparam.gradgespeichert. - Als nächstes führen wir folgendes Experiment durch:
- Wir starten mit einem Parametervektor aus \(\mathbb{R}^d\) und weisen diesem in jeweils \(n\) Schritten zufällige Normalverteilte Gradienten zu.
- In jedem Schritt wenden wir Adam an und messen die Magnitude der tatsächlichen Veränderung (also die Länge der Distanz \(\theta_t - \theta_{t-1}\).
- Plotten Sie diese Größe für Adam und SGD für etwa \(1000\) zufällige Optimierungsschritte und verschiedene Hyperparameter.
- Können Sie die Beobachtung des Papers bestätigen, dass Adam selbstständig Learning Rate Änderungen durchführt?