Zur Vorbereitung schauen wir uns in dieser Lehreinheit an, wie man mit PyTorch Variablen optimieren kann.

Vorbereitung 1: Optimierung mit PyTorch

Arbeiten Sie die folgenden offiziellen Guides durch:

• Automatic Differentiation with
• Learning PyTorch with Examples

Praxisaufgabe 1: Testfunktionen für Optimierer

PyTorch implementiert bereits jede Menge Optimierer vor: (torch.optim). Um einen Einblick zu bekommen was für mögliche Stärken und Schwächen eine Wahl eines Optimierers mit sich bringen kann, gibt es sog. künstliche Landschaften.

Wiki: Testfunctions for Optimization

Aufgaben:

• Wählen Sie drei solcher Testfunktionen aus und implementieren Sie diese in PyTorch.
• Erstellen Sie nun einen zufälligen 2d-Tensor, der die Startposition auf dieser Landschaft darstellt und lassen Sie dessen Wert mithilfe von optim.SGD (möglichst) das (globale) Minimum finden.
• Implementieren Sie eine Visualisierung (beispielsweise mit Matplotlib), die den zurückgelegten Weg des Punktes auf der Landschaft anzeigen kann. Alternativ können Sie die Visualisierung auch als Animation implementieren. (Dies ist jedoch etwas Aufwändiger. Beispielcode dazu in der Matplotlib Gallerie)
• Vergleichen Sie nun die Wege für verschiedene Learning Rates-, Momentum-, Dampening-Parametern. (Beispielsweise indem Sie alle Pfade verschieden gefärbt visualisieren.)
• Vergleichen Sie auch das Verhalten von optim.Adam, optim.RMSProp, optim.LBFGS
• Wie verbessert sich das Konvergenzverhalten, wenn die Lernrate dynamisch angepasst wird? Zum Beispiel können Sie testen was passiert, wenn sie die Lernrate nach einigen Schritten mit 10 multiplizieren oder dividieren.
  
  Beispielcode zum dynamischen Anpassen der Lernrate:

  optimizer.param_groups[0]['lr'] *= 10
  

• Wie verbessern sich die Chancen auf ein gutes Ergebnis, wenn wir direkt eine Menge von zufälligen Punkten $x_1,\dots,x_n$ gleichzeitig Optimieren und dann das beste Modell wählen?

Praxisaufgabe 2: Adam Optimizer

Ein Optimierer aus torch.optim benötigt drei Methoden (siehe "Learning PyTorch with Examples"):

• die Initialisierung (zur Speicherung aller Hyperparameter) und insbesondere der zu optimierenden Parameter. Diese können inplace verändert werden
• optimizer.zero_grad(), um Gradienteninformation zu löschen
• optimizer.step(), um Parameter mithilfe der internen Gradienten zu verändern. Im einfachsten Fall werden diese gewichtet mit der Learning addiert.

Aufgaben:

1. (Optional): Implementieren Sie den Adam-Optimierer nach & vergleichen Sie das Ergebnis Ihrer mit dem der vorgefertigten Klasse torch.optim.Adam. Die Gradienten $g_t$ erhalten Sie wie vorher auch durch loss.backward() und werden in den Parameter-Attributen param.grad gespeichert.
2. Als nächstes führen wir folgendes Experiment durch:
   • Wir starten mit einem Parametervektor aus $\mathbb{R}^d$ und weisen diesem in jeweils $n$ Schritten zufällige Normalverteilte Gradienten zu.
   • In jedem Schritt wenden wir Adam an und messen die Magnitude der tatsächlichen Veränderung (also die Länge der Distanz $\theta_t - \theta_{t-1}$.
   • Plotten Sie diese Größe für Adam und SGD für etwa $1000$ zufällige Optimierungsschritte und verschiedene Hyperparameter.
   • Können Sie die Beobachtung des Papers bestätigen, dass Adam selbstständig Learning Rate Änderungen durchführt?