---

Zur Vorbereitung schauen wir uns in dieser Lehreinheit an, wie man mit PyTorch Variablen optimieren kann.

Vorbereitung 1: Optimierung mit PyTorch

Arbeiten Sie die folgenden offiziellen Guides durch:

• Automatic Differentiation with
• Learning PyTorch with Examples

Praxisaufgabe 1: Testfunktionen für Optimierer

PyTorch implementiert bereits jede Menge Optimierer vor: (torch.optim). Um einen Einblick zu bekommen was für mögliche Stärken und Schwächen eine Wahl eines Optimierers mit sich bringen kann, gibt es sog. künstliche Landschaften.

Wiki: Testfunctions for Optimization

Aufgaben:

• Wählen Sie drei solcher Testfunktionen aus und implementieren Sie diese in PyTorch.
• Erstellen Sie nun einen zufälligen 2d-Tensor, der die Startposition auf dieser Landschaft darstellt und lassen Sie dessen Wert mithilfe von optim.SGD (möglichst) das (globale) Minimum finden.
• Implementieren Sie eine Visualisierung (beispielsweise mit Matplotlib), die den zurückgelegten Weg des Punktes auf der Landschaft anzeigen kann. Alternativ können Sie die Visualisierung auch als Animation implementieren. (Dies ist jedoch etwas Aufwändiger. Beispielcode dazu in der Matplotlib Gallerie)
• Vergleichen Sie nun die Wege für verschiedene Learning Rates-, Momentum-, Dampening-Parametern. (Beispielsweise indem Sie alle Pfade verschieden gefärbt visualisieren.)
• Vergleichen Sie auch das Verhalten von optim.Adam, optim.RMSProp, optim.LBFGS
• Wie verbessert sich das Konvergenzverhalten, wenn die Lernrate dynamisch angepasst wird? Zum Beispiel können Sie testen was passiert, wenn sie die Lernrate nach einigen Schritten mit 10 multiplizieren oder dividieren.
  
  Beispielcode zum dynamischen Anpassen der Lernrate:

  optimizer.param_groups[0]['lr'] *= 10
  

• Wie verbessern sich die Chancen auf ein gutes Ergebnis, wenn wir direkt eine Menge von zufälligen Punkten \(x_1,\dots,x_n\) gleichzeitig Optimieren und dann das beste Modell wählen?