Digitale Vorlesung
Die Vorlesung wird in diesem Semester in wird in digitaler Form, als Mischung von Hypertext und Videosegmenten angeboten. Fragen zur Vorlesung können im entsprechenden Forum in Teams gestellt werden. Antworten können von allen Teilnehmern der ganzen Unternehmung (Übungsgruppenleiter, Dozent und Studierenden) gegeben werden.
Im folgenden finden Sie einzelne Lehreinheiten, die Text- und Videoelemente in einem sinnvollen Ablauf integrieren. Jede Lehreinheit entspricht (grob) einer Woche in einer konventionellen Vorlesung. Am Ende jeder Lehreinheit steht jeweils ein “Übungszettel”, der bearbeitet and abgegeben werden muss (ohne Korrektur, wird aber mit allen Teilnehmer/innen geteilt) und in den Übungsgruppen besprochen wird.
Online Vorlesung in Lerneinheiten
Die Vorlesungsvideos werden voraussichtlich in 12-14 Lehreinheiten eingeteilt. Das Semester hat 14 Wochen und wir planen derzeit mit ca. 12 Übungsblättern. Wir empfehlen, jede Woche mindestens eine Lehreinheit (zusammen mit dem Übungsblatt) zu bearbeiten.
Für jede Lehreinheit stehen ein oder mehrere “Vorlesungs”-Videos zur Verfügung, in denen die Ideen und Hintergründe diskutiert werden. Zusätzlich ist das entsprechende Kapitel im Script (im HTML-Format) direkt verlinkt. Dieses steht allerdings erst mit Verzögerung zur Verfügung.
Hinweis: Alle Videos werden auch auf dem Panopto-System der JGU gespiegelt. Anders als auf diesen Webseiten stehen die Videos dort im h264/mp4 Format zur Verfügung, das auf mehr Geräten (insbesondere Apple Safari/IPhone ohne Erweiterungen) abspielbar ist. Das Panopto System ist auch skalierbarer und kann noch genutzt werden, falls unser eigener Server die Last nicht bewältigen kann. Klicken Sie auf diesen Link, um auf die Panopto-Seite zu gelangen.
Lehreinheit 1: Wissen und Unsicherheit
(13.04.2021 – 19.04.2021)
Wie kann man Wissen aus Daten generieren? Zusammenhang von empirischem Wissensgewinn und Statistik.
Video 01 – Uncertainty: (73min)
Lehreinheit 3: Grundlagen von statistischer Datenanalyse und maschinellem Lernen
(27.04.2021 – 03.05.2021)
Jetzt sehen wir, wie wir die statistischen Methoden einsetzen können, um Wissen aus Daten zu extrahieren.
Video 03 – Bayesian and Frequentist Statistics: (ca. 30min von 53min)
- Video 03 Bayessche und frequentistische Statistik (insges. 53min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 03:
Folien (PDF)
- Zusammenfassung zum Nachlesen:
Skript, Kapitel 03
Video 04 – Bayesian Statistics and Machine Learning: (ca. 68min von 96min)
- Video 04a Machine Learning Basics (33min):
groß (1920x1080) klein (853x480)
- Video 04b Bayessche Verfahren für ML (35min):
groß (1920x1080) klein (853x480) 
Addendum zu Video 04b
- Der Rest von Video 4 (Abschnit 04c) gehört zur nächsten Lehreinheit – Sie können aber gerne schonmal reinschauen (Link s.u.).
- Folien Kapitel 04:
Folien (PDF)
- Zusammenfassung zum Nachlesen:
Skript, Kapitel 04
Übungsaufgaben:
Weiterführende Literatur Die folgenden Quellen, die zum Teil im Video bereits erwähnt wurden, vertiefen den Vorlesungsstoff:
- Aaron Hertzman: Introduction to Bayesian Learning. ACM Siggraph 2004 Course.
[Project Page] [Course Notes] [Course Slides]
Bemerkung: Eine kompakte und einsteigerfreundliche / praxisorientierte Einführung in Bayessche Statistik. Wenn man nicht viel Zeit zum Lesen hat, steht hier (fast) alles wichtige auf den Punkt gebracht.
- David J.C.MacKay: Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003. Online Version.
Bemerkung: Ein sehr empfehlenswertes Lehrbuch über Bayessche Statistik, maschinelles Lernen und die Verbindung zur Informationstheorie.
- Richard O. Duda, Peter E. Hart, David G. Stork: Pattern Classification, Second Edition. Wiley, 2001.
Bemerkung: Eine einsteigerfreundliche Einführung in Bayessche Statistik und Klassifikationsalgorithmen, die darauf aufbauen. Das Buch startet mit dem Fisch-Classifier, der Vorbild für das Beispiel mit der automatischen Supermarktwaage im Video war.
Lehreinheit 4: Bayessche Datenanalyse und maschinelles Lernen – Beispiele und klassische Verfahren
(04.05.2021 – 10.05.2021)
Jetzt sehen wir, wie wir die statistischen Methoden einsetzen können, um Wissen aus Daten zu extrahieren.
Video 04 – Bayesian Statistics and Machine Learning: (ca. 28min von 96min)
Video 05 – Bayesian Data Analysis and Classical Machine Learning: (71 min + 36min optionale Wiederholung Mod-1)
Die Videos stellen verschiedene Beispiele zu elementaren maschinellen Lernverfahren bzw. Bayesscher Datenanalyse (die Übergänge sind wohl fließend) vor. Zwei Videos (5a,5c) greifen Beispiele auf, die bereits in Modellierung 1 im Sommersemester 2020 ausführlich diskutiert wurden (Video 14, 16, 21).
Tipp: Man kann die Videos in beliebiger Reihenfolge anschauen; allerdings ist es (insbesondere für das letzte Video 05d) wichtig, die Grundlagen aus Modellierung 1, die in Video 05a wiederholt werden, zu kennen. Wenn Sie sich hier nicht mehr gut erinnern, bietet es sich an, mit Video 5a zu starten.
- Video 05a Wiederholung Mod-1: Gaussians, PCA, Least-Squares (16min, optional):
groß (1920x1080) klein (853x480)
- Video 05b Klassische Klassifizierer (37min):
groß (1920x1080) klein (853x480) Addendum zu Video 05b
- Video 05c Wiederholung aus Mod-1: Bildrekonstruktion (20min, optional):
groß (1920x1080) klein (853x480)
- Video 05d Bayessche Regression (34min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 05:
Folien (PDF)
- Zusammenfassung zum Nachlesen:
Skript, Kapitel 05
Übungsaufgaben:
Weiterführende Literatur Die folgenden Quellen, die im Video erwähnt wurden, vertiefen den Vorlesungsstoff:
Lehreinheit 8: Grundlagen tiefer Netze
(01.06.2021 – 07.06.2021)
Nun schauen wir uns Deep Learning an, die Technik die uns den jüngsten KI-Sommer beschert hat. In diesem Teil geht es erstmal um die Grundlagen und einige Beispielarchitekturen. Stack moah’ layers!
Video 09 – Einführung in tiefe neuronale Netze: (Teil a+b: 96min)
- Video 09a Tiefes Lernen – die Basics (43min):
groß (1920x1080) klein (853x480)
- Video 09b Tiefes Lernen – Hintergründe & Architekturbeispiele (53min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 09:
Folien (PDF)
- Zusammenfassung zum Nachlesen:
Skript, Kapitel 09
Weiterführende Informationen:
- Die Videos auf Folie 80/81 sind in der aktuellen Fassung sehr ruckelig – die Orginale kann man hier anschauen (Achtung, externer Link auf Youtube).
Übungsaufgaben:
Lehreinheit 9: Generative Modelle auf Basis tiefer Netze
(08.06.2021 – 14.06.2021)
Als ein (wichtiges und interessantes) Beispiel für komplexere Techniken für die Modellierung tiefer Netze schauen wir uns das Problem an, generative Modelle zu lernen. Das heißt, wir möchten aus Beispielen eine Wahrscheinlichkeitsverteilung rekonstruieren, um diese danach für allerlei Anwendungen einsetzen zu können. Was auf den ersten Blick nach einen recht harmlosen und grundlegenden Problem klingt, entpuppt sich als doch ziemlich herausfordernd.
Video 09 – Einführung in tiefe neuronale Netze: (Teil c: 95min)
- Video 09c Tiefes Lernen – Generative Modelle (95min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 09:
Folien (PDF)
- Zusammenfassung zum Nachlesen:
Skript, Kapitel 09
Weiterführende Quellen & Literatur:
- Karras et al. 2017: Progressive Growing of GANs [paper], [code].
Diese Arbeit ist nicht nur die Grundlage der derzeit besten GAN-Implementierungen – das Paper enthält auch eine sehr gut Anleitung, wie man ein (W-)GAN stabil trainieren kann. Wenn man den Schritte im Paper genau folgt, sollte es funktionieren.
- Karras et al.: ProGAN, StyleGAN, StyleGAN2,… – Eine Übersicht über State-of-the-Art GAN Methoden von diesem Team.
Übungsaufgaben:
Lehreinheit 10: Nachtrag & Ausblick auf das letzte Drittel der Vorlesung
(15.06.2021 – 21.06.2021)
In dieser Woche folgt noch ein Nachtrag zu Video 07 – eine ausführlichere Diskussion von Bayes’scher Modellauswahl/Inferenz mit Marginalisierung. Um das alles besser zuverstehen, stellen wir es in den Kontext von “Minimum-Description-Length”-Ansätzen, welche versuchen, Daten möglichst kompakt zu beschreiben. Außerdem gibt es eine kurze Überleitung von Video 09 (tiefes Lernen) zu der Analyse von tiefen Netzen in den letzten Lehreinheiten.
Video 10 – Deep Learning ist also magic; also was nun?: (11min)
- Video 10+ Einstieg – Wie geht es nun weiter? (11min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 10+-Einstieg:
Folien (PDF)
Nachtrag: – Video 07c zur Generalisierung: (80min)
* Video 07c – Bayesian Model Selection (80min):
groß (1920x1080) klein (853x480)
* …und hier nochmal der Link zu den Folien für Kapitel 07:
Folien (PDF)
Weiterführende Quellen & Literatur:
Übungsaufgaben:
Lehreinheit 11: Datenräume
(22.06.2021 – 28.06.2021)
Dieses Mal schauen wir uns an, welche Eigenschaften der Raum hat, in dem unsere Daten “leben”.
- Zunächst ist die Dimension wichtig – hohe Dimensionen sind (wie wir schon wiederholt gesehen haben) der Schlüssel zum Erfolg und damit leider auch zu den meisten Problem.
- Ein netter Trick ist die “(neu-)Einbettung” von Daten in einen transformierten Raum (Feature-Space). Unter gewissen Bedinungen können wir mit solchen transformierten Daten genauso rechnen, wie mit den originalen (ohne wesentliche zusätzliche Kosten durch die Transformation). Dies erlaubt nicht nur flexiblere ML-Algorithmen, sondern ist auch ein nützliches Analysewerkzeug.
- Schließlich schauen wir uns deformierte Räume an, bei denen der Raum selbst nicht “gerade” ist.
Das Video ist relativ umfangreich und streckt sich über zwei Wochen (siehe LE12). In dieser Woche sollten Sie sich Video 10a anschauen, und Video 10b etwa bis zur Hälfte (ca. Folie 83, bevor die Beispiele für GP beginnen)..
Video 10 – Space: (87min von 127min)
- Video 10a.1 Pirates of the ℝd – the Curse of Dimensionality. (28min):
groß (1920x1080) klein (853x480)
- Video 10a.2 Algorithmic issues in high dimension. (19min):
groß (1920x1080) klein (853x480)
- Video 10b Virtual Euclidean Space – Kernel methods. (40min von 80min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 10:
Folien (PDF)
Weiterführende Quellen & Literatur:
- Hoch-dimensionale Räume
- Kernel-Methoden
- Analyse von DNNs / Netzwerke als GPs
- R.M. Neal: Bayesian Learning for Neural Networks. Springer-Verlag, 1996. https://www.cs.toronto.edu/~radford/ftp/pin.ps
- C. Zhang, S. Bengio, M. Hardt, B. Recht, O. Vinyals: Understanding deep learning requires rethinking generalization. ICLR 2017. https://arxiv.org/pdf/1611.03530.pdf
- A. Achille, S. Soatto: Emergence of Invariance and Disentanglement in Deep Representations. Journal of Machine Learning Research 18 (2018) 1-34. https://arxiv.org/pdf/1706.01350.pdf
- M. Belkin, D. Hsu, S. Ma, S. Mandal: Reconciling modern machine-learning practice and the classical bias–variance trade-off. Proc. of the National Academy of Sciences 116 (32), 15849-15854, 2019. https://arxiv.org/pdf/1812.11118.pdf
- P. Nakkiran, G. Kaplun, Y. Bansal, T. Yang, B. Barak I. Sutskever: Deep Double Descent: Where Bigger Models and More Data Hurt. ICLR 2020. https://openreview.net/forum?id=B1g5sA4twr
- Bayesian Model Averaging for DNNs
Übungsaufgaben:
Lehreinheit 12: Datenräume, Teil II
(29.06.2021 – 05.07.2021)
Wir setzen die Reihe zu (transformierten und gekrümmten) Raum fort.
Schauen Sie sich diese Woche am besten die erste Hälfte von Video 10b an (ca. 50min/100min), und den Rest in der kommenden Woche.
Video 10 – Space:
- Video 10b Virtual Euclidean Space – Kernel methods. (40min von 80min):
groß (1920x1080) klein (853x480)
- Video 10c Manifolds – Space itself is bend. (50min von 100min):
groß (1920x1080) klein (853x480)
- Nachtrag/Korrekturen zum Video:
Addendum zu Video 10c
- Folien Kapitel 10:
Folien (PDF)
Weiterführende Quellen & Literatur:
Übungsaufgaben:
Lehreinheit 13: Manigfaltigkeiten & Symmetrie
(06.07.2021 – 13.07.2021)
Wir schließen das Kapitel zu differentialgeometrischen Modellen ab und schauen uns kurz an, was Symmetrie und Gruppentheorie für uns tun können.
Video 10 – Space:
- Video 10c Manifolds – Space itself is bend. (die letzten 50min von 100min):
groß (1920x1080) klein (853x480)
- Nachtrag/Korrekturen zum Video:
Addendum zu Video 10c
- Folien Kapitel 10:
Folien (PDF)
Video 11 – Symmetrie:
- Video 11a: Symmetrie ist nicht vorhandene Information. (16min):
groß (1920x1080) klein (853x480)
- Video 11b: Gruppentheorie! (34min):
groß (1920x1080) klein (853x480)
- Video 11c: Equivarianz – Strukturerhaltende Änderungen (24min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 11:
Folien (PDF)
Weiterführende Quellen & Literatur:
- Mary Phuong, Christoph H. Lampert: Functional vs. parametric equivalence of ReLU networks. ICLR 2020. https://openreview.net/forum?id=Bylx-TNKvH
Das Paper diskutiert, welche unterschiedlichen ReLU Netzwerke die selbe Funktion berechnen können. Für diese Repräsentationssymmetrie gibt es (vielleicht überraschend) relativ wenige Freiheiten.
- Taco S. Cohen, Max Welling: Group Equivariant Convolutional Networks. ICML 2016. https://arxiv.org/abs/1602.07576 Das Paper erklärt, wie man CNNs zu Netzwerken verallgemeinern kann, die unter allgemeinen Symmetriegruppen equivariant sind.
- Allan Zhou, Tom Knowles, Chelsea Finn: Meta-learning Symmetries by Reparameterization. ICLR 2021. https://openreview.net/pdf?id=-QxT4mJdijq
Das Paper zeigt eine Methode, mit der man Symmetrien für ein Netzwerk lernen kann.
- Crystallographic Space Groups: Wikipedia – alle zweihundernd-und-ein-paar verschiedenen Strukturen für Kristalle (Raumgruppen), und die wilde Geschichte, wie sie entdeckt wurden. Bonus: Dann hat noch jemand 5-fache Rotationssymmetrie gefunden, die es beweisbar nicht geben kann. Quasikristalle
- Niloy J. Mitra, Mark Pauly, Michael Wand, Duygu Ceylan: Symmetry in 3D Geometry: Extraction and Applications. Eurographics State-of-the-Art-Report, 2012.
Ein Survey-Paper aus der Computergraphik über Symmetrie, mit einem etwas pragmatischeren und algorithmischem Ansatz. Aus alten Zeiten :-)
Übungsaufgaben:
Lehreinheit 14: Auf der Jagd nach dem universellen Prior…
(13.07.2021 – 16.07.2021)
Das letzte Video beschäftigt sich damit, wie die Welt da draußen funktioniert. Dazu schauen wir uns zunächst an, wie/ob/vielleicht physikalische Gesetze Hinweise geben können, wie wir maschinelle Lernverfahren gestalten sollten. Danach beschäftigen wir uns mit Modellen, die selbstorganisierend Systeme beschreiben.
Dieser letzte Abschnitt ist in Teilen etwas spekulativer, da hier noch viele ungelöste Fragen drin stecken.
Hinweis: Video 12 (also LE 14) ist nicht prüfungsrelevant. Es gibt auch keine Übungsaufgabe (mehr) dazu.
Video 12 – Physics & Self-Organization:
- Video 12a Physics – Just another parallel machine? (53min - optional):
groß (1920x1080) klein (853x480)
- Video 12b Self-Organization & Emergent Structure (62min - optional):
groß (1920x1080) klein (853x480)
- Folien Kapitel 12:
Folien (PDF)
Weiterführende Quellen & Literatur:
- Henry W. Lin, Max Tegmark, David Rolnick: Why does deep and cheap learning work so well? Journal of Statistical Physics volume 168, pages 1223–1247, 2017. https://arxiv.org/abs/1608.08225
Das Paper stellt genau die Fragen aus dem Video, und gibt einige Analysen, aber wohl keine endgültige Antwort. Trotzdem sehr zu empfehlen.
Übungsaufgaben: Zur letzten LE gibt es keine Übungsaufgaben mehr.
Zusammenfassung & abschließende Worte: Rückblick und Einordnung
Nun ist die Vorlesung rum. Das aller-letzte Video gibt einen ganz kurzen Rückblick und ordnet die Themen nochmal etwas ein.
Video 13 – Concluding Remarks:
- Video 13 (10min):
groß (1920x1080) klein (853x480)
- Folien Kapitel 13:
Folien (PDF)
Das Modellierung-2 Team im Sommersemester 2021 hofft, dass Ihnen die Veranstaltung gefallen hat, und insbesondere, dass Sie viele interessante neue Konzepte kennengelernt haben.
Prüfungen: Die Prüfungen werden als mündliche Prüfungen stattfinden.
Wichtig: Themen, Inhalte und Termine werden hierzu nochmal genau abgesprochen (in der letzten Übungsstunde bzw. persönlich).
Datenschutz
Impressum