Vorlesung “Modellierung 2”
Vorlesungsvideos & Lehreinheiten

Literatur: Die folgenden Quellen, die zum Teil im Video bereits erwähnt wurden, vertiefen den Vorlesungsstoff

• Aaron Hertzman: Introduction to Bayesian Learning. ACM Siggraph 2004 Course.
  [Project Page] [Course Notes] [Course Slides]
  Bemerkung: Eine kompakte und einsteigerfreundliche / praxisorientierte Einführung in Bayessche Statistik. Wenn man nicht viel Zeit zum Lesen hat, steht hier (fast) alles wichtige auf den Punkt gebracht.
• David J.C.MacKay: Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003. Online Version.
  Bemerkung: Ein sehr empfehlenswertes Lehrbuch über Bayessche Statistik, maschinelles Lernen und die Verbindung zur Informationstheorie.
• Richard O. Duda, Peter E. Hart, David G. Stork: Pattern Classification, Second Edition. Wiley, 2001.
  Bemerkung: Eine einsteigerfreundliche Einführung in Bayessche Statistik und Klassifikationsalgorithmen, die darauf aufbauen. Das Buch startet mit dem Fisch-Classifier, der Vorbild für das Beispiel mit der automatischen Supermarktwaage im Video war.

Literatur: Die folgenden Quellen, die im Video erwähnt wurden, vertiefen den Vorlesungsstoff

• Wiederholung Mod-1: Zusätzliche Informationen zu den Tehmen aus Modellierung 1 mit Abschnitten zu Least-Squares, PCA und Variationsmodellierung (in der Liste für Modellierung 1 siehe Video 14 für “Least-Squares”, Video 16 für “PCA” und das Ende von Video 21 für die Bildrekonstruktion).
• Klassische Klassifizierer Mehr Details zur logistischen Regression Stanford CS229 Course Notes 1 (A. Ng), Stanford CS229 Course Notes 2 (J. Duchi), Wikipedia
• Statistik der Bildrekonstruktion (Hintergrundmaterial zur 1-norm): Daniel L. Ruderman: The statistics of natural images. In: Network: Computation in Neural Systems (5) 1994 517-548.

Literatur: Die folgenden Quellen, die im Video erwähnt wurden, vertiefen den Vorlesungsstoff

• Massimiliano Tomassoli: Information Theory for Machine Learning, 2016.
  https://github.com/mtomassoli/papers/blob/master/inftheory.pdf
• David J.C.MacKay: Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003. Online Version.

Literatur: Nachlesen kann man das alles nochmal hier

• Zum No-Free-Lunch-Theorem:
  Richard O. Duda, Peter E. Hart, David G. Stork: Pattern Classification, Second Edition. Wiley, 2001.
• Bias-Variance-Trade-Off:
  Andrew Ng: CS229 Lecture notes “Learning Theory”. http://cs229.stanford.edu/notes2020spring/cs229-notes4.pdf
• More on Statistical Learning Theory (1):
  Tengyu Ma: Stanford CS229t “Statistical Learning Theory” courses notes. https://github.com/tengyuma/cs229m_notes/blob/main/master.pdf
• More on Statistical Learning Theory (2):
  Percy Liang: Stanford CS229t “Statistical Learning Theory” courses notes Winter 2016. https://web.stanford.edu/class/cs229t/2017/Lectures/percy-notes.pdf

Literatur: Die Hingergründe sind technisch etwas anspruchsvoller. Daher ist es hier besonders zu empfehlen, die Quellen genau zu lesen, auf denen das Video basiert.

• Als erstes geht es um MDL. Die zentrale Quelle dazu ist:
  Peter Grunwald: A tutorial introduction to the minimum description length principle. https://arxiv.org/pdf/math/0406077.pdf, 2004.
• Eingangs wurden auch allgemeinere Coding-Length-Ansätze mit universellen Maschinen angesprochen, siehe hierzu z.B.: Materialien von J. Schmidhuber zu universellen Lernalgorithmen (mit weiteren Quellen) und dem Speed-Prior.
• Der Zusammenhang von MDL und Bayes’scher Inferenz wird im Buch von D. MacKay gut erklärt (Kapitel IV-28):
  David J.C.MacKay: Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003. Online Version.
  Bemerkung: Grunwald widerspricht der Einstellung zu einem gewissen grade; siehe daher auch die Diskussion dazu in der ersten Quelle.
• Wer noch tiefer einsteigen möchte: MacKay erwähnt, dass Bayes’sche Inferenz mit Modellgewichtung “echte” Priors braucht. Die folgende Quelle erklärt, wo es sonst schiefgehen kann:
  A.P. Dawid, M. Stone, J.V. Zidek: Critique of E.T. Jaynes’s “Paradox of Probability Theory”, https://www.ucl.ac.uk/drupal/site_statistics/sites/statistics/files/rr172.pdf, 2003.
  

Literatur: Mehr zu GANs

• Blog Artikel mit Übersicht über GAN und WGAN (und vielen weiteren Quellen): Lillian Weng: From GAN to WGAN, https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html
• Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen: Progressive Growing of GANs, ICLR 2018 [paper], [code].
  Diese Arbeit ist nicht nur die Grundlage der derzeit besten GAN-Implementierungen – das Paper enthält auch eine sehr gut Anleitung, wie man ein (W-)GAN stabil trainieren kann. Wenn man den Schritte im Paper genau folgt, sollte es funktionieren.
• Karras et al.: ProGAN, StyleGAN, StyleGAN2,… – Eine Übersicht über State-of-the-Art GAN Methoden von diesem Team.

Beispiel für Normalizing Flows:

• Laurent Dinh, Jascha Sohl-Dickstein, Samy Bengio: Density estimation using Real NVP. ICLR 2017, https://openreview.net/forum?id=HkpbnH9lx.

Literatur: Der Fluch der hohen Dimension. Außerdem: Kernels

• Hoch-dimensionale Räume
  • Zum JS-Lemma: S. Dasgupta, A. Gupta: An Elementary Proof of a Theorem of Johnson and Lindenstrauss. Random Structures and Algorithms, 22(1):60-65, 2003, https://cseweb.ucsd.edu/~dasgupta/papers/jl.pdf
  • Monte-Carlo Integration: Andrew Glassner: Principles of Digital Image Synthesis, Morgan-Kaufmann, 1995. https://www.realtimerendering.com/Principles_of_Digital_Image_Synthesis_v1.0.1.pdf
• Kernel-Methoden
  • Mehr zu Kernel-Methoden allgemein: John Shawe-Taylor, Nello Cristianini: Kernel Methods for Pattern Analysis. Cambridge University Press, 2004.
  • Modellierung-1 Videos. Duale PCA / MDS wird in Video 17 “MDS & Co - Multi-Dimensional Scaling” erklärt, die Grundlagen (PCA) in Video 16 “Hauptachsenanalyse (Principal Component Analysis/PCA)”.

Literatur: Gaussche Prozesse & Analyse von tiefen Netzen

• Gaussche Prozesse Allgemein
  • Carl Edward Rasmussen, Christopher K. I. Williams: Gaussian Processes for Machine Learning. MIT Press, 2006. http://www.gaussianprocess.org/gpml/
• Analyse von DNNs / Netzwerke als GPs
  • R.M. Neal: Bayesian Learning for Neural Networks. Springer-Verlag, 1996. https://www.cs.toronto.edu/~radford/ftp/pin.ps
  • C. Zhang, S. Bengio, M. Hardt, B. Recht, O. Vinyals: Understanding deep learning requires rethinking generalization. ICLR 2017. https://arxiv.org/pdf/1611.03530.pdf
  • A. Achille, S. Soatto: Emergence of Invariance and Disentanglement in Deep Representations. Journal of Machine Learning Research 18 (2018) 1-34. https://arxiv.org/pdf/1706.01350.pdf
  • M. Belkin, D. Hsu, S. Ma, S. Mandal: Reconciling modern machine-learning practice and the classical bias–variance trade-off. Proc. of the National Academy of Sciences 116 (32), 15849-15854, 2019. https://arxiv.org/pdf/1812.11118.pdf
  • P. Nakkiran, G. Kaplun, Y. Bansal, T. Yang, B. Barak I. Sutskever: Deep Double Descent: Where Bigger Models and More Data Hurt. ICLR 2020. https://openreview.net/forum?id=B1g5sA4twr
• Bayesian Model Averaging for DNNs
  • A. Gordon W. P. Izmailov: Bayesian Deep Learning and a Probabilistic Perspective of Generalization, 2020. https://arxiv.org/pdf/2002.08791.pdf

Literatur: Zur Symmetrie

• Mary Phuong, Christoph H. Lampert: Functional vs. parametric equivalence of ReLU networks. ICLR 2020. https://openreview.net/forum?id=Bylx-TNKvH
  Das Paper diskutiert, welche unterschiedlichen ReLU Netzwerke die selbe Funktion berechnen können. Für diese Repräsentationssymmetrie gibt es (vielleicht überraschend) relativ wenige Freiheiten.
• Taco S. Cohen, Max Welling: Group Equivariant Convolutional Networks. ICML 2016. https://arxiv.org/abs/1602.07576 Das Paper erklärt, wie man CNNs zu Netzwerken verallgemeinern kann, die unter allgemeinen Symmetriegruppen equivariant sind.
• Allan Zhou, Tom Knowles, Chelsea Finn: Meta-learning Symmetries by Reparameterization. ICLR 2021. https://openreview.net/pdf?id=-QxT4mJdijq
  Das Paper zeigt eine Methode, mit der man Symmetrien für ein Netzwerk lernen kann.
• Crystallographic Space Groups: Wikipedia – alle zweihundernd-und-ein-paar verschiedenen Strukturen für Kristalle (Raumgruppen), und die wilde Geschichte, wie sie entdeckt wurden. Bonus: Dann hat noch jemand 5-fache Rotationssymmetrie gefunden, die es beweisbar nicht geben kann. Quasikristalle
• Niloy J. Mitra, Mark Pauly, Michael Wand, Duygu Ceylan: Symmetry in 3D Geometry: Extraction and Applications. Eurographics State-of-the-Art-Report, 2012.
  Ein Survey-Paper aus der Computergraphik über Symmetrie, mit einem etwas pragmatischeren und algorithmischem Ansatz. Aus alten Zeiten :-)

Literatur: Physik + ML

• Henry W. Lin, Max Tegmark, David Rolnick: Why does deep and cheap learning work so well? Journal of Statistical Physics volume 168, pages 1223–1247, 2017. https://arxiv.org/abs/1608.08225
  Das Paper stellt genau die Fragen aus dem Video, und gibt einige Analysen, aber wohl keine endgültige Antwort. Trotzdem sehr zu empfehlen.
• Daniel A. Roberts, Sho Yaida, Boris Hanin: The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks. Cambridge University Press 2022. Online: https://arxiv.org/abs/2106.10165
  Hier wird noch tiefer in die Trickkiste der theoretischen Physik gepackt, mit erstaunlichen Einsichten.