Letztes Update: 06. Januar 2026
Wie auf der Hauptseite beschrieben, können Sie eines der unten genannten Themen auswählen; es ist aber auch möglich, eigene Vorschläge einzubringen (dies bitte möglichst bereits in der Vorbesprechung diskutieren/absprechen).
Um ein Thema (verbindlich!) zu wählen, posten Sie den Namen des Papers in den Teams-Kanal “Themenauswahl”. Schauen Sie dort vorher nach, ob das Thema schon vergeben wurde. Falls Sie einen eigenen Vorschlag machen möchten, besprechen Sie dies bitte zunächst mit uns in den entsprechenden Treffen. Themen grundsätzlich first-come-first-served vergeben.
Seminarvorträge
Jedes Thema besteht aus ein oder mehreren Papers. Aufgabe für das Seminar ist es, die wichtigen / interessanten Inhalte diese Papers wiederzugeben. Die Entscheidung darüber, was besonders betont werden soll, liegt dabei bei den Studierenden, die das Thema bearbeiten. Teil der Bewertung ist dabei natürlich auch, wie gut diese Auswahl gelungen ist (hat man wirklich entscheidende Aspekte verstanden und gut vermittelt?). Ein Fokus auf eine Teilmenge der Inhalte ist dabei fast immer notwendig.
Für jedes Thema ist auch angegeben, ob es für B.Sc., M.Sc. oder beides (dann mit höheren Erwartungen im Master) geeignet ist. M.Sc. Themen sind immer auch für B.Sc. Studierende (auf freiwilliger Basis; sollten B.Sc. Themen fehlen, bitte Bescheid geben) zulässig.
Experimente für Seminarvortrag und Ausarbeitung
Dieses Semester ist der experimentelle Teil optional. Sie haben grundsätzlich zwei Möglichkeiten:
Wenn nur die Originalquellen zusammengefasst werden, muss die Ausarbeitung ausführlicher sein als wenn eigene Experimente gemacht werden (ca. 2x so viel Umfang). Bei einer experimentellen Ausarbeitung sollten die Originalquelle auch ganz kurz beschrieben werden; dies ist aber nicht der Hauptfokus.
Details siehe hier.
Diese Themen passen zur Deep-Learning Veranstaltung (ggf. auch Modellierung 1 bei Vorkenntnissen in ML).
Paper:
Guillermo Valle-Pérez, Chico Q. Camargo, Ard A.
Louis
Deep learning generalizes because the parameter-function map is
biased towards simple functions
ICLR 2019
https://openreview.net/forum?id=rye4g3AqFm
Inhalt: Anhand von Experimenten mit Boolschen Funktionen stellen die Autoren fest, dass DNNs einen starken Bias zu einfach kodierbaren Funktionen haben.
Aufgabe: Stellen Sie das Kernergebnis des Papers vor und erklären Sie, auf welcher Grundlage die Autoren zu ihrem Schluss kommen (Nicht von formalen Details ablenken lassen :-) ).
Paper:
Chris Mingard, Guillermo Valle-Pérez, Joar Skalse, Ard A.
Louis:
Is SGD a Bayesian sampler? Well, almost.
Journal of Machine Learning Research 22 (2021)
1-64
https://www.jmlr.org/papers/volume22/20-676/20-676.pdf
Inhalt: Das Paper liefert Indizien dafür, dass unter gewissen Bedingungen das Optimieren von DNNs mit SGD äquivalent zu Sampling aus der Initialisierungsverteilung ist, wobei man mit dem Sampling stoppt, wenn der Datenterm richtig passt (es gibt natürlich einige Subtilitäten zu beachten, wie immer.)
Aufgabe: Das Kernergebnis des Papers erklären, und vorstellen, welche Evidenz die Autoren dafür gefunden haben. (Das Paper ist relativ lang, daher der Fokus auf das Wesentliche!)
Paper:
Chris Mingard, Henry Rees, Guillermo Valle-Pérez, Ard A
Louis:
Deep neural networks have an inbuilt Occam’s razor
Nature Communications volume 16, Article number: 220,
2025.
https://www.nature.com/articles/s41467-024-54813-x
Inhalt: In dieser Folgearbeit wird herausgearbeitet, dass DNNs bevorzugt “einfache” Funktionen lernen. Einfachheit wird dabei mit Hilfe von Kompressionsverfahren gemessen.
Aufgabe: Auch in diesem Paper werden viele Dinge angesprochen – arbeiten Sie die wichtigsten Ergebnisse heraus und stellen Sie vor, welche Evidenz die Autoren einbringen, um ihre These zu belegen.
Paper:
Chris Mingard, Lukas Seier, Niclas Göring,
Andrei-Vlad Badelita, Charles London, Ard
Louis:
Characterising the Inductive Biases of Neural Networks on Boolean
Data
https://arxiv.org/abs/2505.24060
Inhalt: Man kann alles das bisher gelernte nun darauf anwenden, Boolesche Funktionen zu lernen und sieht dabei wieder die selben Ergebnisse.
Aufgabe: Auch hier: Was sind die Kernergebnisse, und welche Beweise/Indizien gibt es dafür?
Paper:
Ping-yeh Chiang, Renkun Ni, David Yu Miller, Arpit
Bansal,
Jonas Geiping, Micah Goldblum, Tom
Goldstein:
Loss Landscapes are All You Need: Neural Network Generalization
Can Be Explained
Without the Implicit Bias of Gradient Descent
ICLR 2023
https://openreview.net/pdf?id=QC10RmRbZy9
Inhalt: Das Paper optimiert (einfache) DNNs durch ausprobieren statt SGD und erhält ebenfalls gute Generalisierung. Ähnlich zu “Thema A.2” erhält man wiederum Anhaltspunkte dafür, dass die Struktur des Netzwerkes für den induktiven Bias verantwortlich ist, und (eher) nicht das Optimierungsverfahren.
Aufgabe: Die wichtigen Kernergebnisse isolieren, zusammen und erklären, welche (empirischen) Indizien das Paper dafür anführt.
Paper:
Damien Teney, Armand Mihai Nicolicioiu, Valentin
Hartmann, Ehsan Abbasnejad:
Neural Redshift: Random Networks are not Random Functions
CVPR 2024
https://openaccess.thecvf.com/content/CVPR2024/papers/Teney_Neural_Redshift_Random_Networks_are_not_Random_Functions_CVPR_2024_paper.pdf
Inhalt: Das Paper schaut sich zufällig initialisierte Netzwerke an und misst deren “Komplexität” in verschiedener Form. Dabei stellt sich heraus, das verschiedene architektonische Faktoren Einfluss darauf haben, wie diese Maße ausfallen. Das Paper stellt dies (auch) als Verallgemeinerung der Ergebnise von A.5 dar.
Aufgabe: Auch hier: Was sind die Kernergebnisse, und welche Beweise/Indizien gibt es dafür? Auch hier ist es wieder mal wichtig, zu überlegen, was die wichtigsten Ergebnisse und Ideen sind.
Nasim Rahaman, Aristide Baratin, Devansh Arpit, Felix
Draxler,
Min Lin, Fred A. Hamprecht, Yoshua Bengio, Aaron
Courville:
On the Spectral Bias of Neural Networks
ICML 2019
https://arxiv.org/pdf/1806.08734
Inhalt: Ein Klassiker – mit diesem Paper wurde die Erkenntnis eingeführt, das DNNs niederfrequente Signale leichter lernen können als hochfrequente; dieser induktive Bias erklärt zwar nicht alles, was DL ausmacht, ist aber ein wichtiger und inzwischen allgemein akzeptierter Aspekt.
Aufgabe: Erklären Sie den Spektral Bias und erklären Sie, wie das Paper diesen auf verschiedenen Wegen zu fassen versucht. Wie immer: Fokus auf das Wesentliche ist auch hier entscheidend.
Diese Themen sind auf die Veranstaltung “Statistical Geometry Processing” ausgerichtet. Bei allen Themen geht es um Symmetrieerkennung, also darum, wiederkehrende Bausteine in Geometrie zu erkennen. Eine Kombination mit Modellierung 1 ist ebenfalls möglich, bei geeigneten Vorkenntnissen.
Aufgabe: In allen Fällen handelt es sich um angewandte Papers, die Methoden vorstellen. Teilweise sind die konzeptionell einfach aber relativ komplex, teilweise eher theoretisch motiviert. Sie sollten in jeden Fall die Kernideen herausarbeiten und kritisch hinterfragen, in welchen Szenarien die Methoden funktionieren können bzw. welche expliziten oder impliziten Annahmen gemacht werden, damit die Methoden einsetzbar sind. Dies stammt alles noch aus einer Zeit vor dem DL-Rush, also bevor Mustererkennung “einfach” geworden war :-)
Inhalt: Eines der bekanntesten Papers zu dem Thema; es nutzt eine Variante der Hough-Transformation zur Erkennung wiederkehrender Korrespondenzen.
Mitra N. J., Guibas L., Pauly M.:
Partial and approximate symmetry detection for 3d geometry.
Siggraph 2006.
http://vecg.cs.ucl.ac.uk/Projects/SmartGeometry/approx_symmetry/approx_symm_sig_06.html
Inhalt: Ein weiterer Klassiker – diesmal wird die Methode aus B.1 auf die Erkennung regelmäßig wiederkehrender Muster erweitert.
Pauly M., Mitra N. J., Wallner J., Pottmann H., Guibas
L.:
Discovering structural regularity in 3D geometry.
SIGGRAPH 2008
http://vecg.cs.ucl.ac.uk/Projects/SmartGeometry/structure/paper_docs/structure_sig_08.pdf
Inhalt: Eine unserer eigenen Arbeiten zu dem Thema. Durch Nutzung robuster Features kann man gute praktische Ergebnisse für bestimmte Arten von Szenen bekommen.
Bokeloh M., Berner A., Wand M., Seidel H.-P.,
Schilling A.:
Symmetry detection using line features.
Eurographis 2009
https://www.staff.uni-mainz.de/wandm/papers/SymmetryDetectionUsingFeatureLines.pdf
Inhalt: Eine wirklich hübsche Anwendung: Automatisierung von 3D Editing durch Ausnutzung von Regularitäten.
Paper:
R. Gal, O. Sorkine , N. J. Mitra, D.
Cohen-Or:
iWires: An Analyze-and-Edit Approach to Shape Manipulation.
Siggraph 2009
https://igl.ethz.ch/projects/iWires/index.php
Paper:
Kim V., Lipman Y., Chen X., Funkhouser T.:
Mobius transformations for global intrinsic symmetry
analysis.
Symposium on Geometry Processing 2010
https://vovakim.com/projects/MobiusSymmetry/
Inhalt: Wie wäre es mit intrinsischer Symmetrie (globale Symmetry in Bezug auf intrinische Isometrien)? Diese Arbeit ist mathematisch sehr elegant, indem sie die Einbettung von Symmetrien in die größere Gruppe konformer Abbildungen ausnutzt.
Hier noch zwei Papers, die stärker auf Methoden aus Modellierung 1 abzielen (in Anwendung auf Probleme in der Computer Graphik). Auch hierbei geht es wieder primär um Symmetrie; es steht aber eher die Modellierung und weniger die Analyse/Mustererkennung im Mittelpunkt. Diese Papers können aber auch für Statistical Geometry Processing gewählt werden.
Paper:
Xiaokun Wu, Michael Wand, Klaus Hildebrandt, Pushmeet
Kohli, Hans-Peter Seidel:
Real-Time Symmetry-Preserving Deformation.
Computer Graphics Forum 33(7) (Pacific Graphics
2014)
https://graphics.tudelft.nl/~klaus/papers/SymDef.pdf
Inhalt: Noch ein Ergebnis aus unserer eigenen Gruppe. Man kann eine strukturerhaltende Deformation eines geometrischen Objektes als Funktion, die Gruppenwirkungen isomorph erhält charakterisieren, was zu einem einfachen (fast) linearen Gleichungssystem führt, was man schnell und einfach lösen kann. Das klingt alles sehr kompliziert, ist es aber gar nicht. Die Idee ist ziemlich simpel :-)
Aufgabe: Was ist die Kernidee, und wie wurde die umgesetzt? Es lohnt sich auch, kritisch zu diskutieren, wie tragfähig der Ansatz in der Praxis sein könnte.
Paper:
Martin Bokeloh, Michael Wand, Hans-Peter Seidel, Vladlen
Koltun:
An Algebraic Model for Parameterized Shape Editing.
SIGGRAPH 2012.
https://www.staff.uni-mainz.de/wandm/papers/algebraic-model-siggraph2012.pdf
Inhalt: Ein System, das reguläre Muster in Formen unter Deformationen/Editieren erhält. Relativ viel Engineering, aber die Kernidee(n) ist (sind) relativ einfach.
Aufgabe: Was sind die Kernideen, und wie wurde die umgesetzt? Wozu braucht man eigentlich die SVD? Auch hier: Es lohnt sich, kritisch zu diskutieren, wie tragfähig der Ansatz in der Praxis sein könnte, und wo er nicht mehr funktionieren wird.