Seminar “Visual Computing”, Sommersemester 2020

Alexander Mordvintsev, Ettore Randazzo, Eyvind Niklasson, Michael Levin:
Growing Neural Cellular Automata - Differentiable Model of Morphogenesis.
distill.pub 2020 https://distill.pub/2020/growing-ca/

Inhalt: Die Methode lernt zelluläre Automaten, die selbstständig bestimmte Bilder bauen. Die online-Publikation enthält ein nettes live-Demo in JS.

Aufgabe: Erklären Sie die Idee und die Method, und ein wenig die Hintergründe (zelluläre Automaten).

Anspruch: Einfach, aber sehr hübsch.

Betreuer: Jan DISSELHOFF

Wenling Shang, Kihyuk Sohn, Diogo Almeida, Honglak Lee:
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units.
ICML 2016

Inhalt: Das Paper führt die CReLu Nichtlinearität ein, die mehr Informationen erhält, und nutzt dies (auc) für Visualisierungen von Netzwerken.

Aufgabe: Fassen Sie die Methoden und Ergebnisse zusammen.

Anspruch: / Die Grundidee ist recht einfach, man kann aber auch tiefer einsteigen.

Betreuer: Jan DISSELHOFF

Cecilia Summers, Michael J. Dinneen:
Four Things Everyone Should Know to Improve Batch Normalization.
ICLR 2020

Inhalt: Vier einfache kleine Verbesserungen, mit denen man die Performance von BN-Netzwerken etwas verbessern kann (ohne großen Aufwand). Dazu ein schöner Überblick über die verschiedenen Normalisierungsstrategien.

Aufgabe: Erklären Sie die grundlegenden Normalisierungsschemata (BatchNorm, InstanceNorm, GroupNorm, LayerNorm) und danach, welche Tricks hier vorgeschlagen wurden. Damit es nicht ausufert, können Sie sich eine Teilmenge aussuchen, die Sie genauer vorstellen (und den Rest nur am Rande erwähnen).

Anspruch: Im Master wird eine tiefere Diskussion der Grundlagen und Zusammenhänge erwartet.

Betreuer: David HARTMANN

Andrew Brock, Jeff Donahue, Karen Simonyan:
Large Scale GAN Training for High Fidelity Natural Image Synthesis.
ICLR 2019

Inhalt: Das Paper beschreibt, wie man durch Regularisierung des Spektrums von Generator und Diskriminator bessere GANs erhalten kann.

Aufgabe: Fassen Sie die Ergebnisse und Ideen zusammen. Master: Stellen Sie es in den Kontext anderer Ansätze aus der Literatur.

Anspruch: Die Methode ist nicht schwer zuverstehen, aber die Einordnung in das - relativ wilde - Gebiet des GAN-Trainings macht das Paper dennoch recht anspruchsvoll.

Betreuer: Sebastian BRODEHL

Hadi Amiri, Timothy Miller, Guergana Savova:
Repeat before Forgetting: Spaced Repetition for Efficient and Effective Training of Neural Networks.
Proc. of the 2017 Conference on Empirical Methods in Natural Language Processing

Inhalt: Netzwerke für NLP (natural language processing) lernen schneller, wenn man Erkenntnisse über Gedächnisbildung und Lernen aus der Psychologie anwendet.

Aufgabe: Fassen Sie die Ergebnisse und Methodik der Studie zusammen.

Anspruch: / Im Schwerpunkt empirisch, Theorie relativ leicht zugänglich. Interdisziplinärer Hintergrund.

Betreuer: Jan DISSELHOFF

Jiasen Lu, Jianwei Yang, Dhruv Batra, Devi Parikh:
Neural Baby Talk.
CVPR 2018

Inhalt: Eine State-of-the-Art Methode für “Image Captioning”, also das automatische Beschreiben von Bildinhalten.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: Relativ komplexes System, aber keine schwarze Magie.

Betreuer: Christian ALI MEHMETI-GÖPEL

Mohammad Babaeizadeh, Golnaz Ghiasi:
Adjustable Real-Time Style Transfer.
ICLR 2020
https://sites.google.com/view/stochss/

Inhalt: Eine neue Methode für Style-Transfer, die in Echtzeit läuft und bei der man trotzdem Parameter zur Laufzeit einstellen kann.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: /

Betreuer: Daniel FRANZEN

Jordan T. Ash, Chicheng Zhang, Akshay Krishnamurthy, John Langford, Alekh Agarwal:
Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds.
ICLR 2020

Inhalt: Aktives Lernen (d.h., das Lernverfahren fragt aktiv nach Beispielen nach, um schneller zu lernen) durch abwechselndes Training und Clustering.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch:

Betreuer: Daniel FRANZEN

Lucas Fidon, Wenqi Li, Luis C. Garcia-Peraza-Herrera, Jinendra Ekanayake, Neil Kitchen, Sebastien Ourselin, Tom Vercauteren:
Generalised Wasserstein Dice Score for Imbalanced Multi-class Segmentation using Holistic Convolutional Networks.
MICCAI 2017 Brain Lesion (BrainLes) Workshop

Inhalt: Ein neues Maß für Semgentierungsqualität das (besser) mit unbalancierten Klassen (manche Labels sind viel häufiger als andere) umgehen kann.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: Es werden einige mathematische Ideen benutzt, die über das Standardrepertoire des Grundstudiums hinausgehen, aber die Komplexität ist nicht sehr groß.

Betreuer: Sebastian BRODEHL

Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, R Devon Hjelm:
MINE: Mutual Information Neural Estimation.
ICML 2018

Inhalt: Die Mutual Information hochdimensionaler Zufallsvariablen abzuschätzen, ist leider ein fieses (=exponentielles) Problem. Kann man das mit tiefen Netzen approximieren? (Klar ist ein Versuch wert!)

Aufgabe: Erklären Sie die Grundidee der Method und was erreicht wurde. Navigieren sie vorsichtig durch die mathematischen Untiefen des Ansatzes.

Anspruch: Das Paper setzt einiges an Vorkenntnissen, z.B. über Informationstheorie, voraus.

Betreuer: Sebastian BRODEHL

Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila:
Analyzing and Improving the Image Quality of StyleGAN.
Arxiv Preprint December 2019
https://research.nvidia.com/publication/2019-12_Analyzing-and-Improving

Inhalt: Es hat Tradition. In jedem VC-Seminar gibt es ein Update bez. der neusten Bildsynthesizer via GAN. Hier der letzte Stand von Karras und Kollegen.

Aufgabe: Erklären Sie die Analyse und die Verbesserungen, sowie grob den Kontext, in dem sich das alles abspielt (StyleGAN / progressively grown GANs)

Anspruch: Das Paper ist nicht schwer zu lesen, aber es ist etwas Aufwand, den Kontext zusammenzusuchen.

Betreuer: Sebastian BRODEHL

Stanislav Pidhorskyi, Donald Adjeroh, Gianfranco Doretto:
Adversarial Latent Autoencoders.
CVPR 2020

Inhalt: Noch mehr hübsche Bilder via tiefe generativer Netze? Wie wäre es mit einer Kombination von GANs und Autoencodern? Sehr hübsche Bilder! :-)

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: Methodisch nicht sehr kompliziert, aber man muss den Hingergrund der diversen GAN-Varianten verstehen, um das Paper richtig verstehen zu können. Das ist etwas Aufwand.

Betreuer: Sebastian BRODEHL

Roman Klokov, Victor Lempitsky:
Escape From Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models
ICCV 2017

Inhalt: Wie baue ich ein tiefes NN für (größere) Punktwolken? Naja, warum nicht einfach einen binären KD-Baum bauen und an jedem Knoten etwas rechnen. In dem Paper sieht man, was dabei rausgekommen ist.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: / Im Prinzip eine recht einfache Grundidee.

Betreuer: Daniel FRANZEN

Rana Hanocka, Amir Hertz, Noa Fish, Raja Giryes, Fleishman, Daniel Cohen-Or:
MeshCNN: A Network with an Edge.
ACM Siggraph 2019

Inhalt: Eine CNN-Variante, die direkt Dreiecksnetze als Eingabe benutzt. Eine etwas unkonventionelle Idee, die sich von anderen 3D-Erkennungs-Netzen abhebt.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: / Im Prinzip eine recht einfache Grundidee.

Betreuer: Daniel FRANZEN

Xingzhe He, Helen Lu Cao, Bo Zhu:
AdvectiveNet: An Eulerian-Lagrangian Fluidic Reservoir for Point Cloud Processing.
ICLR 2020

Inhalt: 3D-Mustererkennung in Punktwolken indem man die Punkte selbst im Raum driften läßt, anhand von Bewegungsgleichungen, die die Aufgabe (z.B. Segmentierung) lernen.

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: Der Fluidsimulationsteil ist vielleicht etwas ungewohnt; die Grundidee ist aber nicht so kompliziert.

Betreuer: Daniel FRANZEN

Christopher Choy, JunYoung Gwak, Silvio Savarese:
4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks.
CVPR 2019

Inhalt: Mustererkennung in dynamischen (zeitabhängigen/animierten) 3D Punktwolken via 4D convolutions. Hauptproblem ist “Sparsity” - wie kann man bei den hochdimensionalen Rechnungen verhindern, dass der Aufwand explodiert?

Aufgabe: Erklären Sie die Grundidee der Methode, wie sie umgesetzt wurde und wie sie sich in Experimenten schlägt.

Anspruch: Einige technische Details (z.B. Variational Inference) benutzen fortgeschrittete Techniken.

Betreuer: Sebastian BRODEHL

M. Goldblum, J. Geiping, A. Schwarzschild, M. Moeller, T. Goldstein:
Truth or backpropaganda? An empirical investigation of deep learning theory.
ICLR 2020

Inhalt: Die Arbeit beschreibt wie sich verschiedene theoretische Konzepte und Regularisierer in der Praxis schlagen (Gibt es schlechte lokale Minima? Funktioniert Weight-Decay / Low-Rank Weights? Ist der Neural-Tangent-Kernel (NTK) ein realistisches Modell?). Die Antworten zeigen, dass die Praxis komplexer als vereinfachte theoretische Modellvorstellungen ist.

Aufgabe: Die Konzepte erklären und die empirischen und theoretischen Ergebnisse des Papers hierzu darstellen. Dabei ist eine Auswahl von Themen notwendig (nicht alle Ansätze müssen diskutiert werden, aber der Hintergrund sollte in jedem Fall genau erklärt werden). Es können daher auch zwei Themen vergeben werden. NTK ist hierbei eher für Masterstudierende empfohlen. Eine eigenständige Recherche der Hintergrundliteratur und die Konzeption einer Präsentation eben dieser in angemessener Form sind ausdrücklich Teil der Aufgabe (dafür ist das Paper selbst relativ einfach zu lesen, und es müssen nicht alle Aspekte behandelt werden).

Anspruch: / je nach Zuschnitt der Teilthemen (NTK ist schwieriger).

Betreuer: David HARTMANN

Preetum Nakkiran, Gal Kaplun,Yamini Bansal, Tristan Yang, Boaz Barak, Ilya Sutskever:
Deep Double Descent: Where Bigger Models and More Data Hurt  ICLR 2020
https://openreview.net/forum?id=B1g5sA4twr

Inhalt: Interessantes Experiment über das Generalisierungsverhalten von tiefen Netzen bei verschiedener Modellkomplexität und Trainingsdauer. Es ist anders als man denkt - es geht zweimal bergab.

Aufgabe: Fassen Sie die Ergebnisse und Hintergründe zusammen.

Anspruch: / relativ einfach zu verstehen, totzdem ein sehr interessantes Ergebnis. ML-Grundwissen nötig. Für Mastervorträge sollten die Hintergründe (z.B. mit Bezug auf Vorarbeiten) genauer erklärt werden.

Betreuer: David HARTMANN

Jonathan Frankle, David J. Schwab, Ari S. Morcos:
The Early Phase of Neural Network Training.
ICLR 2020

Inhalt: Eine Reihe von Experimenten, die versuchen besser zu verstehen, wie Netzwerke lernen, und insbesondere zeigen, was am Anfang des Trainigs wichtig ist (bzw. warum gerade der Anfang wichtig ist). Es werden verschiedenen Modifikation und Wieder-Trainieren ausprobiert, die diese Effekte genauer beleuchten.

Aufgabe: Erklären Sie, was herausgefunden wurde, wie das herausgefunden wurde.

Anspruch: Relativ einfach zu verstehen, aber viele Details und man muss sich auch ein paar Vorarbeiten anschauen (z.B. das “Lotterie Ticket”-Paper).

Betreuer: David HARTMANN

Ali Jahanian, Lucy Chai, Phillip Isola:
On the “steerability” of generative adversarial networks.
ICLR 2020

Inhalt: Eine Methode, um parametrisierte Veränderungen in GANs zu lernen. Das Paper schaut sich dabei genauer an, welche Variabilitäten man leichter oder schwieriger lernen kann.

Aufgabe: Fassen Sie die Methode sowie die Ergebnisse und Hintergründe zusammen.

Anspruch: Relativ leicht zu verstehen, allerdings muss man sich bereits ein wenig mit GANs und deren Varianten auskennen. Bei einem Master-Vortrag sollte man die Ergebnisse etwas genauer in die Literatur einordnen.

Betreuer: David HARTMANN.

Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl Dickstein:
On the Expressive Power of Deep Neural Networks
ICML 2017

Inhalt: Man kann die Komplexität eines Netzwerkes abschätzen, indem man misst, wie oft Pfade abknicken.

Aufgabe: Fassen Sie die wesentlichen Ideen und Konzepte sowie Analysen & Begründungen zusammen. Es ist nicht nötig, alle mathematischen Feinheiten zu durchleuchten.

Anspruch: / Der Theorieteil ist recht anspruchsvoll, der empirische Teil ist etwas zugänglicher.

Betreuer: Jan DISSELHOFF

Antoine Yang, Pedro M Esperança, Fabio Maria Carlucci:
NAS Evaluation is Frustratingly Hard.
ICLR 2020

Inhalt: Automatisch gute Architekturen zu suchen scheint ein Weg zu sein, näher an “richtige” Intelligenz zu kommen. Aber funktionieren die Algorithmen, die es bisher so gibt eigentlich vernünftig? Dieses Paper versucht, herauszufinden, was “neural architecture search” so drauf hat.

Aufgabe: Fassen Sie die Untersuchungsmethode(n) und Ergebnisse zusammen.

Anspruch: / relativ einfach; man kann den Anspruch steigern, indem man Vorarbeiten zu NAS genauer diskutiert.

Betreuer: Christian ALI MEHMETI-GÖPEL

Xiao Zhang, Dongrui Wu:
Empirical Studies on the Properties of Linear Regions in Deep Neural Networks.
ICLR 2020

Inhalt: Ein ReLu-Netzwerk teilt den Eingaberaum in stückweise lineare Funktionen auf, die auf einem Netzwerk von konvexen Polyedern wirken. Aber wie sehen die aus, wenn man verschiedene Architekturen oder Trainingsmethoden anwendet?

Aufgabe: Fassen Sie die Ideen, Methoden und Ergebnisse zusammen

Anspruch: Die experimentellen Aspekte sind nicht besonders schwer zu verstehen. Die Modelle für die Experimente sind etwas anspruchsvoller, aber auch kein Hexenwerk.

Betreuer: Christian ALI MEHMETI-GÖPEL

Chiyuan Zhang, Samy Bengio, Yoram Singer:
Are All Layers Created Equal?
ICML Workshop on Deep Phenomena 2019

Inhalt: In einem mehrlagigen Feed-Forward-Netzwerk kann man einige Layer nach dem Training neu initialisieren und wieder von vorne trainieren, ohne dass das besonders schlimm wäre. Bei anderen ist die Performance dahin. Nicht alle Layer sind gleich.

Aufgabe: Fassen Sie die Ergebnisse und die Methoden zur Analyse der Netzwerke zusammen

Anspruch: / relativ einfach zu verstehen, viele Experimente.

Betreuer: Christian ALI MEHMETI-GÖPEL

Alessandro Achille, Matteo Rovere, Stefano Soatto:
Critical Learning Periods in Deep Neural Networks.
ICLR 2019

Inhalt: Netzwerke lernen am Anfang des Trainings besonders wichtige Informationen / Strukturen. Dies wird in diesem Paper experimentell untersucht. Zusätzlich wird ein Modell aufgestellt, welches den Informationsfluss über verschiedene Layers modelliert.

Aufgabe: Fassen Sie die Ideen, Methoden, Ergebnisse zur Analyse der Netzwerke zusammen.

Anspruch: Die Experimente sind relativ leicht verständlich, die informationstheoretische Analyse etwas anspruchsvoller (aber machbar).

Betreuer: Christian ALI MEHMETI-GÖPEL

Jaehoon Lee , Yasaman Bahri, Roman Novak, Samuel S. Schoenholz, Jeffrey Pennington, Jascha Sohl-Dickstein:
Deep Neural Networks as Gaussian Processes.
ICLR 2018

Inhalt: Es ist schon länger bekannt, dass ein 1-Layer-Netzwerk für unendliche Breite gegen einen Gaußschen Prozess konvergiert (was man sich als eine Kernel-Version einer Normalverteilung vorstellen kann, d.h., nach einer nicht-linearen Featuretransformation, welche sich durch ein modifiziertes Skalarprodukt indirekt darstellen lässt, ist es nur noch eine gewöhnliche Normalverteilung). Dieses Paper zeigt, dass dies auch für mehrlagige Netzwerke gilt, und zeigt Experimente, in denen direkt mit den Grenzwert-Kernel trainiert wird (was in den relativ einfachen Benchmarks in dem Paper besser funktioniert als endlich-große Netzwerke; i.Alg. ist das aber weniger klar).

Aufgabe: Wichtigste Aufgabe ist hier, die Kernergebnisse herauszuarbeiten und möglichst klar zu erklären, was dort herausgefunden wurde und warum das stimmt. Die formalen Beweise im Anhang gehen wahrscheinlich zu weit.

Anspruch: Das Thema ist relativ anspruchsvoll; man muss sich gut mit linearer Algebra auskennen und sollte schonmal etwas von Kernelmethoden gehört haben. Trotzdem vielleicht zugänglicher als das nächste Paper (“NTK”).

Tipp: Dieser Blog-Artikel erklärt es sehr gut und anschaulich: Rajat Vadiraj Dwaraknath: Understanding the Neural Tangent Kernel. https://rajatvd.github.io/NTK/

Betreuer: Jan DISSELHOFF

Arthur Jacot, Franck Gabriel, Clément Hongler:
Neural Tangent Kernel: Convergence and Generalization in Neural Networks.
NeurIPS 2018.

Inhalt: Nachdem gezeigt wurde, dass unendlich breite neuronale Netze wie Gaussche Prozesse funktionieren (also lineare, convexe Optimierungsprobleme sind, nach einer nicht-linearen Abbildung (“Feature Map”), die sich durch Ersetzen des Standardskalarproduktes durch einen Kernel darstellen lässt), zeigt dieses Paper nun, dass der Gradientenabstieg ebenfalls “kernelisiert” werden kann, wobei im allgemeinen dieser “Neural Tangent Kernel” (NTK) im Parameterraum variiert. Im Grenzfall von unendlich weiten Netzwerken wird dieser NTK stationär und man kann mit einer Eigenfunktionsanalyse verstehen, wohin die ganze Optimierung konvergiert.

Anspruch: Das Thema ist relativ anspruchsvoll; man muss sich gut mit linearer Algebra auskennen und sollte schonmal etwas von Kernelmethoden gehört haben. Ein bischen Funktionalanalysis schadet auch nicht.

Aufgabe: Das Paper behandelt eine ganze Menge verwandter Fragen. Wichtigste Aufgabe ist daher, die Kernergebnisse herauszuarbeiten und möglichst klar zu erklären, was dort herausgefunden wurde und warum das stimmt. Die formalen Beweise im Anhang gehen hier wahrscheinlich zu weit.

Tipp: Dieser Blog-Artikel erklärt es sehr gut und anschaulich: Rajat Vadiraj Dwaraknath: Understanding the Neural Tangent Kernel. https://rajatvd.github.io/NTK/

Betreuer: Jan DISSELHOFF

Boris Hanin, David Rolnick:
Deep ReLU Networks Have Surprisingly Few Activation Patterns.
NeurIPS 2019

Inhalt: Eine theoretische Analyse, gestützt durch Experimente mit echten Netzwerken, die die Komplexität von tiefen Netzwerken abschätzt (im Sinne der Anzahl stückweise linearer Regionen). Es sind nicht ganz so viele, wie man meinen könnte (aber immer noch eine Menge).

Aufgabe: Fassen Sie die wesentlichen Ideen und Ergebnisse zusammen, und erklären Sie, warum das so ist. Man muss dazu nicht alle mathematischen Feinheiten nachvollziehen; die Grundideen sind am wichtigsten.

Anspruch: Mathematisch nicht ganz einfach.

Betreuer: Jan DISSELHOFF

David Balduzzi, Marcus Frean, Lennox Leary, JP Lewis, Kurt Wan-Duo Ma, Brian McWilliams:
The Shattered Gradients Problem: If resnets are the answer, then what is the question?
ICML 2017

Inhalt: Residual Networks funktionieren ziemlich gut. Aber warum eigentlich? Das Paper beschreibt ein Modell, welches ein chaotisches Verhalten der Gradienten im Parameterraum als Erklärungsmodell anführt, welches bei ResNets verrinngert wird.

Aufgabe: Erklären Sie die Ideen/Modelle/Experimente in dem Paper!

Anspruch: / Je nachdem, wie tief man in die Theorie einsteigt, ist das Paper mehr oder weniger schwer zu verstehen.

Betreuer: Christian ALI MEHMETI-GÖPEL

L. Zhang, G. Naitzat, L.-H. Lim:
Tropical Geometry of Deep Neural Networks.
ICML 2018

Inhalt: Die Arbeit beschreibt, wie man ReLu-Netzwerke als rationale Polynome in sogenannter “Tropischer Algebra” auffassen kann, einer Struktur, die ähnlich zu einem Körper ist, aber gewisse Eigenschaften ausläßt. Danach wird diese Analogie angewandt, um die Komplexität und Struktur der berechneten Funktionen eines Netzwerkes zu characterisieren.

Aufgabe: Geben Sie einen Überblick über den Ansatz und die Hauptergebnisse, stellen sie exemplarisch dar, wie das Modell des Papiers aufgebaut wird. Geben Sie dem Publikum eine Anschauung dessen, was hier gemacht wird. Wichtig ist es, eine sinnvolle Auswahl dessen zu treffen, was man im Seminarvortrag erklären möchte.

Anforderungen: Für Studierende mit Haupt- oder Nebenfach Mathematik im Master empfohlen.

Betreuer: Jan DISSELHOFF

Will Grathwohl, Kuan-Chieh Wang, Joern-Henrik Jacobsen, David Duvenaud, Mohammad Norouzi, Kevin Swersky:
Your classifier is secretly an energy based model and you should treat it like one.
ICLR 2020

Inhalt: Man kann bei einem Klassifizierer p(y|x) nebenbei auch die unnormalisierte Dichte p(x,y) und p(x) mittrainieren. Dazu werden EBM-Methoden auf Sampling-Basis benutzt. Man bekommt ein generativ-discriminatives Hybrid, welches sich in beiden Disziplinen erstaunlich gut schlägt. Die Optimierung ist allerdings eine ziemliche Fummelei.

Anforderungen: Relativ tiefe ML-Kenntnisse erforderlich, um das Problem zu verstehen.

Betreuer: David HARTMANN

Niladri Chatterji, Behnam Neyshabur, Hanie Sedghi:
The intriguing role of module criticality in the generalization of deep networks.
ICLR 2020

Inhalt: Wie stark darf man die Parameter eines Moduls (Layer bzw. allgemeiner bei ResNets) zurück zur Initialisierung schieben, bis die Performance unter einen Threshold fällt? Nicht alle Module sind kritisch, und man kann aus dieser Analyse generalisierungsschranken ableiten (da sie die Variabilität der Klassifizierungsfunktion messen).

Anforderungen: Vorkenntnisse in statistischer Lerntheorie, Covering-Numbers/Rademacher, PAC-Bayes notwendig (sonst kaum verständlich). Dann sind die Ideen aber gut nachvollziehbar.

Betreuer: David HARTMANN

Jos Stam:
Stable Fluids
ACM SIGGRAPH 1999

Inhalt: Dies ist die “echte Physik”. Das Paper beschreibt einen Löser für die Navier-Stokes-Gleichungen (Fluiddynamik), der uneingeschränkt stabil ist (eine naive Standarddiskretisierung explodiert einem leider sehr schnell). Das Paper ist der Standard für Computergraphikanwendungen (Spiele, VFX, etc.) und schön erklärt und relativ einfach zu verstehen. Empfohlen werden auch die annotierten Talk-Slides dazu.

Aufgabe: Erklären Sie, wie Fluidsimulation im Prinzip funktioniert und wie man es numerisch lösen kann.

Anforderungen: Eigentlich ein anspruchsvolles Thema (PDGLs & Co), aber (vor allem in den Folien) wirklich schön erklärt.

Betreuer: Sebastian BRODEHL

Georg Kohl, Kiwon Um, Nils Thuerey:
Learning Similarity Metrics for Numerical Simulations
ICML 2020

Inhalt: Wenn man Fluidsimulationen mit NN nachbilden möchte, läuft man in das Problem, dass die Dynamik chaotisch ist. Das macht es schwer, zu messen, ob das Training erfolgreich war. Idee daher: Ein sinnvolles Abstandsmaß aus Daten, die man selbst modifiziert hat, lernen.

Aufgabe: Fassen Sie die Ideen, Method und Ergebnisse zusammen.

Anspruch: Eher einfach zu verstehen.

Betreuer: Sebastian BRODEHL

Maximilian Werhahn, Mengyu Chu, You Xie, Nils Thuerey:
A Multi-Pass GAN for Fluid Flow Super-Resolution.
Symposium on Computer Animation 2019

Inhalt: Fluidsimulation für Computergraphik ist (immer) langsamer als man sie gerne hätte. Warum nicht Details mit einem GAN dazuerfinden, die hübsch aussehen. Problem: Das Training der 4D Daten ist (zu) teuer. Das Paper schlägt einen einfachen Trick vor, damit es trotzdem klappt.

Aufgabe: Fassen Sie die Ideen, Method und Ergebnisse zusammen.

Anspruch: / Relativ einfache Grundidee; man kann auch etwas tiefer einsteigen.

Betreuer: Sebastian BRODEHL.

Benjamin Ummenhofer, Lukas Prantl, Nils Thuerey, Vladlen Koltun:
Lagrangian Fluid Simulation with Continuous Convolutions.
ICLR 2020

Inhalt: Eine Punkt-basierte Netzwerkarchitektur (CNN), um Lagrangian-Fluiddynamik-Simulationen (wie SPH) zu lernen.

Aufgabe: Die Methode darstellen, insbesondere die (neue) Architektur.

Anforderungen: Kenntnisse in Physik (Simulation) bzw. Computeranimation sind auf jeden Fall erforderlich

Betreuer: Daniel FRANZEN, Sebastian BRODEHL