A.1 Gradienten: Die Ableitung der Ausgabe nach dem Bild – Eine der ersten Ideen, auf der viele Ansätze bis heute beruhen, die versuchen zu erklären, wie Netzwerke zu Entscheidungen kommen, ist, die Ausgabe (Wahrscheinlichkeit der richtigen Klasse bzw. deren logit) nach den Bildpixeln abzuleiten und das Ergebnis anzuschauen. Die Technik hat allerdings auch so ihre Tücken, wie die zweite Quelle zeigt: Die Gradienten sind oft instabil (und spätere Papers im Seminar zeigen auch, dass sie nicht immer die Information enthalten, die charakteristisch für eine Entscheidung des Netzwerkes sind).

Quellen:

• Karen Simonyan, Andrea Vedaldi, Andrew Zisserman: Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps. ICLR Workshop Paper, 2014.
  https://arxiv.org/pdf/1312.6034.pdf
• Daniel Smilkov, Nikhil Thorat, Been Kim, Fernanda Viegas, Martin Wattenberg: SmoothGrad: removing noise by adding noise. In: International Conference on Machine Learning (ICML) Workshop on Visualization for Deep Learning., 2017.
  https://arxiv.org/pdf/1706.03825.pdf

Aufgabe (Seminar): Erklären Sie, wie die Visualiserung mit Hilfe von Gradienten funktioniert und erklären Sie einige der Schwierigkeiten dieses Ansatzes (wie in den angegebenen Quellen beschrieben).

Praktische Aufgabe (Vorschlag):

• Schritt 1: Probieren Sie gradientenbasierte Visualisierung aus
• Schritt 2: Versuchen Sie, die Ergebnisse mit Hilfe von SmoothGrad zu verbessern.

A.2 Invertieren von Netzwerken – wo kommen die Aktivierungen her?
Ein eng verwandter Ansatz besteht darin, zu versuchen, Urbilder für Aktivierungen höhrer Layer zu finden. Dazu gibt es verschiedene Ansätze:

Quellen:

• Matthew D. Zeiler & Rob Fergus: Visualizing and Understanding Convolutional Networks. In: Proc. European Conference on Computer Vision 2014, Lecture Notes in Computer Science (8689), 818–833.
  https://arxiv.org/pdf/1311.2901.pdf
• Alexander Mordvintsev, Christopher Olah, Mike Tyka: Inceptionism: Going Deeper into Neural Networks. Google Research Blog, June 2015. https://ai.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html

Aufgabe (Seminar): Erklären Sie, wie die beiden verschiedenen Ansätze funktionieren.

Praktische Aufgaben (Vorschläge):

• Alternative 1: Implementieren Sie / experimentieren Sie mit Google’s Deep-Dream Algorithmus. Nutzen Sie ein einfaches vortrainiertes CNN wie z.B. VGG-19.
• Alternative 2: Visualisieren Sie Korrespondenzen auf höheren Ebenen eines solchen (vortrainierten) CNNs durch Einfärben nächster Nachbarn in zwei Bildern (z.B. Zeichnung eines menschlichen Gesichtes vs. Foto eines solchen Gesichtes vs. Foto eines Tiergesichtes).
• Alternative 3: Dimensionsreduktion: 3D (RGB) Einbettung der Featurevektoren auf oberen Layern via PCA (ebenfalls auf Bildern, die ähnliche Konzepte zeigen).

A.3 Emergente High-Level Repräsentationen – es zeigt sich, dass Aktivierungen auf “höheren” Layern eines Bilderkennungs-CNNs (also nach mehreren Verarbeitungsstufen) zunehmend abstrakte Konzepte eines Bildes kodieren, und durch Invertierung kann man diese Repräsentationen sogar dazu nutzen, Bilder zu erzeugen.

Quellen:

• Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: Image Style Transfer Using Convolutional Neural Networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 2414-2423.
  https://www.cv-foundation.org/openaccess/content_cvpr_2016/html/Gatys_Image_Style_Transfer_CVPR_2016_paper.html
• Chuan Li, Michael Wand: Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 2479-2486.
  https://openaccess.thecvf.com/content_cvpr_2016/html/Li_Combining_Markov_Random_CVPR_2016_paper.html

Aufgabe (Seminar): Erklären Sie, wie die beiden Bildstilisierer funktionieren, welche Eigenschaften der Netze sie ausnutzen, und was uns das indirekt über die (emergenten) Eigenschaften der trainierten Netzwerke verrät.

Praktische Aufgaben (Vorschläge): Hier bieten sich die gleichen Experimente wie bei Thema A.2 an (s.o.):

• Alternative 1: Deep Dream
• Alternative 2: Korrespondenzen visualisieren durch pixelweise nächste-nachbarn-Suche (auf höherem Layer).
• Alternative 3: Korrespondenzen visualisieren durch PCA-Dimensionsreduktion (auf höheren Layers).

A.4 Lineare Abbildungen zwischen Codierungen

Man kann zwischen Featurerepräsentationen von Netzwerken übersetzen, indem man schlicht eine lineare Abbildung lernt (lineare Abbildungen berücksichtigen die in D.1 erklärten Symmetrien). Das erklärt allerdings nur einen Teil der Features; ein (typischerweise etwas kleinerer) Teil der Repräsentation lässt sich nicht linear übersetzen.

Quelle:

• Galen Andrew, Raman Arora, Jeff Bilmes, Karen Livescu: Deep Canonical Correlation Analysis. In: Proceedings of the 30th International Conference on Machine Learning, PMLR 28(3):1247-1255, 2013.

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Trainieren Sie ein einfaches Netzwerk (z.B. kleines CNN für CIFAR-10) zwei mal (oder öfter) und vergleichen Sie die Featurerepräsentationen, die entstehen, wenn man diese mit PCA komprimiert (wie in der praktischen Aufgabe von A.3, Alternative 3).

B.1 Grad-CAM – Visualisieren, wo im Bild ein CNN reagiert

Dieses Paper bildet eine lineare Näherung des “oberen Teils” eines CNNs um damit einen Detektor zu bauen, der auf Bildregionen anspricht, in denen sich relevante Teile des Objektes befinden, dass eine Klasse ausmacht.

Quelle:

• R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh and D. Batra: Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. In: IEEE International Conference on Computer Vision (ICCV) 2017, pp. 618-626.
  https://arxiv.org/pdf/1610.02391.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag): Implementieren Sie eine einfache Version von CAM (oder experimentieren Sie mit Code aus dem Netz): In einem typischen Bilderkennungs-CNN (z.B. ein vortrainiertes ResNet) folgt oft lineare Klassifikation (softmax regression) auf “global average pooling”. Indem man den linearen Klassifizierer auf jedes “Pixel” vor dem Average-Pooling anwendet, kann man feststellen, wo die entscheidenen Objekte liegen könnten. Versuchen Sie herauszufinden, wo die Möglichkeiten und Grenzen dieses Ansatzes liegen.

B.2 Integrated Gradients – Gewöhnliche Bildgradienten machen diverse Probleme. Man kann das verbessern, indem man zwischen einem Basisbild und des zu erklärenden Bildes die Gradienten aufintegriert.

Quelle:

• Mukund Sundararajan, Ankur Taly, Qiqi Yan: Axiomatic attribution for deep networks. In: ICML’17: Proceedings of the 34th International Conference on Machine Learning (70), 3319–3328, August 2017.
  https://arxiv.org/pdf/1703.01365.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Schritt 1: Probieren Sie gradientenbasierte Visualisierung aus.
• Schritt 2: Versuchen Sie, die Ergebnisse mit Hilfe Integrated Gradients zu verbessern (man findet Code dazu online).

B.3 Deep-Lift – Finite Differenzen statt Gradienten… …um die Visualisierung robuster zu machen.

Quelle:

• Avanti Shrikumar, Peyton Greenside, Anshul Kundaje: Learning important features through propagating activation differences. In: ICML’17: Proceedings of the 34th International Conference on Machine Learning (70), August 2017, pp 3145–3153.
  https://arxiv.org/pdf/1704.02685.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Alternative 1: Versuchen Sie, mit Hilfe des öffentlich verfügbaren Codes mit der Methode zu experimentieren.
• Alternative 2: Wählen Sie eines der anderen Experimente aus den gradienten-basierten Visualisierungen aus.

B.4 LIME – Lokale Approximationen komplexer Modelle mit einfacheren

Wenn man ein großen Model nicht versteht, kann man versuchen ein kleines, einfacheres (verständlicheres) an eine Teilmenge der Eingaben dranzufitten. In diesem Paper steht, wie man das machen könnte, und was dabei herausgekommen ist.

Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin: “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In: KDD ’16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 2016, Pages 1135–1144.
https://arxiv.org/pdf/1602.04938.pdf

Aufgabe (Seminar): Erklären Sie wie man das machen könnte, und was dabei herausgekommen ist.

Praktische Aufgabe (Vorschlag):

• Alternative 1: Versuchen Sie, mit Hilfe des öffentlich verfügbaren Codes mit der Methode zu experimentieren.
• Alternative 2: Wählen Sie eines der anderen Experimente aus den gradienten-basierten Visualisierungen aus.

B.5 SHAP – Systematisch Features Zusammenzählen

Diese Methode vereinheitlicht verschiedene frühere Ansätze in einem Modell, das (lokale) Erklärungen als Addition von Einzelfeatures darstellt, und argumentiert, wie man das am besten machen könnte.

Quelle:

• Scott M. Lundberg, Su-In Lee: A unified approach to interpreting model predictions. In: NeuRIPS 2017, Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 4768–4777, December 2017.
  https://arxiv.org/pdf/1705.07874.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Alternative 1: Versuchen Sie, mit Hilfe des öffentlich verfügbaren Codes mit der Methode zu experimentieren.
• Alternative 2: Wählen Sie eines der anderen Experimente aus den gradienten-basierten Visualisierungen aus.

B.6 iGOS++ – Wenn man’s weglassen kann, dann war es wohl nicht wichtig

Eine ganz andere Idee ist es, Informationen solange wegzulassen, bis die Klassifikation nicht mehr klappt. Das ist eine robuste Idee (wcpgw?), und dieses Paper macht das systematisch, indem es per Optimierung versucht, möglichst viel Eingabesignal durch zufällige Daten aus einer geeigneten Hintergrundverteilung zu ersetzen.

Saeed Khorram, Tyler Lawson, Li Fuxin: iGOS++: integrated gradient optimized saliency by bilateral perturbations. In: CHIL ’21: Proceedings of the Conference on Health, Inference, and Learning, pp. 174–182, April 2021.
https://arxiv.org/pdf/2012.15783.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Versuchen Sie, Erklärungen zu finden, indem Sie Bildabschnitte (z.B. immer eines von 4x4 Teilquadraten) in systematisch einem Eingabebild maskieren (z.B. schwarz einfärben) und messen, wieviel schlechter die Klassifikation wird (z.B. mit einem Vortrainierten Netzwerk auf ImageNet Eingaben).

C.1 Adversarial Examples – Dieses Flugzeug ist eine Maus.

Unsichtbare Abweichungen können einen Klassifizierer massiv in die Irre führen. Das Paper ist ein Klassiker, mit weitreichenden Konsequenzen für den praktischen Einsatz von tiefen Netzwerken.

Quelle:

• Joan Bruna, Christian Szegedy, Ilya Sutskever, Ian Goodfellow, Wojciech Zaremba, Rob Fergus, Dumitru Erhan: Intriguing properties of neural networks.
  https://arxiv.org/abs/1312.6199

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Versuchen Sie (ggf. mit Hilfe von Code aus dem Netz) Adversariale Störungen für ein Bild zu konstruieren, so dass ein vortrainiertes Netzwerk dieses falsch klassifiziert.

C.2 Sanity Checks for Saliency Maps – Die Erklärung funktioniert mit zufälligen Netzwerken?

Ups – einige bekannte Ansätze liefern die gleichen Erklärungen, auch wenn man ein Netzwerk rein zufällig initialisiert. Das klingt nicht besonders vertrauenserwecked…

Quelle:

Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, Been Kim: Sanity checks for saliency maps. In: NeuRIPS’18: Proceedings of the 32nd International Conference on Neural Information Processing Systems, pp. 9525–9536, December 2018.

Aufgabe (Seminar): Erklären Sie, welche Probleme hier gefunden wurden, und wie dies gelungen ist.

Praktische Aufgabe (Vorschlag):

• Versuchen Sie die Ergebnisse aus dem Paper an einem speziellen Beispiel nachzuvollziehen (für ein Verfahren, ein Beispiel & einen Test zu reproduzieren).

C.3 Softmax-Funktionen sind shift-invariant …und damit kann man, zumindest theoretisch, Erklärungen manipulieren (btw: in echten Netzen scheint der Effekt weniger relevant zu sein).

Quelle:

• Pieter-Jan Kindermans, Sara Hooker, Julius Adebayo, Kristof T. Schütt, Maximilian Alber, Sven Dähne, Dumitru Erhan, Been Kim: The (Un)reliability of saliency methods. In: Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Lecture Notes in Computer Science (11700), Springer, 2019.
  https://arxiv.org/pdf/1711.00867.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Reproduzieren Sie das Ergebnis aus dem Paper an einem Beispiel.

C.4 Adversariale Angriffe auf Erklärungen Man kann nicht nur das Ergebnis manipulieren, sondern auch seine Gradienten (u.ä.); in diesem Paper steht, wie das geht:

Quelle:

• Ann-Kathrin Dombrowski, Maximillian Alber, Christopher Anders, Marcel Ackermann, Klaus-Robert Müller, Pan Kessel: Explanations can be manipulated and geometry is to blame. In: Advances in Neural Information Processing Systems 32 (NeurIPS 2019)
  https://arxiv.org/pdf/1906.07983.pdf

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Reproduzieren Sie das Ergebnis aus dem Paper an einem Beispiel.

D.1 Symmetrie von ReLU-Netzwerken: Permutation und Skalierung (und sonst nix)

Dieses Paper zeigt, welche equivalenten Darstellungen von funktionen es bei ReLU Netzwerken gibt.

Quelle:

• Mary Phuong, Christoph H. Lampert: Functional vs. parametric equivalence of ReLU networks. In: International Conference on Learning Representations (ICLR), 2020.
  https://openreview.net/forum?id=Bylx-TNKvH

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Konstruieren Sie (konkret) Varianten von Netzwerken, die die gleiche Funktion kodieren und überprüfen Sie numerisch, ob wirklich (ungefähr) das gleiche herauskommt.

D.2 Mode-Connectivity – verschiedene Lösungen kann man mit stetigen Pfaden verbinden.

Die Topoologie der Loss-Landschaft eines tiefen Netzes ist interessant – die lokalen Minima sind dabei durch Pfade mit guter Performance verbunden.

Quelle:

• Timur Garipov, Pavel Izmailov, Dmitrii Podoprikhin, Dmitry Vetrov, Andrew Gordon Wilson: Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems (NeurIPS), pp. 8803–8812, December 2018.

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• (Diskussion mit Betreuern falls Thema gewählt.)

D.3 The Lottery Ticket Hypothesis

Dieses Paper gibt zum ersten mal empirische Belege für etwas, was viele Betrachter aus dem Bauch heraus vermutet hätten: Das übervollständige, zufällig initialisierte Netzwerk enthält ein Teilnetz, welches “die eigentliche Arbeit macht”, und man kann dieses (nach dem Training) auch identifizieren und extrahieren.

Jonathan Frankle, Michael Carbin: The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks. In: International Conference on Learning Representations (ICLR), 2019.
https://openreview.net/forum?id=rJl-b3RcF7

Aufgabe (Seminar): Erklären Sie Ideen und Ergebnisse des angegebenen Papers.

Praktische Aufgabe (Vorschlag):

• Experimentieren Sie mit Pruning von tiefen Netzen und untersuchen Sie, wie sich die Netzwerke verhalten.

D.4 Die Lotterie vor dem Training gewinnen

Interessanterweise hat sich mittlerweile herausgestellt, dass es möglich ist, auch ohne Daten Teilnetzwerke zu bestimmen, die gute Klassifikationen liefern. Dies stellt die ganze Lotterie-Ticket-Hypothese in ein anderes Licht.

Hidenori Tanaka, Daniel Kunin, Daniel L. Yamins, Surya Ganguli: Pruning neural networks without any data by iteratively conserving synaptic flow. In: Advances in Neural Information Processing Systems (NeurIPS) 33, 2020
https://proceedings.neurips.cc/paper/2020/hash/46a4378f835dc8040c8057beb6a2da52-Abstract.html

Praktische Aufgabe (Vorschlag):

• Die gleiche Aufgabe wie bei D.3: Experimentieren Sie mit Pruning von tiefen Netzen und untersuchen Sie, wie sich die Netzwerke verhalten.