[RL] ML angewandt - Werde eins mit der KI!

[Talamar]

Und hier ein Beispiel dass man Chat-GPT auch "primen" kann. Beispiel fordere ich ihn auf sich nun wie ein Experte zu verhalten und dass Rückfragen nun erlaubt und erwünscht sind.
Nun deutet er erstmal an dass er gerne mehr Informationen hätte.





Natürlich frage ich nach was für Informationen er möchte.
Wie man sieht wählt er nun die Größe der Input-Feature direkt als 4 aus und nicht mehr als freie Variable. Er sagt dass er sich mit diesen Informationen nicht sicher sein kann ob Drop-out nötig ist oder nicht.





Dieser Ausschnitt des Gesprächs sollte für einen Eindruck reichen dass er sich auch anders Verhalten kann als ein drauflos plappernder mutmaßen-der Freund wenn man dies wünscht.

[ThomasBX]

Was bedeuten eigentlich die 77,5%? Für ein R^2 Äquivalent der logistischen Regression (Cox & Snell, Nagelquerkes, ...) kommt es mir zu hoch vor. Ist es der Anteil der durch das Modell korrekt klassifizierten Passagiere?

[Talamar]

Ja die 77,5% bedeuten nur den Anteil der korrekt vorhergesagten Passagierschicksaale geteilt durch alle Passagierschicksaale.
Aber natürlich können wir auch mal testen was wir als Antwort bekommen.





Den Code reinkopieren, die Gewichte des Models laden und einen Schritt machen lassen. Der R^2 ist also gut 0,5.





Hätten wir 50% Treffsicherheit würde man sagen wir hätten gwürfelt und ein R=0, bei 100% Treffsicherheit wäre das R=1 und bei 75% wie wir sie haben ist das R=0,5. Unser Modell kann also "die Hälfte" erklären von dem was passiert ist.

[Talamar]

Wir können uns auch einmal die Neuronen anschauen was sie gelernt haben.
Damit es einfacher zu verstehen ist reduziere ich das Netz auf nur die Inputebene und sonst nur 1er Neuronen Ebenen. Es entspricht nun der logistischen Regression.
In der blau markierten Zeile sehr ihr die 7 Gewichte die direkt auf die Eingaben reagieren.
Das zweite Neuron welches auf "Sex" wirkt hat das höchste Gewicht und feuert damit am aktivesten (wenn man in der Biologischen Sprache bleiben möchte).
Am zweit wichtigsten scheint die "Pclass" zu sein, außerdem scheint sie hinreichend aussagekräftig zu sein so dass "fare" nahezu ignoriert wird.
Am dritt stärksten ist das Alter und danach "SibSp" und schließlich "Embarked"
Verhältnismäßig unwichtig ist hier "Parch" und "Fare" .

[Talamar]

Oben waren die Neuronen eher wie die Parameter eines Polynoms die auf X1, X2, X3 ect gewirkt hatten.
Ein etwas einfacheres zu verstehendes Beispiel ist vielleicht wenn die Neuronen etwas bildliches lernen sollen.

Ich habe hier auch ein Netzwerk mit 2 dichten Ebenen darauf wirken lassen. Aufgabe einfach zu Klassifizieren ob in der Mitte ein Kreis oder Striche zu sehen sind wie in diesen Beispielen zu sehen.
(Bei optischen Aufgaben würde man heutzutage eigentlich vorne Convolutionslayers anwenden weil die Translationsinvariant sind und sie nicht einen Kreis an jedem Ort gezeigt bekommen müssen um auf Kreis anzuspringen, aber dann sieht man den Effekt nicht so schön)

[Talamar]

Die die Bilder 60*60 Pixel hatten ergibt das 3600 Inputfeatures. Auf sie trafen in der nächsten Ebene 16 Neuronen. Offenbar unnötig viele wie sich zeigen sollte.
Die 16 Neuronen leiteten ihren Input dann an die Output Unit weiter die nur noch aus einem Neuron bestand welches über Ja oder Nein entschied über die Kreis/Linienfrage.


Diese Bilder sind nun einfach eine geometrische Anordnung der Gewichte der Neuronen. Diese dann leicht in ein 60*60 Bild zu reshapen. Schauen wir uns nun einige Neuronen an.
Man sieht das 0te Neuron scheint wenig gelernt zu haben. Es sieht immer noch ähnlich verrauscht aus wie es einst zufällig initialisiert wurde.





Neuron Nr 1 sieht schon interessanter aus. Hier kann man schon gut ein Muster erkennen. Auch hat hier das Rauschen schon deutlich abgenommen. Das liegt auch daran dass ich eine Regularisierung eingebaut hatte, diese lässt Neuronen mit der Zeit vergessen. Dadurch verlieren Werte die nicht neu angeregt werden mit der Zeit mehr an Gewicht als Werte die immer wieder neu angeregt werden. Eine Ausnahme ist es herrscht Chaos vor wo alles gleich anregegt wird weil nichts gelernt wird, da hat es kaum einen Effekt.





Neuron 2 ist auch ein interessanter Fall. Hat ein bisschen was über den Ring gelernt ist aber ansonsten recht dumm geblieben.





Neuron 4 sieht da schon wieder besser aus.





Neuron Nr.5 sieht schon nahezu "perfekt" aus. Man beachte dass es besonders aktiv ist/feuert (weiß) wenn es Teile des Kreises sieht. Durch Linien wird es hingegen eher etwas gedämpft.

[Talamar]

Es geht aber auch umgekehrt wie Neuron 11 zeigt. Dies springt auf Linien an und dämpft eher bei Kreisenanteilen. Ich sehe gerade dass es etwas schwerer zu sehen ist da der konstante Anteil nicht auf die Neuronen gewichte aufaddiert ist. Das heißt alles ist eigentlich um einen kostanten Anteil verschoben und selbst -0,01 könnte eigentlich positiv sein aber für einen Eindruck sollten auch die relativen Werte reichen, auf die Skala des Balkens am Rand schaut vielleicht eh kaum einer.

Einfacher dichte Neuronen Ebenen sind einfach nur riesige Matrizen der Form:
A*X+B
aber fürs Verständnis soll reichen das aus der Schule bekannte:
a*x+b
wo x der Input/Pixel ist, a das Gewicht eines Neurons und b der Bias/Konstante Anteil ist.




Nr. 12 hat sich auch auf Linien spezialisiert.





Zuletzt noch das 0te und einzige Neuron der Ausgangsebene. Dies wird wie gesagt von den 16 anderen Neuronen angeregt. Es scheint gelernt zu haben besonders auf "schwarze/weiße" Neuronen anzuspringen also beispielsweise Neuron Nr4.