Automatisierte Emotionsannotation im ChildTale-A Corpus mit GPT3.5 im Rahmen des Seminars Annotation mit Sprachmodellen im WS 23/24 der Universität zu Köln.
Die Hauptaufgabe besteht darin, emotionale Inhalte in den Märchentexten automatisch zu annotieren.
Der ChildTale-A Datensatz1 ist eine Sammlung von Märchentexten aus den "Kinder- und Hausmärchen" der Brüder Grimm. Dieser Datensatz wurde speziell für die Untersuchung und Analyse von Emotionen in Texten zusammengestellt. Er umfasst über 5.000 manuell annotierte Sätze, in denen die emotionalen Inhalte der Märchen detailliert erfasst sind. Die Annotationen beinhalten Aspekte wie emotionale Valenz(Skala -3 bis +3) und Arousal(Skala 1 bis 5), wobei jeder Satz hinsichtlich des Ausmaßes und der Art der darin ausgedrückten Emotionen bewertet wurde.
- Textsorte: Märchen
- Sprache: Deutsch
- Quelle: ChildTale-A Corpus, verfügbar auf Zenodo.
- Modell: GPT-4 über die von OpenAI bereitgestellte Schnittstelle.
Das Projekt umfasst die Nutzung von GPT-4 zur Annotation der einzelnen Märchentexte aus dem ChildTale-A Datensatz. Die Ergebnisse werden auf Genauigkeit, Konsistenz und Übereinstimmung mit dem Goldstandard der manuellen Annotationen hin überprüft. Zusätzlich wird die Fähigkeit des Modells analysiert, emotionale Nuancen und subtile Ausdrücke zu erfassen. Außerdem soll bei der Evaluation zwischen der Performanz von Zero-Shot Prompting und Few-Shot Prompting unterschieden werden.
Basierend auf der Annotationsrichtlinie des Datensatzes, könnte eine Annotation für einen Satz zum Beispiel wie folgt aussehen:
| Textauszug | Kategorie | Annotation |
|---|---|---|
| Die Frau hatte zwei Töchter mit ins Haus gebracht, die schön und weiß von Angesicht waren, aber garstig und schwarz von Herzen. | Valenz | -2 (Negativ) Begründung: Negatives inneres Wesen der Figuren. |
| Arousal | 2 (Etwas ruhig) Begründung: Beschreibend, ruhig, ohne direkte emotionale Erregung. |
Footnotes
-
Lüdtke, J., & Herrmann, B. J. (2023). childTale-A: A corpus of eighty fairy tales from the 7th edition by the Brothers Grimm, manually annotated for textually encoded emotions (1.0) [Data set]. Zenodo. https://doi.org/10.5281/zenodo.7737329 ↩