Kollaboratives Annotieren literarischer Texte

Inhalt

Kollaboratives Annotieren ist eine gute Möglichkeit, um mehr als bloß eine subjektive Perspektive auf den Untersuchungsgegenstand – beispielsweise einen Text – abzubilden: Sobald mehr als ein Individuum MarkUp an einem digitalen Objekt anbringt, kann deutlich werden, welche unterschiedlichen Aspekte des Objekts im Zentrum des individuellen Interesses stehen oder welche verschiedenen Sichtweisen in Bezug auf denselben Aspekt möglich sind. Soll die kollaborative Annotation jedoch nicht bloß die Pluralität von Perspektiven und Meinungen aufzeigen, sondern einem spezifischeren Erkenntnisinteresse dienen, so sollte die Annotationspraxis mithilfe von Guidelines strukturiert und reguliert werden. Für die Annotation linguistischer Phänomene (bspw. in Gebrauchstexten) werden solche bereits entwickelt (vgl. bspw. Pyysalo / Ginter 2014; Mamoouri et al. 2008); dagegen existieren für die kollaborative Annotation semantischer Phänomene in literarischen Texten kaum best practice-Vorschläge. Eine direkte Übertragung linguistischer Annotationsanleitungen auf den literaturwissenschaftlichen Bereich scheint dabei aus mindestens drei Gründen nicht möglich:

1. Literarische Texte sind in der Regel polyvalent, d. h. mehrdeutig: Während kollaboratives Annotieren im Bereich der Linguistik letztlich der Vermeidung individueller Annotationsfehler dient und eine autoritative Version zum Ziel hat, muss im Falle literaturwissenschaftlicher Annotation immer bedacht werden, dass auch unterschiedliche bzw. widersprüchliche Annotationen gleichermaßen legitime Lesarten ausdrücken können – ohne dabei jedoch in Beliebigkeit abzugleiten.
2. Die Analysekategorien, mithilfe derer literarische Texte untersucht bzw. annotiert werden, sind häufig unterdefiniert. Grund hierfür scheint zum einen die Tatsache zu sein, dass Textanalyse und -interpretation in der traditionell-literaturwissenschaftlichen Praxis häufig weniger textnah ausgeführt werden als im digitalen Kontext, was dazu führt, dass vage Definitionen keine Anwendungsprobleme mit sich bringen. Zum anderen zeichnet sich die traditionelle Literaturwissenschaft durch individuelles Arbeiten und die Erschließung neuer Lesarten von Texten aus. Dadurch bleibt häufig unbemerkt, dass die Analysekategorien nicht konsistent verwendet werden. Im Kontext der kollaborativen Annotation literarischer Texte muss also die Frage berücksichtigt werden, wie spezifisch und klar die Definition literaturwissenschaftlicher Annotationskategorien ausfallen kann und sollte.
3. Literaturwissenschaftliche Analysekategorien stehen häufig in bisher untertheoretisierten Abhängigkeitsverhältnissen zueinander. Das kann dazu führen, dass Annotationen deshalb unterschiedlich ausfallen, weil die Annotatoren im Kontext impliziter Analyseschritte, die der Annotation logisch vorgeordnet sind, zu unterschiedlichen Ergebnissen gekommen sind. Auch für den Umgang mit solchen impliziten Abhängigkeitsverhältnissen muss im Kontext literarischer Annotation eine Regelung gefunden werden.

Im Folgenden möchten wir einen best practice Vorschlag für das kollaborative Annotieren literarischer Texte vorstellen, der die oben genannten Schwierigkeiten berücksichtigt. Da best practices – besonders im literaturwissenschaftlichen Bereich – allerdings nicht vollständig unabhängig vom zugrundeliegenden Erkenntnisinteresse sind, stellen wir unserem How to eine kurze Beschreibung des Projektkontextes voran, im Rahmen dessen die Guidelines entstanden sind. Mit kleineren, am jeweiligen Erkenntnisinteresse orientierten Modifikationen sollte diese Anleitung allerdings problemlos auf anders ausgerichtete Projekte übertragbar sein.

Die Annotationsguidelines sind im Kontext des Projekts heureCLÉA entstanden (vgl. Bögel et al. im Erscheinen). Ziel des Projekts ist die Entwicklung einer digitalen Heuristik, d. h. eines Funktionsmoduls, das automatisch semantische Phänomene in literarischen Texten – hier: narratologische Phänomene der Zeitgestaltung 1 – annotiert. Für die Generierung dieses Tools wurde zunächst ein Korpus literarischer Texte kollaborativ in Bezug auf die zu automatisierenden Phänomene annotiert. Basierend auf diesen Annotationen soll die Funktionalität dann mithilfe regelbasierter Verfahren und Machine Learning-Methoden entwickelt werden.

Nach einigen Anläufen hat sich folgende Annotationspraxis als best practice herausgestellt (vgl. Abbildung 1):

Abb. 1: Ablaufschema kollaborative literaturwissenschaftliche Annotation

• Schritt 1: Möglichst genaue Definition der Annotationskategorien. Es ist sinnvoll, die zugrundeliegenden Annotationskategorien bereits vor der Annotation so spezifisch wie möglich zu definieren. Geschieht dies nicht, so ist es letztlich schwieriger festzustellen, ob sich Annotationen tatsächlich auf Basis der Polyvalenz des literarischen Textes unterscheiden oder aufgrund vager Kategoriendefinitionen. Wenn die Definition einer traditionellen literaturwissenschaftlichen Kategorie auf zwei unterschiedliche Arten verstanden werden kann und beide Varianten interessante Textphänomene beschreiben, dann ist es problemlos möglich, beide Varianten zu operationalisieren – allerdings als sorgfältig getrennte Konzepte. Die Forderung der möglichst genauen Definition geht also nicht notwendigerweise mit einer Beschränkung des Erkenntnisinteresses einher. Zusätzlich zur Definition der Annotationskategorie sollten auch die Textoberflächenindikatoren festgehalten werden, die auf das jeweilige Phänomen hinweisen, sowie die Granularität der annotierten Zeichenkette (Fragment, Wort, Teilsatz, Satz etc.). Die Festlegungen werden in Form von Annotationsguidelines dokumentiert, die allen Annotatoren als Annotationsbasis dienen.
• Schritt 2: Individuelle Annotation. Jeder Annotator annotiert auf Basis der Guidelines die Korpustexte individuell. Dadurch soll gewährleistet werden, dass nicht gleich zu Beginn eine gegenseitige Beeinflussung der Anntotatoren besteht, sondern unterschiedliche Lesarten auch tatsächlich in den Annotationen abgebildet werden.
  • falls notwendig: Verfeinerung der Annotationskategorien. Eventuell stellt sich bereits in der individuellen Annotationsrunde heraus, dass einige Annotationskategorien noch nicht spezifisch genug definiert sind, um eine regelgeleitete Anwendung zu gewährleisten. Ist dies der Fall, so müssen die Kategorien spezifiziert werden, damit die individuelle Annotationsrunde sinnvoll beendet werden kann.
• Schritt 3:Vergleich der Annotationen. Nach Abschluss der individuellen Annotation vergleichen die Annotatoren ihre Arbeit. Im Fall diskrepanter Annotationen werden die jeweiligen Gründe der Annotationsentscheidung diskutiert. Generell können vier Arten von Gründen für widersprüchliche Annotationen auftreten, die unterschiedliche Maßnahmen erfordern:
  1. falsche Annotation: Eine der Annotationen basiert auf einem eindeutig falschen Verständnis der fraglichen Textstelle oder der Kategoriedefinition. In diesem Fall muss die falsche Annotation korrigiert werden.
  2. ungenaue Definition: Es ist möglich, dass der Vergleich der Annotationen weitere Defizite der Kategoriedefinition offenbart, die im Kontext vorheriger Stadien nicht deutlich geworden sind. Ist dies der Fall, muss die Definition (ein weiteres Mal) überarbeitet werden. Es folgt eine weitere individuelle Annotationsphase, gefolgt von einem Vergleich der Annotationen.
  3. divergierende Voranalyse: Ein Vergleich der diskrepanten Annotationen kann ergeben, dass die Anwendung bestimmter Annotationskategorien vorbereitende Analyseschritte notwendig macht. Diese Schritte sind von den Annotatoren jeweils implizit ausgeführt worden. Wenn diese Analysen zu unterschiedlichen Ergebnissen führen, dann können auch die darauf aufbauenden Annotationen variieren. Ist dies der Fall, so müssen die für die vorbereitenden Analyseschritte notwendigen Hilfskategorien identifiziert und definiert werden. Wenn der Projektrahmen es zulässt, dann sollte das gesamte Textkorpus auch unter Rückgriff auf die Hilfskategorien nach dem hier dargestellten Ablaufschema annotiert werden. Die Hilfsannotationen können dann ebenfalls auf ihre Richtigkeit hin überprüft werden, wodurch die Hauptannotationen in der Regel deutlich einheitlicher ausfallen. Ist es aus arbeitsökonomischen Gründen nicht möglich, eine Voranalyse des Korpus anhand von Hilfskategorien durchzuführen, so ist ein work around möglich: Anstatt den Versuch zu unternehmen, die vorbereitenden Analysen zu vereinheitlichen, können die Annotatoren ihre Hauptannotationen mit Metaannotationen versehen, die die Ergebnisse der Voranalysen festhalten. Auf diese Weise wird nicht die Frage nach der Korrektheit der Voranalysen gestellt, wohl aber der Grund für die divergierenden Hauptannotationen explizit gemacht. 2
  4. polyvalenter Text: Wird als Grund für eine widersprüchliche Annotation textuelle Mehrdeutigkeit herausgestellt, so müssen die Annotationen nicht überarbeitet werden, sondern die widersprüchlichen Annotationen werden als legitimiert verstanden.

Wie deutlich geworden ist, werden die eingangs genannten drei Probleme literarischer Annotation im Kontext dieses Ablaufschemas berücksichtigt: Die Möglichkeit, einen literarischen Text unterschiedlich zu deuten, wird zum einen durch die individuelle Annotationsphase (vgl. Schritt 2) gewährleistet, zum anderen dadurch, dass widersprüchliche Annotationen erlaubt sind, sofern sie durch die Polyvalenz des Textes bedingt sind (vgl. Grund d). Dass die Berücksichtigung der Polyvalenz nicht in eine Beliebigkeit von Annotationsentscheidungen abgleitet, wird dadurch erreicht, dass andere Gründe (d. h. mindestens Gründe a und b) für widersprüchliche Annotationen ausgeschlossen werden. Die Spezifikation literaturwissenschaftlicher Annotationskategorien wird schrittweise optimiert, um aussagekräftige Annotationsergebnisse zu gewährleisten (vgl. Schritt 1 sowie ggf. weitere Optimierungsschritte ausgehend von Schritt 2 und Grund b). Da klare Definiertheit nicht notwendig mit einer Einschränkung der Perspektive auf Texte einhergeht (vgl. Schritt 1), ist sie mit der literaturwissenschaftlichen Praxis bzw. mit der Pluralität möglicher Erkenntnisinteressen kompatibel. Die Abhängigkeit literaturwissenschaftlicher Kategorien untereinander wird schließlich, je nach verfügbaren Ressourcen, entweder in einem reduzierten oder in einem ausführlichen Ansatz explizit gemacht (vgl. Grund c).