2.1 Das Dulko-Template

Für die Annotation von Lernertexten empfiehlt es sich, zunächst das Dulko-Template zu laden („New from Dulko template“ im „File“-Menü). Das Dulko-Template – eine interne XML-Datei in EXMARaLDAs EXB-Format – definiert eine Partitur mit einer leeren word-Spur. In diese Spur ist der zu annotierende Text einzutragen; dies kann der vollständige Text sein oder zunächst nur ein satzförmiger Teil davon (vgl. Abbildung 1).

Abbildung 1

word-Spur mit Lernertext

Darüber hinaus definiert das Dulko-Template lernerkorpusspezifische Metadatenattribute gemäß den „Core metadata for learner corpora“ (vgl. Granger / Paquot 2017, Draft 1.0)⁸. Die korpus- und dokumentspezifischen Attribute findet man in den Meta-Informationen des EXMARaLDA-Partitur-Editors („Meta information“ im „Transcription“-Menü oder der entsprechende Button auf der Toolbar; vgl. Abbildung 2), die lernerspezifischen Attribute in der Sprechertabelle des EXMARaLDA-Partitur-Editors („Speakertable“ im „Transcription“-Menü oder der entsprechende Button auf der Toolbar; vgl. Abbildung 3). Dort lassen sich die entsprechenden Attributwerte eintragen. Die Werte annotationsbezogener Attribute wie corpus_size (Tokenzahl), pos_tagged (Wortklassen-Tagging), error_annotated (Fehlerannotation) oder annotation_other (weitere Annotationen) werden von Dulko-Transformationsszenarien automatisch ergänzt bzw. aktualisiert.

Abbildung 2

Meta-Informationen des Dulko-Templates

Abbildung 3

Sprechertabelle des Dulko-Templates

In der Sprechertabelle ist Deutsch als verwendete Zweitsprache voreingestellt („Language(s) used“ und „Second language(s)“); die Erstsprache („First language(s)“) ist nicht spezifiziert. Mit Hilfe des Buttons „Edit languages“ lassen sich diese Angaben anpassen. In der Sprechertabelle kann außerdem das Geschlecht des Lerners angegeben und eine Abkürzung als Lerner-ID eingetragen werden. Die Meta-Informationen enthalten Felder für Projektname, Transkriptionsname und Transkriptionskonventionen⁹.

2.2 Dulko-Transformationsszenarien für die Annotation

Zur semiautomatischen Annotation von Lernertexten stellen die Dulko-Tools des EXMARaLDA-Partitur-Editors eine Reihe von Transformationsszenarien zur Verfügung. Diese können im Transformationsdialog des EXMARaLDA-Partitur-Editors ausgewählt werden („Transformation“ im „Transcription“-Menü oder der entsprechende Button auf der Toolbar; vgl. Abbildung 4). Manche der Dulko-Transformationsszenarien (wie diejenigen für die Fehlerannotation) sind lernerkorpusspezifisch; andere lassen sich auch für die Annotation von geschriebenen Daten anderer Art nutzen. Jedes Transformationsszenario ruft ein internes XSLT-Stylesheet auf, das die XML-Repräsentation von Partitur und Metadaten im EXB-Format manipuliert.

Abbildung 4

Dulko-Transformationsszenarien im Transformationsdialog

Um den Lernertext in Abbildung 1 gemäß dem Dulko-Annotationsverfahren zu annotieren, führt man zunächst das Transformationsszenario „Dulko: word-tier (learner text)“ aus, indem man dieses im Transformationsdialog auswählt und anwendet („Apply transformation“). Dieses Transformationsszenario tokenisiert den Text in der word-Spur, indem es pro Token ein eigenes Ereignis anlegt (vgl. Abbildung 5). Außerdem normalisiert es typographische Interpunktionszeichen zu ASCII-Zeichen.

Abbildung 5

Tokenisierter Lernertext

Für die Tokenisierung von Abkürzungen wird auf eine sprachspezifische Abkürzungsliste des TreeTaggers (vgl. Schmid 1997)¹⁰ zurückgegriffen. Abkürzungslisten für zahlreiche Sprachen sind auf der TreeTagger-Homepage als Teil der „tagging scripts“ verfügbar. Benötigt wird eine Abkürzungsliste für die erste Sprache, die in der Sprechertabelle als verwendete Sprache eingestellt ist (vgl. Abschnitt 2.1). Für die im Dulko-Template voreingestellte Sprache Deutsch wird eine Abkürzungsliste des Namens german-abbreviations benötigt. Der Pfad zu dieser Abkürzungsliste ist zusammen mit dem Pfad zur TreeTagger-Installation in den TreeTagger-Einstellungen des EXMARaLDA-Partitur-Editors anzugeben („Preferences“ im „Edit“-Menü, „Paths“-Reiter, „TreeTagger directory“¹¹ bzw. „Abbreviations file“; vgl. Abbildung 6). Existiert einer dieser Pfade nicht oder stimmt die Sprache der Abkürzungsliste nicht mit der ersten verwendeten Sprache in der Sprechertabelle überein, so wird ein Fehler ausgegeben.

Abbildung 6

Einstellungen für den TreeTagger

Unbefriedigende Tokenisierungen lassen sich bei Bedarf manuell korrigieren. Der EXMARaLDA-Partitur-Editor stellt hierfür spezielle Funktionen zur Verfügung („Split“ und „Merge“ im „Event“-Menü oder die entsprechenden Buttons auf der Toolbar).

Als Nächstes ruft man das Transformationsszenario „Dulko: S, pos, and lemma-tiers (learner text)“ auf. Dieses Transformationsszenario annotiert die Ereignisse in der word-Spur mit Satzspannen, Wortklassen und Lemmata und legt dafür die Spuren pos, lemma und S an (vgl. Abbildung 7)¹².

Abbildung 7

Tokenisierter Lernertext mit Satzspannen, Wortklassen und Lemmata

Wortklassen-Tagging und Lemmatisierung erfolgen mit Hilfe einer lokalen TreeTagger-Installation. Dafür ist eine sprachspezifische Parameterdatei erforderlich, die von der TreeTagger-Homepage heruntergeladen werden kann. Wie bei der Abkürzungsliste für die Tokenisierung muss die Parameterdatei zur ersten Sprache passen, die in der Sprechertabelle als verwendete Sprache eingestellt ist. Im Fall der im Dulko-Template voreingestellten Sprache Deutsch ist dies die Parameterdatei german.par, die das Wortklassen-Tagset STTS (vgl. Schiller et al. 1999) verwendet. Der Pfad zur Parameterdatei ist ebenfalls in den TreeTagger-Einstellungen des EXMARaLDA-Partitur-Editors einzutragen. Es wird ein Fehler ausgegeben, falls der Pfad nicht existiert oder die Sprache der Parameterdatei nicht mit der ersten verwendeten Sprache in der Sprechertabelle übereinstimmt.

In der aktuellen Version 1.8 des EXMARaLDA-Partitur-Editors setzt die Satzspannen-Bestimmung noch voraus, dass satzbeendende Interpunktionszeichen mit dem STTS-Tag $. annotiert sind. Das EXMARaLDA-Quellcode-Repositorium enthält jedoch bereits eine generalisierte Version des entsprechenden XSLT-Stylesheets, die diese faktische Beschränkung auf das Deutsche aufhebt und die Teil des nächsten EXMARaLDA-Releases sein wird. Bei Bedarf können Satzspannen wie bei der Tokenisierung manuell korrigiert und mit Hilfe des Transformationsszenarios „Dulko: sentence spans“ neu durchnummeriert werden.

Handelt es sich bei dem zu annotierenden Text um einen Lernertext, so fügt man nach dessen Annotation eine oder mehrere Zielhypothesen hinzu, die auf analoge Weise annotiert werden. Für die erste Zielhypothese ist das Transformationsszenario „Dulko: ZH and Fehler-tiers (1 st target hypothesis)“ vorgesehen, das eine Zielhypotesenspur (ZH) sowie leere Spuren für die Fehlerannotation erstellt (FehlerOrth, FehlerMorph, FehlerSyn, FehlerLex und FehlerSem). Außerdem kopiert es den Lernertext aus der word-Spur als Vorlage in die ZH-Spur, die dann manuell bearbeitet wird. Dabei können Funktionen des „Event“-Menüs („Split“, „Merge“, „Remove“) und des „Timeline“-Menü („Insert timeline item“) bzw. die entsprechenden Buttons auf der Toolbar genutzt werden.

Diese Zielhypothese wird ebenfalls mit Satzspannen, Wortklassen und Lemmata annotiert, wozu das Transformationsszenario „Dulko: ZHS, ZHpos, and ZHlemma-tiers (1 st target hypothesis)“ aufgerufen wird. Dabei werden die Spuren ZHS, ZHpos und ZHlemma angelegt.

Abweichungen zwischen Tokens des Lernertexts in der word-Spur und Tokens der Zielhypothese in der ZH-Spur werden vom Transformationsszenario „Dulko: ZHDiff-tier (1 st target hypothesis)“ berechnet und in einer ZHDiff-Spur als CHA, SPLIT, MERGE, DEL, INS, MOVS oder MOVT getaggt¹³. Insoweit die Abweichungen als Fehler und nicht als Folgefehler interpretiert werden, wird der linguistische Bereich des Fehlers manuell oder mit Hilfe des Dulko-Annotationspanels (vgl. Abschnitt 2.3) als Spanne mit einem Fehlertag in der entsprechenden Fehlerspur annotiert (vgl. Abbildung 8). Dabei erweisen sich wieder Funktionen des „Event“-Menüs als nützlich („Extend to the left“, „Extend to the right“ usw. bzw. die entsprechenden Toolbar-Buttons).

Abbildung 8

Erste Zielhypothese mit Abweichungen, Satzspannen, Wortklassen, Lemmata und Fehlerkategorien

Zur Repräsentation von einander überlappenden Fehlern kann es erforderlich sein, mehr als eine Zielhypothese zu annotieren. Im vorliegenden Beispiel gibt es im Lernertext bei der Anzahl zwei solche Fehler: einen Genus-Fehler, der in Abbildung 8 in der ersten Zielhypothese zu die Anzahl korrigiert und in der FehlerLex-Spur als Gen annotiert wurde, sowie einen Wortwahl-Fehler: Die erwähnten 50 % sind keine Anzahl. Würde man den zweiten Fehler in derselben Zielhypothese zu der Anteil korrigieren, so könnte der Genus-Fehler nicht annotiert werden, da es beim genusanzeigenden Artikel keine Abweichung mehr gäbe. Gemäß dem Dulko-Annotationsverfahren wird stattdessen mit Hilfe des Transformationsszenarios „Dulko: ZH and Fehler-tiers (2nd target hypothesis)“ eine zweite ZH-Spur mit entsprechenden Fehler-Spuren angelegt und der Inhalt der ersten ZH-Spur als Vorlage in die zweite ZH-Spur kopiert. In dieser Spur wird dann der Wortwahl-Fehler manuell korrigiert und in der FehlerLex-Spur mit dem Fehlertag Lex annotiert (vgl. Abbildung 9).

Abbildung 9

Zweite Zielhypothese mit Abweichungen, Satzspannen, Wortklassen, Lemmata und Fehlerkategorien

Analog zur ersten, intermediären Zielhypothese wird die zweite, finale Zielhypothese außerdem mit Satzspannen, Wortklassen und Lemmata sowie mit Abweichungen zwischen der ersten und zweiten Zielhypothese annotiert¹⁴. Dafür werden die Transformationsszenarien „Dulko: ZHS, ZHpos, and ZHlemma-tiers (2nd target hypothesis)“ und „Dulko: ZHDiff-tier (2nd target hypothesis)“ auf die zweite Zielhypothese angewendet.

Bei der Annotation der beiden Zielhypothesen werden von den Transformationsszenarien intern dieselben XSLT-Stylesheets aufgerufen. Der Parameter zh-number im Transformationsdialog legt dabei fest, auf welche Zielhypothese sich das Transformationsszenario bezieht: Der Wert 1 steht für die erste Zielhypothese, der Wert 2 für die zweite Zielhypothese usw.¹⁵ Transformationsszenarien, die sich auf den Lernertext in der word-Spur beziehen, setzen den zh-number-Parameter auf den Wert 0.

Für besondere Anwendungsfälle existieren weitere Transformationsszenarien. Ist der zu annotierende Text eine Übersetzung, so kann mit Hilfe des Transformationsszenarios „Dulko: trans-tier (learner text)“ eine leere trans-Spur angelegt werden, die mit der S-Spur aligniert ist. In diese Spur wird der übersetzte Ausgangstext manuell eingetragen.

Zur Annotation von Selbstkorrekturen des Lerners verfährt man folgendermaßen. Zunächst legt man mit dem Transformationsszenario „Dulko: orig-tier (learner text)“ eine orig-Spur mit einer Kopie des Lernertexts aus der word-Spur an. Sodann editiert man die orig-Spur und macht dort Selbstkorrekturen des Lerners rückgängig. Schließlich führt man das Transformationsszenario „Dulko: Diff-tier (learner text)“ aus, das Abweichungen zwischen Tokens der Originalfassung in der orig-Spur und Tokens der Endfassung in der word-Spur berechnet und in einer Diff-Spur mit Tags wie CHA, DEL oder INS annotiert (vgl. Abbildung 10).

Abbildung 10

Tokenisierter Lernertext mit Originalfassung, Abweichungen, Satzspannen, Wortklassen und Lemmata

Die orig-Spur kann man außerdem nutzen, um Leerraum, Absatzumbrüche, Zeilenumbrüche oder Trennstriche anzugeben. Zu diesem Zweck fügt man in dieser Spur jeweils ein Token mit einem der Symbole _, ¶, | oder – ein; die word-Spur lässt man dabei unverändert¹⁶. Anschließend ruft man das Transformationsszenario „Dulko: Layout-tier (learner text)“ auf, das diese Tokens in einer Layout-Spur als SPACE, PARB, LB bzw. HYPH taggt.

Graphische Auszeichnungen des Lernertexts wie Unterstreichung oder durchgängige Großschreibung können manuell auf einer Graph-Spur annotiert werden, die mit dem Transformationsszenario „Dulko: Graph-tier (learner text)“ angelegt wird.

2.3 Das Dulko-Annotationspanel

Zur Unterstützung bei der Fehlerannotation kann der Annotator das Annotationspanel des EXMARaLDA-Partitur-Editors öffnen („Annotation panel“ im „View“-Menü) und die Dulko-Spezifikation dafür laden („Dulko: Annotation“ in der Drop-down-Liste; vgl. Abbildung 11¹⁷). Dieses Dulko-Annotationspanel enthält mehrere hierarchisch angeordnete Tagsets, die sich durch Mausklick auf den jeweiligen Reiter oder durch Mausklick in die gleichnamige Spur auswählen lassen. Durch Doppelklick auf einen Tag wird dieser an der aktuellen Position in die Partitur eingefügt.

Abbildung 11

Annotationspanel mit Fehlerkategorien

3.1 Das Dulko-Formatierungsstylesheet

Wie aus Abbildung 9 ersichtlich ist, enthält der Output der Dulko-Transformationsszenarien neben der linguistischen Annotation auch Formatierungsangaben: word und ZH-Spuren sind fett gesetzt, ZHDiff-Spuren grün, Fehler-Spuren rot etc. Diese Formatierungsangaben gehen bei der Speicherung verloren, sofern nicht explizit angegeben wird, dass die Formatierungsangaben mit gespeichert werden sollen („Save as“ im „File“-Menü, „Save formats“). Wenn man eine solche EXB-Datei ohne Formatierungsangaben öffnet, kann die Formatierung wiederhergestellt werden, indem man das Dulko-Formatierungsstylesheet darauf anwendet („Built-in stylesheets“ im „Format“-Menü, „Dulko“).

3.2 Dulko-Transformationsszenarien für die Datenaufbereitung

Neben Transformationsszenarien für die Annotation stellen die Dulko-Tools auch Transformationsszenarien für verschiedene Aufgaben der Datenaufbereitung zur Verfügung. Dazu zählen insbesondere die Optimierung annotierter Daten und deren Export in verschiedene Formate.

In Abschnitt 2.1 wurde empfohlen, für die Annotation von Lernerdaten zunächst das Dulko-Template zu laden. Das Dulko-Template kann aber auch nachträglich angewendet werden, indem man das Transformationsszenario „Dulko: metadata“ ausführt. Erwähnt wurde dort auch, dass man in der Sprechertabelle eine Abkürzung als Sprecher-ID eintragen kann. Von den in Abschnitt 2.2 genannten Transformationsszenarien wird der Anfang dieser Sprecher-ID als Teil des angezeigten Spurennamens übernommen. Diese Anzeige kann ebenfalls nachträglich geschehen durch Aufruf des Transformationsszenarios „Dulko: tier names“. Zwei weitere Hilfswerkzeuge zur Datenoptimierung sind das Transformationsszenario „Dulko: sentence spans“, mit dessen Hilfe sich manuell korrigierte Satzspannen neu durchnummerieren lassen, und das Transformationsszenario „Dulko: timeline“, das überzählige Zeitpunkte entfernt, zu denen es kein Ereignis in der word-Spur, einer eventuellen orig-Spur oder einer ZH-Spur gibt.

Für den Export annotierter Daten stellen die Dulko-Tools die folgenden Transformationsszenarios zur Verfügung. Die Transformationsszenarien „Dulko: text (learner text)“, „Dulko: text (1 st target hypothesis)“, „Dulko: text (2nd target hypothesis)“ und „Dulko: text (last target hypothesis)“ exportieren den Text in der word-Spur bzw. der jeweiligen ZH-Spur. Das Transformationsszenario „Dulko: HTML version“ gibt Annotation und Metadaten als HTML-Datei aus, die sich insbesondere für die Qualitätskontrolle eignet, da der annotierte Lernertext dort in übersichtlicher Weise satzspannenweise umgebrochen ist. Die Transformationsszenarien „Dulko: ANNIS-compatible version“ und „Dulko: Pepper-compatible metadata list“ schließlich bereiten Annotation und Metadaten so auf, dass sie mittels Pepper¹⁸ in das Format des Korpusrecherchesystems ANNIS¹⁹ konvertiert werden können. Dieser Konvertierungsprozess kann mit Hilfe des Korpusbausystems makeDulko automatisiert werden, das der Entwickler der Dulko-Tools ebenfalls als Open Source verfügbar gemacht hat²⁰.