Ein führender Anbieter von Sprachprüfungen und Bildungsdienstleistungen erzielte in Zusammenarbeit mit statworx, einem Daten- und KI-Entwicklungs- und Beratungsunternehmen, bedeutende Fortschritte bei der Automatisierung und Standardisierung von Testinhalten und -bewertungen. Ziel dieses Projekts war es, die Effizienz und Konsistenz in der Korrektur und Bewertung von Texten zu verbessern und gleichzeitig die Erstellung maßgeschneiderter Testaufgaben zu erleichtern.
Texterstellung und -korrektur automatisieren
Die manuelle Korrektur und Bewertung von Texten kostet Lehrkräfte viel Zeit. Zudem ist der Prozess zu einem gewissen Grad subjektiv, da die Bewertungen je nach Prüfer:in variieren können. Schüler:innen hingegen benötigen möglichst objektive und schnelle Bewertungen, um ihre Sprachkenntnisse zu verbessern und beispielsweise bei einer Behörde oder einer Universität nachzuweisen.
Auch die manuelle Erstellung von Testinhalten ist für Lehrkräfte eine zeitintensive, immer wiederkehrende Aufgabe, bei der sie zudem spezifische EU-Vorgaben berücksichtigen müssen. Das macht den Prozess komplex und aufwändig. Hier setzte statworx an, um mit einem Proof-of-Concept (PoC) zu zeigen, dass diese Prozesse effizient automatisiert werden können.
Autoren-KI und Bewerter-KI
Im Rahmen des PoC entwickelte das Team zwei Hauptanwendungsfälle: die „Autoren-KI“ und die „Bewerter-KI“. Beide Konzepte werden durch ein voll funktionsfähiges KI-Backend und ein intuitives User-Frontend unterstützt.
Die Bewerter-KI bewertet Texte auf Deutsch B1 Niveau anhand festgelegter Kriterien wie inhaltlicher Angemessenheit, sprachlicher Qualität und formaler Richtigkeit und gibt individuelles Feedback zur Verbesserung.
Die Autoren-KI generiert Textaufgaben, Lückentexte und Lösungsoptionen auf spezifischen Sprachniveaus und für bestimmte Textformen, was den Prozess erheblich beschleunigt und individualisiert.
Höhere Effizienz und Konsistenz
Durch die Implementierung dieser beiden Use Cases konnte statworx die Effizienz und Konsistenz der Bewertungen signifikant steigern. Tests zeigten, dass die Bewerter-KI robuster und konsistenter in der Bewertung ist als menschliche Prüfer:innen, was durch die Teststatistik Cohens Kappa bestätigt wurde. Die Autoren-KI hat großes Potenzial bei der Automatisierung der Erstellung von Textaufgaben gezeigt und die bisherigen Schritte erfolgreich umgesetzt.
Diese Fortschritte demonstrieren eindrucksvoll, wie KI-Technologien die Bildungsbranche nachhaltig verändern können, indem sie die Arbeitslast der Lehrkräfte reduzieren und die Lernerfahrung der Schüler:innen verbessern.
Mehr Informationen zu statworx-Projekten finden Sie auf der Website.
Texterstellung und -korrektur automatisieren
Die manuelle Korrektur und Bewertung von Texten kostet Lehrkräfte viel Zeit. Zudem ist der Prozess zu einem gewissen Grad subjektiv, da die Bewertungen je nach Prüfer:in variieren können. Schüler:innen hingegen benötigen möglichst objektive und schnelle Bewertungen, um ihre Sprachkenntnisse zu verbessern und beispielsweise bei einer Behörde oder einer Universität nachzuweisen.
Auch die manuelle Erstellung von Testinhalten ist für Lehrkräfte eine zeitintensive, immer wiederkehrende Aufgabe, bei der sie zudem spezifische EU-Vorgaben berücksichtigen müssen. Das macht den Prozess komplex und aufwändig. Hier setzte statworx an, um mit einem Proof-of-Concept (PoC) zu zeigen, dass diese Prozesse effizient automatisiert werden können.
Autoren-KI und Bewerter-KI
Im Rahmen des PoC entwickelte das Team zwei Hauptanwendungsfälle: die „Autoren-KI“ und die „Bewerter-KI“. Beide Konzepte werden durch ein voll funktionsfähiges KI-Backend und ein intuitives User-Frontend unterstützt.
Die Bewerter-KI bewertet Texte auf Deutsch B1 Niveau anhand festgelegter Kriterien wie inhaltlicher Angemessenheit, sprachlicher Qualität und formaler Richtigkeit und gibt individuelles Feedback zur Verbesserung.
Die Autoren-KI generiert Textaufgaben, Lückentexte und Lösungsoptionen auf spezifischen Sprachniveaus und für bestimmte Textformen, was den Prozess erheblich beschleunigt und individualisiert.
Höhere Effizienz und Konsistenz
Durch die Implementierung dieser beiden Use Cases konnte statworx die Effizienz und Konsistenz der Bewertungen signifikant steigern. Tests zeigten, dass die Bewerter-KI robuster und konsistenter in der Bewertung ist als menschliche Prüfer:innen, was durch die Teststatistik Cohens Kappa bestätigt wurde. Die Autoren-KI hat großes Potenzial bei der Automatisierung der Erstellung von Textaufgaben gezeigt und die bisherigen Schritte erfolgreich umgesetzt.
Diese Fortschritte demonstrieren eindrucksvoll, wie KI-Technologien die Bildungsbranche nachhaltig verändern können, indem sie die Arbeitslast der Lehrkräfte reduzieren und die Lernerfahrung der Schüler:innen verbessern.
Mehr Informationen zu statworx-Projekten finden Sie auf der Website.
