Wissenschaftlich fundiert

Hattie, John A. C. (2009). Visible Learning: A synthesis of over 800 meta-analyses relating on achievement. London & New York: Routledge.

Tomasik, M. J., Berger, S., & Moser, U. (2018). On the development of a computer-based tool for formative student assessment: Epistemological, methodological, and practical issues. Frontiers in Psychology, 9, 2245. doi: 10.3389/fpsyg.2018.02245

Herzstück unserer Bemühungen, Lernen durch Feedback sichtbar zu machen, sind sorgfältig konzipierte Aufgaben, die Lernende selbständig lösen können. In Zusammenarbeit mit der Pädagogischen Hochschule der Fachhochschule Nordwestschweiz haben wir für Check-Dein-Wissen und Mindsteps einen Pool mit über 60’000 Aufgaben aus den Fachbereichen Deutsch, Englisch, Französisch, Mathematik sowie Natur und Technik entwickelt. Alle Aufgaben sind als Elemente in einer digitalen Sammlung abgelegt, einer sogenannten Item-Bank

Während früher für Aufgaben auf Papier eingesetzt wurden, können heutzutage Aufgaben in einer digitalen Item-Bank abgelegt werden, die so umfangreich ist, dass sich das Wissen und Können in unterschiedlichen Domänen und auf verschiedenen Klassenstufen in Form von Aufgaben über eine sehr grosse Zeitspanne, beispielsweise über die gesamte obligatorische Schulzeit hinweg, abbilden lassen. Die Aufgaben werden mit didaktisch relevanten Metadaten zum Inhalt, zu den kognitiven Anforderungen und zur Schwierigkeit verknüpft. Diese Metadaten dienen dazu, den Schülerinnen und Schülern Aufgaben zuzuweisen, die ihren Fähigkeiten entsprechen, und Rückmeldungen zum Lernstand und zum Lernfortschritt zu generieren, die sich mit Bezug zum kumulativen Aufbau von Wissen und Können interpretieren lassen.

Unsere Item-Bank deckt in den genannten Fachbereichen die meisten vom Lehrplan 21 geforderten Kompetenzen und Lernziele ab – von der dritten Klasse der Primarstufe bis zur dritten Klasse der Sekundarstufe I. Die Aufgaben variieren in ihrem Schwierigkeitsgrad und können so das gesamte Leistungsspektrum der Schülerinnen und Schüler abbilden. Ein besonderes Merkmal unserer Item-Bank ist die Kalibrierung der Aufgaben: Jede einzelne ist einer spezifischen Kompetenz gemäss Lehrplan 21 zugeordnet und mit einem Schwierigkeitsparameter versehen. Diese Metadaten ermöglichen es, jede Aufgabe präzise auf einer vertikalen Skala zu verorten, die von 0 bis 1200 Punkte reicht und alle Aufgaben respektive Lerninhalte von der dritten Primarklasse bis und mit Sekundarstufe I abbildet.

Berger, S. (2019). Implementation and validation of an item response theory scale for formative assessment. Enschede: University of Twente. doi: 10.3990/1.9789036547932

Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019a). Development and validation of a vertical scale for formative assessment in mathematics. Frontiers in Education, 4, 103. doi: 10.3389/feduc.2019.00103

Auf der gleichen Skala weisen Check-Dein-Wissen und Mindsteps die Ergebnisrückmeldungen der Lernenden aus. Die Übertragung sowohl von Aufgaben als auch von Lernergebnissen auf eine einheitliche Skala ermöglicht eine direkte Interpretation der Ergebnisse im Kontext von Aufgaben und Lernzielen. Das heisst: Jeder Punktwert zwischen 0 und 1200 wird durch Aufgabenbeispiele repräsentiert, die für eine spezifische Kompetenz im Lehrplan 21 stehen. So wird sicht- und vor allem auch messbar, was Schülerinnen und Schüler an Wissen und Können erworben haben und welche Lernziele als Nächstes anstehen.

Unsere Aufgaben erfüllen eine besonders wertvolle Feedbackfunktion, da sie detailliert Einblick in das Fachwissen der Lernenden geben, sowohl in Bezug auf die Lehrplanziele als auch den individuellen Lernfortschritt. Die konsistente Skalierung von Aufgaben und Ergebnissen ermöglicht ausserdem den Vergleich von Lernresultaten über verschiedene Tests und Aufgabenserien hinweg – unabhängig davon, welche Aufgaben gelöst wurden. So lassen sich Fortschritte und Veränderungen im Lernstand dokumentieren und analysieren, und zwar über die gesamte Schulzeit der Lernenden hinweg.

Berger, S. (2019). Implementation and validation of an item response theory scale for formative assessment. Enschede: University of Twente. doi: 10.3990/1.9789036547932

Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019a). Development and validation of a vertical scale for formative assessment in mathematics. Frontiers in Education, 4, 103. doi: 10.3389/feduc.2019.00103

Damit die Aufgaben weder zu schwierig noch zu einfach sind, steuert ein Algorithmus die Auswahl der Aufgaben – und zwar basierend auf dem Lösungsverhalten der Schülerinnen und Schüler. Der Algorithmus berechnet auf dieser Grundlage fortwährend den Wissensstand der Lernenden und wählt die nächste Aufgabe jeweils so aus, dass sie optimal auf die Fähigkeiten der Schülerin oder des Schülers abgestimmt ist. Dies wirkt sich positiv auf deren Motivation aus und verhindert Langeweile, Frust und Überforderung.

Bei Check-Dein-Wissen setzten wir modernste adaptive Tests ein, die eine faire und unabhängige Standortbestimmung ermöglichen. Im Gegensatz zu herkömmlichen adaptiven Tests, in denen der Algorithmus auf jede gelöste Aufgabe eine weitere vorschlägt, arbeitet der Algorithmus in unseren adaptiven Multistage-Tests so, dass er gleich ganze Aufgabengruppen mit passendem Schwierigkeitsgrad wählt. Dieses Verfahren stellt sicher, dass alle Schülerinnen und Schüler dieselbe Anzahl Aufgaben in der gleichen Zeit bearbeiten und bietet darüber hinaus die Möglichkeit, Aufgaben innerhalb einer Aufgabengruppe zu überspringen oder zu überarbeiten. Zudem werden inhaltlich zusammenhängende Aufgaben, wie beispielsweise mehrere Fragen zu einem längeren Lesetext, gemeinsam präsentiert. Die Aufgabengruppen sind so zusammengestellt, dass sie bezüglich des Lehrplans und des Aufgabenformats übereinstimmen. Multistage-Tests gewährleisten durch gleiche Durchführungsbedingungen und identische Testinhalte eine hohe Fairness. Dies garantiert wichtige psychometrische Gütekriterien wie Validität, Reliabilität und Objektivität.

Mindsteps setzt ebenfalls adaptive Algorithmen für das Lernen ein. Darüber hinaus haben Lehrpersonen sowie Schülerinnen und Schüler die Möglichkeit, Aufgaben nach individuellen Bedürfnissen auszuwählen, also Schwierigkeitsgrad und Inhalte zu variieren. Lehrpersonen können die Aufgabenserien auf drei verschiedene Arten einsetzen: als personalisiertes Feedback zum Lernfortschritt der Schülerinnen und Schüler, als Lernkontrolle zu einem Unterrichtsthema sowie zur Erstellung von Kompetenzprofilen, anhand derer Lehrpersonen sicherstellen können, dass die Lehrplanziele erreicht wurden. Derweil können Schülerinnen und Schüler durch massgeschneiderte Aufgabenserien ihren Fortschritt überprüfen und feststellen, welche Inhalte sie sicher beherrschen oder noch vertiefen müssen und was als Nächstes ansteht.

Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019b). Efficiency of targeted multistage calibration designs under practical constraints: A simulation study. Journal of Educational Measurement, 56 (1), 121–146. doi: 10.1111/jedm.12203

Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019c). Improvement of measurement efficiency in multistage tests by targeted assignment. Frontiers in Education, 4, 1. doi: 10.3389/feduc.2019.00001

Die Item-Response-Theory erfüllt aus unserer Sicht zwei entscheidende Funktionen: Erstens ermöglicht sie die Verortung aller Aufgaben auf der vertikalen Skala – jede Aufgabe in unserer Item-Bank wird kalibriert und erhält einen stichprobenunabhängigen Schwierigkeitsparameter. Neue Aufgaben können problemlos integriert und ihr Schwierigkeitsgrad im Vergleich zur Erfolgsquote bereits kalibrierter Aufgaben ermittelt werden. Zweitens dienen die Modelle der IRT und die kalibrierten Aufgaben dem Algorithmus beim Durchlauf eines adaptiven Tests als Grundlage zur Schätzung der Fähigkeiten der Lernenden.

Die IRT bietet verfügt über Eigenschaften, die für die Umsetzung des Prinzips sichtbaren Lernens und das zugehörige Feedback entscheidend sind. Ein zentrales Merkmal ist die spezifische Objektivität. Sie gewährleistet eine Einschätzung der Fähigkeit der Schülerin oder des Schülers über die gelösten Aufgaben hinaus. Konkret bedeutet dies: Selbst wenn ein Test nur eine begrenzte Anzahl von Aufgaben beinhaltet, widerspiegelt die daraus resultierende Fähigkeitseinschätzung nicht nur die Fähigkeit der Lernenden zur Lösung dieser spezifischen Aufgaben, sondern auch ihre Fähigkeit, ähnliche Aufgaben zu bewältigen. Diese Eigenschaft ist insbesondere für das adaptive Testen unerlässlich, da ein Algorithmus die Aufgabenauswahl fortlaufend an die individuellen Fähigkeiten der Person anpasst. Adaptive Testalgorithmen schätzen wie gesagt kontinuierlich die Fähigkeit der Person ein und wählen darauf abgestimmt Aufgaben aus, die deren aktuellen Fähigkeiten entsprechen und somit für ein zuverlässiges Ergebnis besonders geeignet sind. Die spezifische Objektivität der IRT garantiert zuletzt auch, dass das Feedback nicht davon abhängt, welche spezifischen Aufgaben eine Person bearbeitet hat. So wird ein direkter Vergleich verschiedener Feedbacks möglich, auch wenn unterschiedliche Aufgaben bearbeitet wurden.

Durch den konsequenten Einsatz der Item-Response-Theory (IRT) bei der Kalibrierung der Aufgaben und der Schätzung der Schülerfähigkeiten gewährleisten wir einen konstanten Beurteilungsmassstab. Über die Zeit verbessern sich die Fähigkeiten der Lernenden, und der adaptive Algorithmus passt die Aufgaben entsprechend an, indem anspruchsvollere Aufgaben gestellt werden. Trotz dieser Anpassungen bleibt das Feedback konsistent, da es auf einer konstanten Skala basiert und nicht von einzelnen Tests oder Aufgabenserien abhängig ist. Diese Standardisierung der Metrik ist essentiell, um Lernfortschritte verlässlich nachzuweisen und zu dokumentieren. Durch diese Methode ist es möglich, Feedback aus verschiedenen Phasen der Schulzeit direkt miteinander zu vergleichen, was eine kontinuierliche und vergleichbare Messung des Lernfortschritts ermöglicht und ein entscheidender Vorteil unserer pädagogischen Instrumente Check-Dein-Wissen.ch und Mindsteps.ch ist.

Die IRT bildet auch die Grundlage für die Berechnung der Ergebnisse beziehungsweise des Feedbacks. Je nach Anwendungsbereich – ob Multistage-Tests oder adaptives Lernen mit Aufgabenserien – kommen zwar unterschiedliche Modelle der IRT zur Anwendung. Das Grundprinzip lässt sich aber am einfachen Rasch-Modell erklären: Die Wahrscheinlichkeit einer richtigen Lösung auf eine Aufgabe wird wie gesagt als Funktion der Fähigkeit der Person und der Schwierigkeit der Aufgabe beschrieben. Die Skala ist so konstruiert, dass bei einer Entsprechung von Schwierigkeit und Fähigkeit die Erfolgswahrscheinlichkeit 50 Prozent beträgt. Da die Schwierigkeiten der Aufgaben unserer Item-Bank bekannt sind, lässt sich nach dem Lösen der Aufgabe (richtig oder falsch) die Fähigkeit einfach bestimmen. Theoretisch reicht die Skala von -¥ bis +¥. Eine solche logistische Skala wäre allerdings nicht lesefreundlich, weshalb wir sie in eine Skala von 0 bis 1200 Punkte transformiert haben.

Die Beziehung zwischen Lösungswahrscheinlichkeit, Fähigkeit der Person und Schwierigkeit der Aufgabe ist für die Rückmeldung an die Lernenden von entscheidender Bedeutung. So lässt sich das Feedback auf die Ergebnisse nämlich mit Bezug zu den Kompetenzstufen gemäss Lehrplan 21 interpretieren, die den Aufbau von Wissen und Können zusammenfassen und abbilden. Die einzelnen Aufgaben stellen also das Bindeglied zwischen Fähigkeit der Lernenden und dem kumulativen Aufbau von Fähigkeiten im Lehrplan dar – was die zugrundeliegende Theorie mit dem Namen Item-Response nicht zuletzt auch andeutet.5.7 Gewährleistung fairer und valider ErgebnisrückmeldungenDank der IRT können sowohl die Schwierigkeitsparameter der Aufgaben als auch die Fähigkeiten der Schülerinnen und Schüler präzise auf der vertikalen Skala abgebildet und interpretiert werden. Diese Skalierung stellt sicher, dass die Testergebnisse objektiv und fair sowie vergleichbar sind, unabhängig vom adaptiven Test oder von der gewählten Aufgabenserie. Dadurch können Lernfortschritte über alle Bildungsstufen hinweg zuverlässig verfolgt und dargestellt werden.

Berger, S. & Moser, U. (2020). Adaptives Lernen und Testen. Journal für LehrerInnenbildung, 20(1), 42-53.

Helbling, L. A. & Tomasik, M. J., & Moser, U. (2019). Long-term trajectories of academic performance in the context of social disparities: Longitudinal findings from Switzerland. Journal of Educational Psychology. 10.1037/edu0000341

Verschoor, A. V., Berger, S., Moser, U., & Kleintjes, F. (2019). On-the-fly calibration in computerized adaptive testing. In B. Veldkamp & C. Sluijter (Eds.), Theoretical and practical advances in computer-based educational measurement (pp. 307-323). Cham, CH: Springer Open. doi: 10.1007/978-3-030-18480-3_16

Unsere Onlinetests auf Check-Dein-Wissen.ch sind standardisiert, um faire und zuverlässige Standortbestimmungen zu gewährleisten. Die Testergebnisse werden als Punktzahl zwischen 0 und 1200 ausgewiesen und können auf unterschiedliche Art und Weise interpretiert werden:  

• Im Vergleich mit Kompetenzstufen: Weist die Fähigkeiten von Schülerinnen und Schülern im Kontext der erreichten Kompetenzstufen gemäss Lehrplan 21 aus.
• Im sozialen Vergleich: Die Ergebnisse der Lernenden werden mit Ergebnissen aller Schülerinnen und Schülern der gleichen Klassenstufe verglichen.
• Über die Zeit: Fortschritte werden individuell über die Schuljahre hinweg verfolgt.  
• Anforderungsprofile für berufliche Grundbildung: Ermöglicht einen Abgleich des Fähigkeitsprofils von Lernenden mit den schulischen Anforderungen verschiedener Berufslehren.  

Alle Ergebnisse sind sowohl für die einzelnen Schülerinnen und Schüler als auch auf Klassen- und Schulebene verfügbar.

Mindsteps.ch bietet Aufgabenserien an, die im Unterricht oder für das Lernen zu Hause genutzt werden. Die Ergebnisse werden je nach Anwendung wie folgt zurückgemeldet:  

• Lernfortschritt: Die Ergebnisse werden als Punktzahl zwischen 0 und 1200 Punkten angezeigt, was Lernfortschritte sichtbar macht.
• Kompetenzprofil: Die Ergebnisse werden als Kompetenzprofil ausgewiesen, das anzeigt, welche Kompetenzstufen gemäss Lehrplan 21 erreicht wurden.
• Lernkontrolle: Misst den Lernerfolg durch den Prozentsatz korrekt gelöster Aufgaben.
• Steps: Hier erfahren Schülerinnen und Schüler durch eine kategorisierte Rückmeldung von «eher unsicher» bis «sicher», wie sattelfest sie im jeweiligen Themenbereich sind.  

Ergebnisse für Lernfortschritt, Kompetenzprofil und Lernkontrolle sind sowohl für Schülerinnen und Schüler als auch auf Klassenebene verfügbar, während die Ergebnisse von Steps ausschliesslich individuell zugänglich sind.

‍

Bez, Sarah; Tomasik, Martin J; Merk, Samuel (2023). Data-based decision making in einer digitalen Welt: Data Literacy von Lehrpersonen als notwendige Voraussetzung. In: Scheiter, Katharina; Gogolin, Ingrid. Bildung für eine digitale Zukunft. Wiesbaden: Springer (Bücher), 339-362