Das Design des onSET

Der onSET ist ein standardisierter Spracheinstufungstest im C-Test-Format. Er misst die allgemeine Sprachkompetenz in Deutsch oder Englisch – schnell, präzise und vergleichbar. Teilnehmende bearbeiten online mehrere kurze Texte zu unterschiedlichen Themen mit je 20 Lücken, die durch das Entfernen von Wortteilen entstehen. Die Texte steigen bei gleichbleibendem Gesamtniveau in ihrer Schwierigkeit, jede Testperson erhält eine individuelle Zusammenstellung. Für jede korrekt gefüllte Lücke erhalten die Teilnehmenden einen Punkt. Die Gesamtpunktzahl nach vollständiger Durchführung wird einem GER-Niveau (A2 bis C1) zugeordnet.

Von g.a.s.t. geschulte Autor*innen recherchieren geeignete Texte, Fachreferent*innen von g.a.s.t. prüfen diese aus testtheoretischer, sprachwissenschaftlicher und muttersprachlicher Perspektive. Nur Aufgaben, die erfolgreich alle drei Prüfschritte durchlaufen, werden zur Erprobung freigegeben. Ein regelmäßiger fachlicher Austausch zwischen allen Beteiligten sichert die kontinuierliche Qualität.

Jeder neu erstellte C-Test-Text wird sorgfältig erprobt, bevor er im onSET zum Einsatz kommt. Mindestens 200 Sprachlernende aus der Zielgruppe des onSET bearbeiten die Texte; die Auswertung erfolgt zentral durch g.a.s.t. Kein Text kommt ungeprüft in den Einsatz.

Erprobungen finden kontinuierlich in Zusammenarbeit mit lizenzierten g.a.s.t.-Testzentren statt. Weitere Informationen zu Erprobungen. 

Neue Aufgaben durchlaufen eine umfassende statistische Prüfung mithilfe psychometrischer Verfahren, darunter Rasch-Modelle (mathematische Messmodelle, die Aufgabenschwierigkeit und Personenfähigkeit auf einer gemeinsamen Skala abbilden. Dabei wird geprüft, wie schwierig eine Aufgabe ist, wie genau sie misst und ob sie zuverlässig zwischen Kompetenzniveaus unterscheidet. Nur Aufgaben, die diese Qualitätskriterien erfüllen, werden in die Itembank aufgenommen. 

Parallel dazu analysiert g.a.s.t. mithilfe des Verfahrens des Differential Item Functioning – Differenzielles Aufgabenfunktionieren, kurz DIF, ob eine Aufgabe für verschiedene Gruppen, etwa nach Herkunftssprache oder Geschlecht, gleich fair funktioniert. Dieselben Analysen bilden die Grundlage für die Festlegung der Cut-Scores (Schwellenwerte, die bestimmen, welchem GER-Niveau ein Testergebnis zugeordnet wird). Diese werden nach wissenschaftlich etablierten Verfahren definiert, u. a. Prototypgruppenmethode und ROC-Analyse.

Der onSET arbeitet nach der LOFT-Methode (Linear-on-the-Fly-Testing – aufgabenbasierte Echtzeit-Zusammenstellung): Jede Testperson erhält ein individuell zusammengestelltes Aufgabenset, das aus der Itembank nach Schwierigkeit und Thematik der Texte ausgewählt wird. Das Gesamtschwierigkeitsniveau bleibt dabei für alle gleich. In Kombination mit der automatischen Auswertung macht diese Methode die Ergebnisse nicht nur vergleichbar, sie gewährleistet für alle Teilnehmenden eine objektive und faire Prüfung.