WISSEN, WO ICH STEHE

Das Design des onSET

Der onSET ist ein standardisierter Spracheinstufungstest im C-Test-Format. Er ermöglicht eine rasche und präzise Messung der allgemeinen Sprachkompetenz in Deutsch oder Englisch. Teilnehmende bearbeiten online mehrere kurze Texte mit jeweils 20 Lücken. Die Lücken werden durch die Tilgung von Wortteilen erzeugt. Die Texte behandeln verschiedene Themen und werden in steigender Schwierigkeit zur Bearbeitung dargeboten. Jeder Teilnehmende bearbeitet eine andere Zusammenstellung von Texten; dabei wird das Gesamtniveau der Schwierigkeit für jeden einzelnen Teilnehmenden konstant gehalten. Für jede richtig gefüllte Lücke wird genau ein Punkt vergeben. Die Summe der Punkte über alle Texte  wird einem der GER-Niveaus A2 bis C1 zugeordnet.

 

 

Forschungsprojekte

Was messen C-Tests? Welche sprachlichen Strukturen bzw. Kompetenzen spiegeln sich in den Teilnehmerantworten auf C-Test-Aufgaben wider? Welche kognitiven Prozesse liegen den Antworten zugrunde?

Wie lassen sich beim C-Test-basierten Format des onSET Cut-Scores mit Bezug zum GER bestimmen? Welche Methoden des Standard-Setting sind hierfür geeignet? Wie aussagekräftig sind die ermittelten Cut-Scores?

Welche psychometrischen Modelle eignen sich für die Skalierung von C-Tests? Wie gut stimmen die nach verschiedenen Modellen geschätzten Parameter für Aufgaben (Schwierigkeit) und Teilnehmende (Fähigkeit) überein? Welche Modelle und Softwarepakete erlauben den raschen Auf- und Ausbau einer kalibrierten Itembank?

Welchen Einfluss hat die Abhängigkeit zwischen Lücken von onSET-Aufgaben (Testlets) auf die Schätzung der Reliabilität sowie auf die Schätzung von Personenparametern (allgemeine Sprachkompetenz) und Itemparametern (Schwierigkeit, Trennschärfe)?

In welcher Beziehung steht die vom onSET gemessene allgemeine Sprachkompetenz zu Teilkompetenzen wie Leseverstehen, Hörverstehen, schriftliche und mündliche Produktion, die von separaten Prüfungsteilen standardisierter Sprachtests erfasst werden? Wie gut lässt sich das Abschneiden beim TestDaF anhand der onSET-Ergebnisse vorhersagen?

Welche Faktoren bestimmen die Schwierigkeit von C-Test-Aufgaben, und zwar sowohl auf Text- als auch auf Lückenebene?

Publikationen (2017–2002)

Die folgende Liste umfasst ausschließlich Publikationen, die sich direkt auf den onSET oder auf deutschsprachige C-Tests im engeren Umfeld des onSET beziehen.

 

Eckes, T. (2017). Setting cut scores on an EFL placement test using the prototype group method: A receiver operating characteristic (ROC) analysis. Language Testing, 34, 383–411.

Kaufmann, N. (2016). Die Vorhersage der Schwierigkeit deutscher C-Test-Texte: Untersuchungen am Beispiel des onDaF. Zeitschrift für Interkulturellen Fremdsprachenunterricht, 21(2), 111–126.

Beinborn, L., Zesch, T. & Gurevych, I. (2015). Candidate evaluation strategies for improved difficulty prediction of language tests. In Proceedings of the 10th Workshop on Innovative Use of NLP for Building Educational Applications (pp. 1–11). Denver, CO: Association for Computational Linguistics.

Eckes, T. & Baghaei, P. (2015). Using testlet response theory to examine local dependence in C-tests. Applied Measurement in Education, 28, 85-98.

Beinborn, L., Zesch, T. & Gurevych, I. (2014). Predicting the difficulty of language proficiency tests. Transactions of the Association for Computational Linguistics, 2, 517–529.

Eckes, T. (2014). Die onDaF-TestDaF-Vergleichsstudie: Wie gut sagen Ergebnisse im onDaF Erfolg oder Misserfolg beim TestDaF vorher? In R. Grotjahn (Hrsg.), Der C-Test: Aktuelle Tendenzen/The C-test: Current trends (S. 137–162). Frankfurt: Lang.

Eckes, T. (2012). Examinee-centered standard setting for large-scale assessments: The prototype group method. Psychological Test and Assessment Modeling, 54, 257–283.

Eckes, T. (2011). Item banking for C-tests: A polytomous Rasch modeling approach. Psychological Test and Assessment Modeling, 53, 414–439.

Eckes, T. (2010). Der Online-Einstufungstest Deutsch als Fremdsprache (onDaF): Theoretische Grundlagen, Konstruktion und Validierung. In R. Grotjahn (Hrsg.), Der C-Test: Beiträge aus der aktuellen Forschung / The C-test: Contributions from current research (S. 125–192). Frankfurt: Lang.

Eckes, T. (2010). Rasch models for C-tests: Closing the gap on modern psychometric theory. In A. Berndt & K. Kleppin (Hrsg.), Sprachlehrforschung: Theorie und Empirie - Festschrift für Rüdiger Grotjahn (S. 39– 49). Frankfurt: Lang.

Eckes, T. (2010). Standard-Setting bei C-Tests: Bestimmung von Kompetenzniveaus mit der Prototypgruppenmethode. Diagnostica, 56, 19–32.

Eckes, T. (2007). Konstruktion und Analyse von C-Tests mit Ratingskalen-Rasch-Modellen. Diagnostica, 53, 68–82.

Eckes, T. (2006). Rasch-Modelle zur C-Test-Skalierung. In R. Grotjahn (Hrsg.), Der C-Test: Theorie, Empirie, Anwendungen/The C-test: Theory, empirical research, applications (S. 1–44). Frankfurt: Lang.

Eckes, T. & Grotjahn, R. (2006). A closer look at the construct validity of C-tests. Language Testing, 23, 290–325.

Eckes, T. & Grotjahn, R. (2006). C-Tests als Anker für TestDaF: Rasch-Analysen mit dem kontinuierlichen Ratingskalen-Modell. In R. Grotjahn (Hrsg.), Der C-Test: Theorie, Empirie, Anwendungen/The C-test: Theory, empirical research, applications (S. 167–193). Frankfurt: Lang.

Arras, U., Eckes, T. & Grotjahn, R. (2002). C-Tests im Rahmen des "Test Deutsch als Fremdsprache" (TestDaF): Erste Forschungsergebnisse. In R. Grotjahn (Hrsg.), Der C-Test: Theoretische Grundlagen und praktische Anwendungen (Bd. 4, S. 175–209). Bochum: AKS-Verlag.

Differenzierung der GER-Niveaus

Das Ergebnis im onSET wird als Gesamtpunktzahl ausgegeben. Zudem erhalten die Teilnehmenden eine Einstufung nach dem Gemeinsamen europäischen Referenzrahmen für Sprachen (GER). Dazu wird die erreichte Punktzahl einem der folgenden GER-Niveaus zugeordnet: A2, B1, B2 oder C1 oder höher. Falls der Anwendungskontext dies erfordert, ist eine feinere Einstufung wie z. B. B1.1 oder B1.2 über die Kernbereiche möglich:

 

Hat z. B. ein Teilnehmender, dessen Sprachniveau im onSET-Deutsch mit B1 ausgewiesen wurde, eine Gesamtpunktzahl von 64 Punkten erreicht, könnte seine Leistung dem unteren B1-Niveau zugeordnet werden (10 Punkte unterhalb der unteren Grenze des B1-Kernbereichs); bei insgesamt 87 Punkten käme der obere B1-Bereich in Betracht (8 Punkte oberhalb der oberen Grenze des B1-Kernbereichs).

Forschungsanfrage stellen

Die Gesellschaft für Akademische Studienvorbereitung und Testentwicklung e. V. (g.a.s.t.) und der Arbeitskreis der Sprachenzentren (AKS) / UNIcert©  fördern wissenschaftliche Forschung zu Fragen des Prüfens und Testens. Sie stellt für vielversprechende Forschungsvorhaben Datensätze zum onSET zur Verfügung.

Die Voraussetzungen, um Daten zu erhalten, unterscheiden sich nach der Art der Daten, die Sie für Ihr Forschungsvorhaben benötigen.

Hierunter fallen

  • Informationen, die auf den Webseiten von g.a.s.t. der Allgemeinheit ohne Einschränkung zur Verfügung stehen
  • veröffentlichte Beispielaufgaben
  • Publikationen von Mitarbeitern von g.a.s.t. in Fachzeitschriften und Fachbüchern bzw. im Internet.

Die Verwendung dieser Daten und Materialien ist an keine Voraussetzungen gebunden, außer, dass im Sinne guter wissenschaftlicher Praxis die jeweilige Quelle (z. B. Webseite oder Publikation) zu nennen ist. Mitarbeiterinnen und Mitarbeiter von g.a.s.t. können bei solchen Anfragen Hinweise geben, wo die gewünschten Informationen zu finden sind.

g.a.s.t. stellt lizenzierten Testzentren solche Statistiken in anonymisierter Form zur Verfügung. Aus der Anfrage muss klar hervorgehen, welche Informationen im Einzelnen gewünscht werden und wofür die Informationen verwendet werden sollen. Anfragen dieses Typs, die von nichtlizenzierten Einrichtungen oder von Einzelpersonen stammen, werden nur dann positiv beantwortet, wenn ein genuines Forschungsinteresse nachgewiesen und begründet wird. Auch hier gilt, dass bei jeder Form von Verwertung der zur Verfügung gestellten statistischen Daten in Veröffentlichungen g.a.s.t. als Quelle der Informationen zu nennen ist.

Unter Rohdaten fallen z. B. die Ergebnisse einzelner Teilnehmer im onSET, demografische Angaben zu den Teilnehmern, Bewertungen von Teilnehmerleistungen in den produktiven Teilen einer TestDaF-Prüfung usw. Ein solcher Zugang ist an eine Reihe von Voraussetzungen geknüpft:

  • Der Antragsteller muss eine mehrseitige Forschungsskizze vorlegen, aus der die wissenschaftliche Fragestellung, die zu prüfenden Hypothesen und die geplanten Datenanalysen ersichtlich sind.
  • Diese Skizze wird einem sorgfältigen Begutachtungsverfahren unterzogen.

Im Falle einer positiven Begutachtung werden ausschließlich diejenigen Daten, die für eine Beantwortung der im Proposal genannten Fragestellung erforderlich sind, von g.a.s.t. zur Verfügung gestellt. Der Antragsteller verpflichtet sich, in eigenen Arbeiten die Datenquelle ausdrücklich zu erwähnen und g.a.s.t. Sonderdrucke bzw. Belegexemplare der veröffentlichten Arbeiten zu übergeben; dies gilt auch für wissenschaftliche Qualifikationsarbeiten (B.A., Master, Dissertationen).

In begründeten Fällen können für solche Zwecke unmittelbar Zugänge an Hochschulen oder Einzelpersonen vergeben oder in Kooperation mit lizenzierten Partnern von g.a.s.t. für die Antragsteller ermöglicht werden. Hierüber entscheidet die g.a.s.t.-Geschäftsleitung.

Welche Daten benötigen Sie?
1 Daten und Materialien, öffentlich zugänglich
2 Summarische Statistiken
3 Anonymisierten Roh- oder Mikrodaten
4 Zugang zum onSET

Laden Sie hier ggf. Dateien hoch, z. B. ein Exposé:

(Exposes etc.)