Der Test schätzt den rezeptiven Wortschatz - eine Anzahl von Wörtern, die Sie beim Lesen und Hören erkennen. Der einzige Weg, dies genau zu tun, ist, ein dickes Vokabular (mit vielen Hunderttausenden von Wörtern) zu verwenden und zu überprüfen, ob man jedes Wort einzeln kennt. Nun, niemand will das tun. Es gibt jedoch einen besseren Weg dank der Item Response Theory (IRT) — einem modernen Paradigma für das Design, die Analyse und die Bewertung von Tests. Gemäß diesem Paradigma gehen wir davon aus, dass Ihr Wortschatz ein latentes Merkmal oder eine Fähigkeit ist, die als Zahl ausgedrückt und gemessen werden kann. Die Messung besteht aus einer Reihe von Testwörtern verschiedener Schwierigkeitsgrade, die als bekannt oder unbekannt gekennzeichnet werden können. Zum Beispiel hat das Wort "Katze" geringe Schwierigkeiten, während "widerspenstig" - im Gegenteil, hat sehr hohe Schwierigkeiten. Die Schwierigkeitsskala hängt eng damit zusammen, wie oft wir diese Wörter sehen, hören oder verwenden. IRT gibt ein mathematisches Rezept, wie man seine Fähigkeit basierend auf den Antworten auf eine Reihe von Testaufgaben mit verschiedenen Schwierigkeiten berechnet - und genau so machen wir es.
Um den Test schnell und präzise durchzuführen, verwenden wir die Technik des Computerized Adaptive Testing (CAT) — ein weiterer Standard in der Welt des modernen Testens. Wir berechnen Ihren Wortschatz nach jeder Antwort auf ein Testwort. Dann wählen wir das nächste Testwort, so dass es nicht zu einfach oder zu schwer ist - auf diese Weise maximieren wir die Informationsmenge, die jeder Testauftrag zum Test beiträgt. Die Genauigkeit der Vokabelberechnung wird mit jedem Schritt verbessert; der Test stoppt, wenn er einen bestimmten Schwellenwert erreicht.
Häufigkeitsdaten
Um die Schwierigkeiten mit dem Testwort zu berechnen, verwendeten wir Frequenzdaten aus dem Deutschen Referenzkorpus (DeReKo).
Wie leicht ist es, den Test zu manipulieren?
Es gibt zwei Arten von Prüfungen. Erstens gibt es einige Nicht-Wörter unter den Testaufgaben. Zweitens, wenn Sie ein Testwort als bekannt markieren, werden Sie möglicherweise aufgefordert, seine Bedeutung zu klären, indem Sie zwischen 4 Definitionen wählen. Am Ende berechnen wir den Aufmerksamkeitsindex mit einer einfachen Formel (x+y)/(ax+ay), wobei x eine Anzahl von Nichtwörtern ist, die als unbekannt markiert sind, ax eine Gesamtzahl von präsentierten Nichtwörtern ist, y eine Anzahl von Multiple-Choice-Fragen ist, die korrekt beantwortet werden, und ay eine Gesamtzahl von präsentierten Multiple-Choice-Fragen ist. Die endgültige Vokabelschätzung wird durch den Aufmerksamkeitsindex nicht beeinflusst. Der Index wird nur verwendet, um zu entscheiden, ob die Antwortdaten gültig sind und für unsere Forschung verwendet werden können.
Zusammengefasst
Der Test wird mit Hilfe der Item Response Theory (One-Parameter-Modell) und Technik des Computerized Adaptive Testing. Der Bayesian Expected A Posteriori (EAP) Schätzer wird bei jedem Schritt des Tests verwendet. Die gemeinsame maximale Wahrscheinlichkeit wird verwendet, um die Schwierigkeiten der Prüflinge zu berechnen. Das Backend der Website wird mit Python und Flask geschrieben, das Frontend ist in Vanilla JS geschrieben und verwendet Bulma.
