IREB-Prüfungsfragen werden bezüglich ihres Schwierigkeitsgrades und ihrer Trennschärfe ständig überwacht. Das entsprechende statistische Zahlenwerk ist umfassend und beeindruckend. All diese Zahlen dienen vor allem dazu, zu lokalisieren, ob eine Frage zu schwer oder zu leicht ist (also zu viele oder zu wenig Prüflinge sie richtig beantworten). Natürlich wird dabei auch gleich geprüft, was bei einer Frage falsch angekreuzt wird und wie oft und ob hier evtl. die Formulierung missverständlich ist – oder in einer der internationalen Versionen evtl. bei der Übersetzung Unschärfen eingebaut wurden (wenn die Abweichungen z.B. nur in der spanischen oder russischen Version auftreten).

Klar ist, dass nicht immer alle Prüfungsfragen von allen Prüflingen richtig beantwortet werden (sonst wären sie ja auch zu leicht). Dementsprechend wird bei jeder Frage die Trennschärfe ausgewertet. D.h. wir analysieren, wie viel Prozent der guten Prüflinge die Frage richtig beantworten und wie viel Prozent der schlechten Prüflinge die Frage falsch beantworten. Gut ist eine Frage dann, wenn sie den richtigen Schwierigkeitsgrad hat und eine hohe Trennschärfe besitzt (also die Guten von den Schlechten trennt).

So, und wie läuft das nun konkret ab? Am 26.02.2019 saßen Dr. Peter Hruschka, Chris Rupp, Prof. Dr. Andreas Vogelsang und Prof. Dr. Karsten Lehn begleitet von Stefan Sturm (Geschäftsführer des IREB) einen Tag lang gut vorbereitet in Frankfurt für ein face-to-face-Meeting zusammen, um über Änderungen von Fragen zu diskutieren. Fragen, bei denen die oben genannten Werte nicht optimal sind, waren uns vorab bekannt und jeder von uns hatte sich schon mal Gedanken gemacht, wie diese Fragen optimiert werden könnten. Dann startete die Diskussion und eine Frage nach der anderen wurde überarbeitet. Am Ende des Tages waren wir alle ziemlich ausgepowert, hatten aber die diskussionswürdigen Fragen bearbeitet. Nun liegt ein Großteil der Arbeit bei Stefan Sturm, denn all die Änderungen müssen über die lokalen Teams in alle weiteren Sprachen übersetzt und auch in unserer Sprache nochmal gereviewt werden.

Bei jeder Änderung einer Frage wird nach einer gewissen Zeit wieder geprüft, ob der Schwierigkeitsgrad jetzt richtig eingestellt ist und die Trennschärfe optimal ist. Wenn das nicht der Fall ist, treffen wir uns alle wieder.