Unsere Motivation
Die Forschungsbereiche der Psychometrie und des Educational Measurement haben in den letzten Jahren eine rasante Entwicklung im Hinblick auf die Verbesserung der technischen Durchführbarkeit digitaler Prüfungen, insbesondere aber auch die Verbesserung von Qualitätskriterien wie etwa der Messgenauigkeit und Fairness bei bildungsbezogenen diagnostischen Entscheidungen durchlaufen. Die Qualität von Hochschulprüfungen in Deutschland kann mit diesen Entwicklungen bisher nicht mithalten. Vielerorts laufen universitäre Klausuren wie vor 50 Jahren ab. Für das in diesen Forschungsbereichen aktive Projektteam ein wenig überzeugender Zustand! Mit dem Forschungsprojekt KAT-HS und den im Rahmen dieses Projektes erarbeiteten Materialien wollen wir einen wissenschaftlich fundierten Beitrag dazu leisten, Hochschulprüfungen in das digitale 21. Jahrhundert zu führen. Darüber hinaus wollen wir mögliche Vorbehalte gegenüber digitalen Medien im Prüfungssystem abbauen.
Das Team
Andreas Frey
Prof. Dr. Andreas Frey ist Inhaber der Professur “Pädagogische Psychologie mit den Schwerpunkten Beratung, Evaluation und Diagnostik” an der Goethe-Universität in Frankfurt am Main und einer der beiden Projektleiter von KAT-HS. Außerdem ist er Professor II am Centre for Educational Measurement der Universität Oslo (CEMO). Zu seinen Forschungsinteressen zählen Themen der empirischen Bildungsforschung, der innovativen pädagogisch-psychologischen Diagnostik, des computerisierten adaptiven Testens (CAT) und der Item-Response-Theorie.
Christian Spoden
Dr. Christian Spoden ist Methodenberater am Deutschen Institut für Erwachsenenbildung – Leibniz-Zentrum für Lebenslanges Lernen e. V. in Bonn, und einer der beiden Projektleiter von KAT-HS. Zuvor arbeitete er u.a. als Doktorand am Lehrstuhl für Lehr-Lernpsychologie der Universität Duisburg-Essen und als PostDoc am Lehrstuhl für empirische Methoden der erziehungswissenschaftlichen Forschung der Friedrich-Schiller-Universität Jena. Seine Forschungsinteressen beinhalten verschiedene Themen des Educational Measurement, insbesondere die Item-Response-Theorie und Softwareinnovationen in der Testentwicklung.
Aron Fink
Aron Fink ist wissenschaftlicher Mitarbeiter an der Professur “Pädagogische Psychologie mit den Schwerpunkten Beratung, Evaluation und Diagnostik” an der Goethe-Universität in Frankfurt am Main. Seine Forschungsinteressen sind verknüpft mit Themen der Testentwicklung, des computerisierten adaptiven Testens (CAT) und der Item-Response-Theorie.
Patrick Naumann
Patrick Naumann ist wissenschaftlicher Mitarbeiter an der Professur “Pädagogische Psychologie mit den Schwerpunkten Beratung, Evaluation und Diagnostik” an der Goethe-Universität in Frankfurt am Main. Zu seinen Forschungsinteressen zählen unter anderem die pädagogisch-psychologische Diagnostik, das computerisierte adaptive Testen (CAT) und die Item-Response-Theorie.
Projektergebnisse
Publikationen
- Born, S., Fink, A., Spoden, C., & Frey, A. (2019). Evaluating Different Equating Setups in the Continuous Item Pool Calibration for Computerized Adaptive Testing. Frontiers in Psychology, 10, 1277. doi: 10.3389/fpsyg.2019.01277
- Born, S., Spoden, C., Brosch, S., & Köhler, H. (2017, Dezember). Kriteriumsorientierte adaptive Hochschulklausuren [Audio Podcast]. Verfügbar unter: https://www.e-teaching.org/praxis/erfahrungsberichte/was-macht-lernen-mit-digitalen-medien-erfolgreich-kriteriumsorientierte-adaptive-hochschulklausuren
- Fink, A., Born, S., Spoden, C., & Frey, A. (2018). A continuous calibration strategy for computerized adaptive testing. Psychological Test and Assessment Modeling, 60, 327-346. Verfügbar unter: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam_3-2018_327-346.pdf
- Fink, A., Naumann, P. & König, C. (2021). Computerisierte adaptive Klausuren im Psychologiestudium. Psychologische Rundschau, 72(2), 125–127. https://doi.org/10.1026/0033-3042/a000532
- Fink, A., Spoden, C., & Frey, A. (2022). Determinants of higher education teachers’ intention to use technology-based exams. Education and Information Technologies. Advance online publication. https://doi.org/10.1007/s10639-022-11435-4
- Fink, A., Spoden, C., Frey, A. & Naumann, P. (2021). Kriteriumsorientiertes adaptives Testen mit der KAT-HS-App. Diagnostica, 67(2), 110 – 114. https://doi.org/10.1026/0012-1924/a000268
- Frey, A., Spoden, C., & Born, S. (2020). Construction of Psychometrically Sound Written University Exams. Psychological Test and Assessment Modeling, 65(4), 472-486.
- Frey, A., Spoden ,C., Born, S., & Fink, A. (2017). Konstruktion psychometrisch fundierter Hochschulklausuren für das digitale 21. Jahrhundert. Jena: Friedrich-Schiller-Universität Jena.
- Frey, A., Spoden, C., Fink, A., & Born, S. (2020). Kompetenzorientierte individualisierte Hochschulklausuren und deren prüfungsrechtliche Einordnung. eleed, 13. Verfügbar unter: urn:nbn:de:0009 5-51197.
- Frey, A., Spoden, C., Schultze, M. (2021). Die Zukunft der Hochschulklausuren hat bereits begonnen. Psychologische Rundschau, 72(2), 113–116. https://doi.org/10.1026/0033-3042/a000528
- Spoden, C. & Buchwald, F. (2018). Diagnostische Tests mit R und knitr: Erstellung, Auswertung und Vorbereitung der Rückmeldung. Diagnostica, 64, 49-57. doi: 10.1026/0012-1924/a000189
- Spoden, C. & Frey, A. (Hrsg.). (2021). Psychometrisch fundierte E-Klausuren für die Hochschule. Lengerich: Pabst Science Publishers.
- Spoden, C., Frey, A., & Bernhardt, R. (2018). Implementing three CATs within eighteen months. Journal of Computerized Adaptive Testing, 6, 38-55. doi: 10.7333/1809-060338
- Spoden, C., Frey, A., Fink, A. & Naumann, P. (2020). Kompetenzorientierte elektronische Hochschulklausuren im Studium des Lehramts. In K. Kaspar, M. Becker-Mrotzeck, J. Hofhues, J. König & D. Schmeinck (Hrsg.), Bildung, Schule und Digitalisierung (S. 184-189). Münster: Waxmann.
- Spoden, C., Fink, A., Köhler, H., Naumann, P., & Frey, A. (2022). Kompetenzorientierung und Fairness bei individualisierten E-Klausuren [Competence orientation and fairness in individualized e-exams]. Zeitschrift für Hochschulentwicklung, 17(1), 121-140. https://zfhe.at/index.php/zfhe/article/view/1588
- Spoden, C., Frey, A., Fink, A., & Naumann, P. (2022). E-Klausuren für die Hochschule: Zeit der Veränderung [E-exams in higher education: time for change]. The Inquisitive Mind,2:2022. https://de.in-mind.org/article/e-klausuren-fuer-die-hochschule-zeit-der-veraenderung
Tagungsbeiträge
- Fink, A., Spoden, C., Frey, A., & Naumann, P. (2022, September). Kriteriumsorientiertes adaptives Testen mit der KAT-HS-App [Criterion-referenced adaptive testing using the KAT-HS-App]. Software demonstration at the 52nd Conference of the German Psychological Society (DGPs) Hildesheim, Germany.
- Spoden, C., Fink, A., & Frey, A. (2022, September). Evaluating Criterion-Referenced Adaptive University E-Exams. Paper presented at the 52nd Conference of the German Psychological Society (DGPs) Hildesheim, Germany
- Fink, A., Frey, A., & König, C. (2022, April). Dealing with item calibration error in computerized adaptive testing. Paper presented at the Annual Meeting of the National Council on Measurement in Education (NCME), San Diego, USA
- Fink, A., Frey, A., & König, C. (2021, September). Berücksichtigung der Messfehler in den Itemparametern beim computerisierten adaptiven Testen [Consideration of measurement error in item parameters during computerized adaptive testing]. Paper presented at the at the 15th Conference of the Subdivision “Methods and Evaluation” of the German Psychological Society (DGPs) Mannheim, Germany.
- Fink, A. (2020, März). Berücksichtigung der Unsicherheit in Itemparameterschätzungen beim computerisierten adaptiven Testen. Vortrag auf dem Kolloquium Methoden der empirischen Bildungsforschung, Hirschegg, Österreich.
- Frey, A., & Fink, A. (2020, März). Kontinuierliche Kalibrierung mit Berücksichtigung von Itempositionseffekten bei internationalen Large-Scale-Assessments. Vortrag auf dem Kolloquium Methoden der empirischen Bildungsforschung, Hirschegg, Österreich.
- Frey, A., Fink, A., & Spoden, C. (2019, Oktober). Kriteriumsorientiertes adaptives Testen an der Hochschule (KAT-HS). Poster auf der Konferenz des Hochschulforums Digitalisierung (HFDcon), Bonn, Germany.
- Frey, A., Fink, A., & Spoden, C. (2019, September). Berücksichtigung von Itempositionseffekten beim computerisierten adaptiven Testen mit der kontinuierlichen Kalibrierungsstrategie. Vortrag auf der 14. Tagung der Fachgruppe für Methoden und Evaluation der Deutschen Gesellschaft für Psychologie (DGPs), Kiel.
- Naumann, P., Born, S., & Frey, A. (2019, September). Itemparameter-Drift in kleinen Stichproben. Vortrag auf der 14. Tagung der Fachgruppe für Methoden und Evaluation der Deutschen Gesellschaft für Psychologie (DGPs), Kiel.
- Spoden, C., & Frey, A. (2019, September). Adaptive und partiell-adaptive Messung individueller Veränderung. Vortrag auf der 14. Tagung der Fachgruppe für Methoden und Evaluation der Deutschen Gesellschaft für Psychologie (DGPs), Kiel.
- Fink, A., Spoden, C, Born, S., & Frey, A. (2019, August). Testing an explanatory model for the intention to use e-exams by the university teaching staff. Paper presented at the 18th Conference of the European Association for Research on Learning and Instruction, Aachen.
- Wenzel, F. C., & Spoden, C. (2019, August). 21st century technology-based formative and summative assessments in higher education. Symposium conducted at the 18th Conference of the European Association for Research on Learning and Instruction, Aachen.
- Frey, A., Fink, A., & Spoden, C. (2019, Juni). Consideration of Item Position Effects in CAT with the Continuous Calibration Strategy. Vortrag bei der International Association for Computerized Adaptive Testing (IACAT), Minneapolis, USA.
- Fink, A., Frey, A. Born, S., & Spoden, C. (2019, März). Auswirkungen einer computerisierten teiladaptiven Klausur auf das emotionale Erleben von Klausuren seitens Studierender. Vortrag auf dem Kolloquium Methoden der empirischen Bildungsforschung, Hirschegg, Österreich.
- Frey, A. (2019, März). Hochschulklausuren besser machen: Das Projekt KAT-HS. Vortrag auf dem Kolloquium Methoden der empirischen Bildungsforschung, Hirschegg, Österreich.
- Born, S., Spoden, C., Fink, A., & Frey, A., (2019, Februar). Psychometrische Optimierungen bei kontinuierlich kalibrierten Hochschulklausuren. Vortrag auf der 7. Tagung der Gesellschaft für empirische Bildungsforschung (GEBF), Köln.
- Esmaeili Bijarsari, S., Frey, A., Spoden, C., Born, S., & Fink, A. (2019, Februar). Emotionale Effekte von Itemreview in Hochschulklausuren. Vortrag auf der 7. Tagung der Gesellschaft für empirische Bildungsforschung (GEBF), Köln.
- Fink, A., Spoden, C., Born, S., & Frey, A., (2019, Februar). Einflussfaktoren auf die Intention zur Nutzung (adaptiver) E-Klausuren seitens Hochschullehrender. Vortrag auf der 7. Tagung der Gesellschaft für empirische Bildungsforschung (GEBF), Köln.
- Frey, A., Fink, A., Born, S., & Spoden, C. (2019, Februar). Nutzung computerisierten adaptiven Testens bei wiederkehrenden Erhebungen mit kleinen Stichproben. Vortrag auf der 7. Tagung der Gesellschaft für empirische Bildungsforschung (GEBF), Köln.
- Spoden, C. & Wenzel, F. C., (2019, Februar). Methodische Entwicklungen, Akzeptanzbefunde und Implementationsstrategien zu computerbasierten, formativen und summativen Assessments in der Hochschul- und Erwachsenenbildung. Symposium auf der 7. Tagung der Gesellschaft für empirische Bildungsforschung (GEBF), Köln.
- Born, S., Frey, A., Fink, A., & Spoden, C. (2018, September). Kriteriumsorientierte adaptive Hochschulklausuren: Auswirkung der Auswahl der Linkitems auf die Parameterschätzung. Vortrag auf dem 51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Frankfurt am Main.
- Fink, A., Born, S., Frey, A., & Spoden, C. (2018, September). Hinderungsgründe der Implementation computerisierter adaptiver Hochschulklausuren. Poster auf dem 51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Frankfurt am Main.
- Fink, A., Born, S., Frey, A., & Spoden, C. (2018, September). Criterion-referenced adaptive University exams: Effects of different linking designs on parameter estimates. Paper presented at the 1st Frontiers in Educational Measurement Conference (FREMO), Oslo, Norwegen.
- Frey, A. (2018, September). Hochschulklausuren im digitalen 21. Jahrhundert. Positionsreferat auf dem 51. Kongress der deutschen Gesellschaft für Psychologie (DGPs), Frankfurt am Main.
- Köhler, H., Born, S., Fink, A., Frey, A., & Spoden, C.. (2018, September). Kriteriumsorientiertes adaptives Testen in der Hochschule – Ergebnisse der ersten Kalibrierungsphase. Poster auf dem 51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Frankfurt am Main.
- Köhler, H., Frey, A., Born. S., Fink, A., Spoden, C., & Bauer, J. (2018, Juli). Calibration of a Criterion-Referenced Computerized Adaptive Test in Higher Education. Vortrag auf dem VIII European Congress of Methodology [EAM 2018], Jena.
- Born, S., Frey, A., Spoden, C., Fink, A., Köhler, H., & Kühne, I. M. (2018, März). Kriteriumsorientiertes adaptives Testen in der Hochschullehre (KAT-HS). Poster auf der Tagung „Digitalisierung als Herausforderung für die Hochschuldidaktik“, Mainz.
- Fink, A., Born, S., Frey, A., & Spoden, C. (2018, März). A continuous calibration method for computerized adaptive university exams. Vortrag auf dem Kolloquium Methoden der empirischen Bildungsforschung, Hirschegg, Österreich.
- Spoden, C., Born, S., Fink, A., & Frey, A. (2018, März). Adaptive Hochschulklausuren am Beispiel einer Klausur zu „Forschungsmethoden der Erziehungswissenschaft“. Vortrag auf dem 26. Kongress der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE), Essen.
- Spoden, C. & Fabriz, S. (2018, März). Aktuelle Entwicklungen bei E-Assessments in der Hochschulbildung. Symposium auf dem 26. Kongress der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE), Essen.
- Spoden, C., Fink, A., Born, S., & Frey, A. (2017, November). A new method for continuous updating of difficulty estimates in small sample CAT item pool calibration. Vortrag auf dem GESIS Symposium “Advances in Scale Development in the Social Sciences: Issues of Comparability”, Mannheim.
- Born, S., Frey, A., Spoden, C., & Fink, A. (2017, September). Kriteriumsorientierte adaptive Hochschulklausuren: Auswirkung verschiedener Kalibrierungsdesigns auf die Personenparameterschätzung. Vortrag auf der 13. Tagung der Fachgruppe für Methoden und Evaluation der Deutschen Gesellschaft für Psychologie (DGPs), Tübingen.
- Fink, A., Born, S., Frey, A., & Spoden, C. (2017, September). Kriteriumsorientiertes adaptives Testen in der Hochschule – KAT-HS. Vortrag auf dem 4. E-Prüfungs-Symposium (ePS), Bremen.
- Frey, A., Born, S., Spoden, C., & Fink, A. (2017, September). Kriteriumsorientierte adaptive Hochschulklausuren: Methodische Probleme typischer Klausuren und Möglichkeiten zur Verbesserung. Vortrag auf der 13. Tagung der Fachgruppe für Methoden und Evaluation der Deutschen Gesellschaft für Psychologie (DGPs), Tübingen.
- Frey, A., Spoden, C., Born, S., Fink, A., & Kühne, I. M. (2017; Juli). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS). Poster mit Kurzvortrag auf der Fachtagung „Hochschulen im digitalen Zeitalter“ am Bundesministerium für Bildung und Forschung (BMBF), Berlin.
Weiterbildung
- Naumann, P., Frey, A., Spoden, C., & Fink, A. (2019, Dezember). Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer. Video-Workshop. Verfügbar unter https://kat-hs.uni-frankfurt.de/materialien/downloads/
- Naumann, P., Frey, A., Spoden, C., & Fink, A. (2019, Oktober). Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer. Workshop an der Goethe-Universität Frankfurt am Main.
Qualifikationsarbeiten
- Fink, A. (2023). Herausforderungen bei der Implementation computerisierter adaptiver Hochschulklausuren. Dissertation, Goethe-Universität Frankfurt. https://doi.org/10.21248/gups.71667
- Naumann, P. (2019). Item Parameter Drift in Small Samples. Unveröffentlichte Masterarbeit, Friedrich-Schiller-Universität, Jena.
- Klösel, R. (2018). Entwicklung eines Erhebungsinstruments zu Hinderungsgründen bei der Implementation eines neuen Konzeptes für Hochschulklausuren. Unveröffentlichte Masterarbeit, Friedrich-Schiller-Universität, Jena.
Daten
- Frey, A., Spoden, C. & Fink, A. (2020). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS) (Version 1) [Datensatz]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_KAT-HS_v1
- Frey, A., Spoden, C. & Fink, A. (2020). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS). Kalibrierung – Campus File (Version 1) [Datensatz]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_KAT-HS_CF_v1