An adaptive testing system for programming proficiency using Item Response Theory

Apró, Anikó, Tajti, Tibor (2025) An adaptive testing system for programming proficiency using Item Response Theory Annales Mathematicae et Informaticae. 61. pp. 31-42. ISSN 1787-6117 (Online)

[thumbnail of 31_42_apró.pdf] pdf
31_42_apró.pdf

Download (640kB) [error in script]
Hivatalos webcím (URL): https://doi.org/10.33039/ami.2025.10.018

Absztrakt (kivonat)

This paper presents the design and implementation of an adaptive testing system for assessing university students’ programming skills in Python, C#, Java, JavaScript, and SQL. Adaptive testing dynamically adjusts question difficulty based on individual performance, enabling more precise and efficient assessment compared to traditional fixed-form tests. We provide an overview of adaptive testing principles and the Item Response Theory (IRT) models (1PL–3PL) that underpin the system. Our approach integrates continuous, categorical, and accelerated adaptive methodologies to optimize both accuracy and test length. The system is implemented as a Flask-based web application that selects questions from a customizable bank, adapting to the learner’s estimated knowledge level in real time. Key features include topic-based item selection, immediate scoring, detailed post-test analytics, and end-of-test formative recommendations (tailored by language/level with estimated study time). The system demonstrates how IRT-based adaptive programming assessment supports personalized, data-driven evaluation in higher education and hiring.

Mű típusa: Folyóiratcikk - Journal article
Szerző:
Szerző neve
Email
MTMT azonosító
ORCID azonosító
Közreműködés
Apró, Anikó
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Tajti, Tibor
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
NEM RÉSZLETEZETT
Szerző
Kapcsolódó URL-ek:
Kulcsszavak: adaptive testing, Item Response Theory, programming proficiency, computer science education
Folyóirat alcíme: Selected papers of the International Conference on Formal Methods and Foundations of Artificial Intelligence
Nyelv: angol
Kötetszám: 61.
DOI azonosító: 10.33039/ami.2025.10.018
ISSN: 1787-6117 (Online)
Felhasználó: Tibor Gál
Dátum: 29 Okt 2025 11:23
Utolsó módosítás: 29 Okt 2025 11:23
URI: http://publikacio.uni-eszterhazy.hu/id/eprint/8822
Műveletek (bejelentkezés szükséges)
Tétel nézet Tétel nézet