.: ORIGINAL RESEARCH
Comparison of Prediction Performance of Computer Adaptive Testing with Machine Learning Methods in Response Patterns Suitable for Rasch Model with Simulation Study: A Methodological Research
Rasch Modeline Uygun Yanıt Desenlerinde Bilgisayar Uyarlamalı Test Yöntemi ile Makine Öğrenmesi Yöntemlerinin Tahmin Performanslarının Benzetim Çalışması ile Karşılaştırılması: Metodolojik Araştırma
Turkiye Klinikleri J Biostat. 2022;14(2):55-62
doi: 10.5336/biostatic.2022-88297
Article Language: EN
Full Text
ABSTRACT
Objective: The scales measuring latent variables are used to gain information about the characteristic () levels of individuals. Scales can be investigated with classical methods as well as the Computer Adaptive Testing (CAT) method. In this study, the performance of machine learning algorithms, including Classification and Regression Tree (CART), Random Forest (RF), Gradient Boosting Machines (GBM) and Extreme Gradient Boosting Machines (XGBoost), were tested as a new approach to a CAT application with the algorithm routinely used in CAT in simulation data derived from different scenarios from the Rasch model. Material and Methods: In the CAT application, the Rasch model was used as the probabilistic model and the question selection based on the information criterion was used as the question selection criterion. The performances of the methods were compared, based on the average number of items, the square root of the mean squared error (RMSE), the intraclass correlation coefficient (ICC) and the average prediction value obtained from these predictions. Results: Different methods become superior to others as category numbers increased. When the number of items was considered, the CART method made good predictions with the least number of items. When RMSE values were analysed, both GBM and XGBoost methods had low RMSE values. The methods compared have a good ICC value in estimating total scores. Conclusion: As a result of general comparisons, we recommend that a person planning a new study use machine learning methods which are frequently used in different fields recently as an alternative to the CAT method in accordance with its purpose.
Keywords: Computerized adaptive testing; machine learning; Rasch; scale
Objective: The scales measuring latent variables are used to gain information about the characteristic () levels of individuals. Scales can be investigated with classical methods as well as the Computer Adaptive Testing (CAT) method. In this study, the performance of machine learning algorithms, including Classification and Regression Tree (CART), Random Forest (RF), Gradient Boosting Machines (GBM) and Extreme Gradient Boosting Machines (XGBoost), were tested as a new approach to a CAT application with the algorithm routinely used in CAT in simulation data derived from different scenarios from the Rasch model. Material and Methods: In the CAT application, the Rasch model was used as the probabilistic model and the question selection based on the information criterion was used as the question selection criterion. The performances of the methods were compared, based on the average number of items, the square root of the mean squared error (RMSE), the intraclass correlation coefficient (ICC) and the average prediction value obtained from these predictions. Results: Different methods become superior to others as category numbers increased. When the number of items was considered, the CART method made good predictions with the least number of items. When RMSE values were analysed, both GBM and XGBoost methods had low RMSE values. The methods compared have a good ICC value in estimating total scores. Conclusion: As a result of general comparisons, we recommend that a person planning a new study use machine learning methods which are frequently used in different fields recently as an alternative to the CAT method in accordance with its purpose.
Keywords: Computerized adaptive testing; machine learning; Rasch; scale
ÖZET
Amaç: Örtük (latent) değişkenlerin değerlendirilmesinde kullanılan ölçekler, bireylerin () düzeyleri hakkında bilgi sahibi olmak için kullanılır. Ölçekler, klasik kalem-kâğıt uygulaması yanı sıra Bilgisayar Uyarlamalı Test (BUT) yöntemi ile de uygulanabilir. Bu çalışmada, BUT uygulamasında rutin olarak kullanılan algoritma ile BUT uygulamasına yeni bir yaklaşım olarak makine öğrenmesi algoritmalarının Sınıflandırma ve Regresyon Ağacı [Classification and Regression Tree (CART)], Rastgele Orman [Random Forest (RF)], Gradyan Artırma Makineleri [Gradient Boosting Machines (GBM)] ve Ekstrem Gradyan Artırma [Extreme Gradient Boosting Machines (XGBoost)] Rasch modelinden farklı senaryolardan türetilen bir simülasyon verisinde performansları incelenmiştir. Gereç ve Yöntemler: BUT algoritmasında olasılıksal model olarak Rasch modeli ve soru seçim kriteri olarak da bilgi kriterine dayalı soru seçimi kullanılmıştır. Bununla birlikte yöntemlerin performansları, ortalama madde sayısı, hata kareler ortalamasının karekökü [root mean square error (RMSE)], sınıf içi korelasyon katsayısı (SKK) ve bu tahminlerden elde edilen ortalama tahmin değerine göre karşılaştırılmıştır. Bulgular: Her parametre için farklı yöntemler diğerlerinden üstün sonuçlar ortaya çıkarmıştır. Madde sayısı dikkate alındığında, CART yönteminin en az madde ile tahminde bulunduğu ortaya çıkmıştır. RMSE değerleri incelendiğinde, GBM ve XGBoost yöntemlerinden elde edilen değerlerin düşük olduğu görülmektedir. Karşılaştırılan yöntemler, toplam puanları tahmin etmede iyi bir SKK değerine sahiptir. Sonuç: Günümüzde farklı alanlarda sıklıkla kullanılan makine öğrenme yöntemlerinin genel karşılaştırmalar sonucunda yeni bir çalışma planlayan kişinin amacına uygun olarak BUT yöntemine alternatif olarak kullanılabileceği görülmekte ve önerilmektedir.
Anahtar Kelimeler: Bilgisayar uyarlamalı test; makine öğrenmesi; Rasch; ölçek
Amaç: Örtük (latent) değişkenlerin değerlendirilmesinde kullanılan ölçekler, bireylerin () düzeyleri hakkında bilgi sahibi olmak için kullanılır. Ölçekler, klasik kalem-kâğıt uygulaması yanı sıra Bilgisayar Uyarlamalı Test (BUT) yöntemi ile de uygulanabilir. Bu çalışmada, BUT uygulamasında rutin olarak kullanılan algoritma ile BUT uygulamasına yeni bir yaklaşım olarak makine öğrenmesi algoritmalarının Sınıflandırma ve Regresyon Ağacı [Classification and Regression Tree (CART)], Rastgele Orman [Random Forest (RF)], Gradyan Artırma Makineleri [Gradient Boosting Machines (GBM)] ve Ekstrem Gradyan Artırma [Extreme Gradient Boosting Machines (XGBoost)] Rasch modelinden farklı senaryolardan türetilen bir simülasyon verisinde performansları incelenmiştir. Gereç ve Yöntemler: BUT algoritmasında olasılıksal model olarak Rasch modeli ve soru seçim kriteri olarak da bilgi kriterine dayalı soru seçimi kullanılmıştır. Bununla birlikte yöntemlerin performansları, ortalama madde sayısı, hata kareler ortalamasının karekökü [root mean square error (RMSE)], sınıf içi korelasyon katsayısı (SKK) ve bu tahminlerden elde edilen ortalama tahmin değerine göre karşılaştırılmıştır. Bulgular: Her parametre için farklı yöntemler diğerlerinden üstün sonuçlar ortaya çıkarmıştır. Madde sayısı dikkate alındığında, CART yönteminin en az madde ile tahminde bulunduğu ortaya çıkmıştır. RMSE değerleri incelendiğinde, GBM ve XGBoost yöntemlerinden elde edilen değerlerin düşük olduğu görülmektedir. Karşılaştırılan yöntemler, toplam puanları tahmin etmede iyi bir SKK değerine sahiptir. Sonuç: Günümüzde farklı alanlarda sıklıkla kullanılan makine öğrenme yöntemlerinin genel karşılaştırmalar sonucunda yeni bir çalışma planlayan kişinin amacına uygun olarak BUT yöntemine alternatif olarak kullanılabileceği görülmekte ve önerilmektedir.
Anahtar Kelimeler: Bilgisayar uyarlamalı test; makine öğrenmesi; Rasch; ölçek
REFERENCES:
- Merembayev T, Amirgaliyeve S, Kozhaly K. Using item response theory in machine learning algorithms for student response data. IEEE Smart Information Systems and Technologies; 2021 April 28-30; Nur-Sultan, Kazakhstan. [Crossref]
- Rezaie M, Golshan M. Computer Adaptive Test (CAT): advantages and limitations. International Journal of Educational Investigations. 2015;2(5):128-37. [Link]
- Oztuna D. Kas-iskelet sistemi sorunlarının özürlülük değerlendiriminde bilgisayar uyarlamalı test yönteminin uygulanması [Doktora tezi]. Ankara: Ankara Üniversitesi; 2008. Erişim Tari-hi:16.06.2022 [Link]
- Michel P, Baumstarck K, Loundou A, Ghattas B, Auquier P, Boyer L. Computerized adaptive testing with decision regression trees: an alternative to item response theory for quality of life measurement in multiple sclerosis. Patient Prefer Adherence. 2018;12:1043-53. [Crossref] [PubMed] [PMC]
- James G, Witten D, Hastie T, Tibshirani R. An Introduction to Statistical Learning with Applications in R. 4th ed. New York: Springer; 2014. [Crossref]
- Loh WY. Classification and regression trees. Wires Data Mining and Knowledge Discovery. 2011;1(1):14-23. [Crossref]
- Keskin MV. Büyük veride makine öğrenmesi uygulaması [Yüksek lisans tezi]. İstanbul: Yıldız Teknik Üniversitesi; 2018. Erişim Tarihi:16.06.2022 [Link]
- Natekin A, Knoll A. Gradient boosting machines, a tutorial. Front Neurorobot. 2013;7:21. [Crossref] [PubMed] [PMC]
- Muratlar ER. Gradient Boosted Regression Tree. 2020. Cited: February 15, 2022. Available from: [Link]
- Tianqi C, Carlos G. XGBoost: A Scalable Tree Boosting System. KDD '16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016; 785-794. [Crossref]
- Peute L, Scheeve T, Jaspers M. Classification and regression tree and computer adaptive testing in cardiac rehabilitation: instrument validation study. J Med Internet Res. 2020;22(1):e12509. [Crossref] [PubMed] [PMC]
- Harrison CJ, Sidey-Gibbons CJ, Klassen AF, Wong Riff KWY, Furniss D, Swan MC, et al. Recursive partitioning vs computerized adaptive testing to reduce the burden of health assessments in cleft lip and/or palate: comparative simulation study. J Med Internet Res. 2021;23(7):e26412. [Crossref] [PubMed] [PMC]
.: Process List