.: ORİJİNAL ARAŞTIRMA
Assessment of Assistant Physicians' Competencies for Making Accurate Diagnosis with Agreement Coefficients: A Methodological Study
Asistan Hekimlerin Doğru Tanı Koyabilme Yeterliliklerinin Uyum Katsayıları ile Değerlendirilmesi: Metodolojik Bir Çalışma
Turkiye Klinikleri J Med Sci. 2023;43(1):14-21
doi: 10.5336/medsci.2022-88728
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: The objective of this study is to introduce some statistical methods, which are thought to be used in evaluating the ability of resident physicians to make the correct diagnosis, with a sample application. Material and Methods: The most common way to show the accuracy of a decision maker's decisions relative to the decisions to be referenced is to construct an error matrix. In the ideal case, all off-diagonal elements of the error matrix would have a value of zero, indicating that no decision of the decision maker was wrong with respect to the reference. The calculations of the methods in the study are shown on a sample error matrix. The data in the error matrix are randomly derived data. In the evaluation of the error matrix, the agreement coefficients suggested by Bishop et al., Helldén and Short were used. Results: When the decisions of the decision maker (assistant physician) and the reference (specialist physician) decisions are similar, the variance of the error matrix decreases, the confidence intervals narrow, and the value of the coefficients of agreement both in the categorical and in general increases. Conclusion: Objective assessment techniques rather than subjective assessment are important for the standardization and quality of education. According to the findings, it was concluded that the agreement coefficients for proficiency in specialization education are usable and the quality of education will increase if they are used together with other evaluation methods.
Keywords: Specialization education; categorical agreement; competence; making a diagnosis
Objective: The objective of this study is to introduce some statistical methods, which are thought to be used in evaluating the ability of resident physicians to make the correct diagnosis, with a sample application. Material and Methods: The most common way to show the accuracy of a decision maker's decisions relative to the decisions to be referenced is to construct an error matrix. In the ideal case, all off-diagonal elements of the error matrix would have a value of zero, indicating that no decision of the decision maker was wrong with respect to the reference. The calculations of the methods in the study are shown on a sample error matrix. The data in the error matrix are randomly derived data. In the evaluation of the error matrix, the agreement coefficients suggested by Bishop et al., Helldén and Short were used. Results: When the decisions of the decision maker (assistant physician) and the reference (specialist physician) decisions are similar, the variance of the error matrix decreases, the confidence intervals narrow, and the value of the coefficients of agreement both in the categorical and in general increases. Conclusion: Objective assessment techniques rather than subjective assessment are important for the standardization and quality of education. According to the findings, it was concluded that the agreement coefficients for proficiency in specialization education are usable and the quality of education will increase if they are used together with other evaluation methods.
Keywords: Specialization education; categorical agreement; competence; making a diagnosis
ÖZET
Amaç: Bu çalışmanın amacı, asistan hekimlerin doğru tanı koyma yeterliliklerinin değerlendirilmesinde kullanılabileceği düşünülen bazı istatistiksel yöntemleri örnek bir uygulama ile tanıtmaktır. Gereç ve Yöntemler: Bir karar vericinin vermiş olduğu kararların referans kararlara göre doğruluğunu göstermenin en yaygın yolu bir hata matrisi oluşturmaktır. İdeal durumda, hata matrisinin tüm köşegen dışı elemanlarının değeri sıfır olur ve bu da referansa göre karar vericinin hiçbir kararının yanlış olmadığını gösterir. Çalışmada yer alan yöntemlerin hesaplamaları örnek bir hata matrisi üzerinde gösterilmiştir. Hata matrisinde yer alan veriler rastgele türetilmiş verilerdir. Hata matrisinin değerlendirilmesinde Bishop ve ark., Helldén ve Short tarafından önerilen uyum katsayıları kullanılmıştır. Bulgular: Karar verici (yardımcı hekim) kararları ile referans (uzman hekim) kararları birbirine benzedikçe hata matrisine ait varyans küçülmekte, güven aralıkları daralmakta, gerek kategori gerekse genel olarak uyum katsayılarının değeri büyümektedir. Sonuç: Öznel değerlendirmeden ziyade nesnel değerlendirme teknikleri eğitimin standardizasyonu ve kalitesi için önemlidir. Elde edilen bulgulara göre uzmanlık eğitiminde yeterlilik için uyum katsayılarının kullanılabilir olduğu ve diğer değerlendirme yöntemleri ile birlikte kullanılması hâlinde eğitimin kalitesinin yükseleceği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Uzmanlık eğitimi; kategorik uyum; yeterlilik; tanı koyma
Amaç: Bu çalışmanın amacı, asistan hekimlerin doğru tanı koyma yeterliliklerinin değerlendirilmesinde kullanılabileceği düşünülen bazı istatistiksel yöntemleri örnek bir uygulama ile tanıtmaktır. Gereç ve Yöntemler: Bir karar vericinin vermiş olduğu kararların referans kararlara göre doğruluğunu göstermenin en yaygın yolu bir hata matrisi oluşturmaktır. İdeal durumda, hata matrisinin tüm köşegen dışı elemanlarının değeri sıfır olur ve bu da referansa göre karar vericinin hiçbir kararının yanlış olmadığını gösterir. Çalışmada yer alan yöntemlerin hesaplamaları örnek bir hata matrisi üzerinde gösterilmiştir. Hata matrisinde yer alan veriler rastgele türetilmiş verilerdir. Hata matrisinin değerlendirilmesinde Bishop ve ark., Helldén ve Short tarafından önerilen uyum katsayıları kullanılmıştır. Bulgular: Karar verici (yardımcı hekim) kararları ile referans (uzman hekim) kararları birbirine benzedikçe hata matrisine ait varyans küçülmekte, güven aralıkları daralmakta, gerek kategori gerekse genel olarak uyum katsayılarının değeri büyümektedir. Sonuç: Öznel değerlendirmeden ziyade nesnel değerlendirme teknikleri eğitimin standardizasyonu ve kalitesi için önemlidir. Elde edilen bulgulara göre uzmanlık eğitiminde yeterlilik için uyum katsayılarının kullanılabilir olduğu ve diğer değerlendirme yöntemleri ile birlikte kullanılması hâlinde eğitimin kalitesinin yükseleceği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Uzmanlık eğitimi; kategorik uyum; yeterlilik; tanı koyma
REFERANSLAR:
- Satterly LB. Teaching differential diagnosis: tool box techniques. J Physician Assist Educ. 2020;31(2):77-84. [Crossref] [PubMed]
- Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, et al. Competency-based medical education: theory to practice. Med Teach. 2010;32(8):638-45. [Crossref] [PubMed]
- Zaweski J, Melcher BQ, Sedrak M, Von M, Fletcher S. Physician assistant educator competencies. J Physician Assist Educ. 2019;30(1):47-53. [Crossref] [PubMed]
- Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012;34(5):e288-99. [Crossref] [PubMed]
- Öztürk R. Ülkemizde tıp eğitimine genel bir bakış [An overview of medical education in our country]. Sağlık Düşüncesi ve Tıp Kültürü Platformu Dergisi. 2006-2007;1. [Link]
- Söylemezoğlu F, Sökmensüer C, Sungur A. Yeterliğe dayalı patoloji uzmanlık eğitimi programı: Hacettepe Üniversitesi deneyimi [Competence-based pathology residency training program: Hacettepe University experience]. Türk Patoloji Dergisi. 2009;25(2):35-40. [Crossref]
- Levett-Jones T, Gersbach J, Arthur C, Roche J. Implementing a clinical competency assessment model that promotes critical reflection and ensures nursing graduates' readiness for professional practice. Nurse Educ Pract. 2011;11(1):64-9. [Crossref] [PubMed]
- Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-35. [Crossref] [PubMed]
- Akalın E. Tıpta uzmanlık eğitimi: kalite arayışı [Medical residency training: the pursuit of quality]. Türk Nöroşirürji Dergisi. 2002;12:99-100. [Link]
- Gültekin BK, Söylemez A, Dereboy İF, Çiçek C. Ege ve Adnan Menderes Tıp Fakültelerinde uzmanlık eğitimi: tıpta uzmanlık öğrencisi bakış açısı ile [Specialization education in Ege and Adnan Menderes Medical Faculties: from the point of view of the medical residency student]. ADÜ Tıp Fakültesi Dergisi. 2006;7(2):17-21. [Link]
- Anıl D. Tıp eğitiminde ölçme ve değerlendirme [Measurement and evaluation in medical education]. Sağlık Düşüncesi ve Tıp Kültürü Platformu Dergisi. 2014-2015;33:82-7. [Link]
- Aydın S. Tıpta uzmanlık eğitiminde gelecek öngörüleri [Future predictions in medical residency training]. Sağlık Düşüncesi ve Tıp Kültürü Platformu Dergisi. 2016;40:84-9. [Link]
- Yalabık HA, Musal B. Tıp eğitiminde klinik dönemde kullanılabilecek değerlendirme yöntemlerinden örnekler [Examples of evaluation methods that can be used in clinical education in medical education]. DEÜ Tıp Fakültesi Dergisi. 2017;31(3):153-67. [Crossref]
- Gülpınar MA. Klinik eğitimde ölçme-değerlendirme. Aslan D, Özyurt A, editörler. Türk Tabipleri Birliği Uzmanlık Dernekleri Eşgüdüm Kurulu XIV. Tıpta Uzmanlık Eğitimi Kurultayı Bildiri Kitabı. Ankara: Mattek Matbaacılık; 2008. p.29-38.
- Yılmaz Y, Uçar E, Ertin H. Tıpta uzmanlık eğitimi ve asistan hekimlerin sorunlarının irdelenmesi: bir anket çalışması [Examining the problems of residency training in medicine and residents: a survey study]. Tıp Eğitimi Dünyası. 2019;18(54):21-9. [Crossref]
- Carr SJ. Assessing clinical competency in medical senior house officers: how and why should we do it? Postgrad Med J. 2004;80(940):63-6. [Crossref] [PubMed] [PMC]
- Tengiz Fİ, Şahin H. Kli̇ni̇kte eği̇ti̇mde yeni̇ bi̇r ölçme yöntemi̇: mi̇ni̇ kli̇ni̇k değerlendi̇rme [A new measurement method in clinical training: the mini-clinical assessment]. Tıp Eğitimi Dünyası. 2014;39:13-8. [Link]
- Bishop YMM, Feinberg SE, Holland PW. Discrete Multivariate Analysis-Theory and Practice. 1st ed. Cambridge, Mass.: The MIT Press; 1975.
- Congalton RG, Mead RA. A quantitative method to test for consistency and correctness in photointerpretation. Photogramm Eng Rem S. 1983;49(1):69-74. [Link]
- Congalton RG, Oderwald RG, Mead RA. Assessing landsat classification accuracy using discrete multivariate analysis statistical techniques. Photogramm Eng Rem S. 1983;49(12):1671-8. [Link]
- Helldén U. A Test of Landsat-2 Imagery and Digital Data for Thematic Mapping lllustrated by an Environmental Study in Northern Kenya. 1st ed. Report No. 47. Sweden: Laboratory of Remote Sensing, Department of Physical Geography, University of Lund; 1980.
- Short NM. The Landsat Tutorical Workbook: Basics of Satellite Remote Sensing. 1st ed. Greenbelt, Md,: NASA Reference Publication; 1982.
- Rosenfield GH, Fitzpatrick-Lins K. A coefficient of agreement as a measure of thematic classification accuracy. Photogramm Eng Rem S. 1986;52(2):223-7. [Link]
.: İşlem Listesi