.: ORİJİNAL ARAŞTIRMA
Tanısal Olasılık Oranı, Etki Eden Faktörler ve Diğer Tanı Performans Kriterleri Arasındaki İlişkinin İncelenmesi: Bir Simülasyon Çalışması
Examining the Relationship Between Diagnostic Odds Ratio, Influencing Factors and Other Diagnostic Performance Criteria: A Simulation Study
Turkiye Klinikleri J Biostat. 2025;17(1):40-50
doi: 10.5336/biostatic.2025-111374
Makale Dili: TR
Tam Metin
ÖZET
Amaç: Bu çalışmanın amacı, örneklem büyüklüğünün tanısal olasılık oranı [diagnostic odds ratio (DOR)] değerleri ve güven aralıkları üzerindeki etkisini belirlemek, DOR ile örneklem büyüklüğü ve diğer tanı performans göstergeleri arasındaki ilişkileri ortaya koymaktır. Gereç ve Yöntemler: Tanısal test performans kriterlerinden biri olan DOR hesaplamaları için farklı örneklem büyüklükleri dikkate alınarak bir simülasyon çalışması yapılmıştır. Python-random kütüphanesi kullanılarak 10≤n≤1.000 aralığında 35 farklı n değeri için veri elde edilmiş, 34.101 farklı 2×2 çapraz tablo değerlendirilmiştir. Farklı örneklem büyüklüklerine göre elde edilen DOR ve etkileyen faktörler ile diğer performans kriterleri arasındaki ilişkilerin değerlendirilmesinde Spearman korelasyon katsayısı kullanılmıştır. Bulgular: DOR değerleri ve güven aralıkları örneklem büyüklüğünden etkilenmemektedir. Örneklem büyüklüğü ile DOR arasında bir ilişki olup olmadığı incelenmiş ve genel olarak pozitif ancak düşük düzeyde r=0,063 bir ilişki tespit edilmiştir. DOR<1 ve DOR>1 olması neredeyse %50-50 oranında birbirine eşit olarak belirlenmiştir. DOR değerleri yalancı negatif ve yalancı pozitif değerleri ile negatif, gerçek pozitif ve gerçek negatif değerleri ile pozitif ilişkiye sahiptir. DOR ile negatif olabilirlik oranı arasında negatif diğer metrikler ile pozitif ilişki olduğu belirlenmiştir. Sonuç: DOR, tıbbi tanı testlerinin doğruluğunu ölçmede etkili ve özetleyici bir göstergedir. Testin performansını tek bir değerle ifade edebilmesi, özellikle tanı testlerinin karşılaştırılması ve metaanaliz çalışmalarında önemli bir referans noktası olmasını sağlamaktadır. DOR'un değerinin büyümesi, testin hem hastaları doğru şekilde tespit etme hem de sağlıklı bireyleri doğru şekilde dışlama konusunda başarılı olduğunu gösterir. Ancak, daha güvenilir sonuçlar elde edebilmek için tek başına değerlendirilmemeli, duyarlılık ve özgüllük gibi diğer metriklerle birlikte ele alınmalıdır.
Anahtar Kelimeler: Tanı testi; test performansı; tanı ve prognoz çalışmaları; kanıta dayalı tıp
Amaç: Bu çalışmanın amacı, örneklem büyüklüğünün tanısal olasılık oranı [diagnostic odds ratio (DOR)] değerleri ve güven aralıkları üzerindeki etkisini belirlemek, DOR ile örneklem büyüklüğü ve diğer tanı performans göstergeleri arasındaki ilişkileri ortaya koymaktır. Gereç ve Yöntemler: Tanısal test performans kriterlerinden biri olan DOR hesaplamaları için farklı örneklem büyüklükleri dikkate alınarak bir simülasyon çalışması yapılmıştır. Python-random kütüphanesi kullanılarak 10≤n≤1.000 aralığında 35 farklı n değeri için veri elde edilmiş, 34.101 farklı 2×2 çapraz tablo değerlendirilmiştir. Farklı örneklem büyüklüklerine göre elde edilen DOR ve etkileyen faktörler ile diğer performans kriterleri arasındaki ilişkilerin değerlendirilmesinde Spearman korelasyon katsayısı kullanılmıştır. Bulgular: DOR değerleri ve güven aralıkları örneklem büyüklüğünden etkilenmemektedir. Örneklem büyüklüğü ile DOR arasında bir ilişki olup olmadığı incelenmiş ve genel olarak pozitif ancak düşük düzeyde r=0,063 bir ilişki tespit edilmiştir. DOR<1 ve DOR>1 olması neredeyse %50-50 oranında birbirine eşit olarak belirlenmiştir. DOR değerleri yalancı negatif ve yalancı pozitif değerleri ile negatif, gerçek pozitif ve gerçek negatif değerleri ile pozitif ilişkiye sahiptir. DOR ile negatif olabilirlik oranı arasında negatif diğer metrikler ile pozitif ilişki olduğu belirlenmiştir. Sonuç: DOR, tıbbi tanı testlerinin doğruluğunu ölçmede etkili ve özetleyici bir göstergedir. Testin performansını tek bir değerle ifade edebilmesi, özellikle tanı testlerinin karşılaştırılması ve metaanaliz çalışmalarında önemli bir referans noktası olmasını sağlamaktadır. DOR'un değerinin büyümesi, testin hem hastaları doğru şekilde tespit etme hem de sağlıklı bireyleri doğru şekilde dışlama konusunda başarılı olduğunu gösterir. Ancak, daha güvenilir sonuçlar elde edebilmek için tek başına değerlendirilmemeli, duyarlılık ve özgüllük gibi diğer metriklerle birlikte ele alınmalıdır.
Anahtar Kelimeler: Tanı testi; test performansı; tanı ve prognoz çalışmaları; kanıta dayalı tıp
ABSTRACT
Objective: The aim of this study is to determine the effect of sample size on diagnostic odds ratio (DOR) values and confidence intervals, and to determine the relationships between DOR and sample size and other diagnostic performance indicators. Material and Methods: A simulation study was performed considering different sample sizes for the calculation of the DOR, which is one of the performance criteria for diagnostic tests. Using the Python-random library, data were obtained for 35 different n values in the range 10≤n≤1,000, and 34,101 different 2×2 cross tables were evaluated. The Spearman correlation coefficient was used to evaluate the relationships between the DOR obtained according to different sample sizes and the influencing factors and other performance criteria. Results: Neither the DOR values nor the confidence intervals are influenced by sample size. An analysis was conducted to assess the relationship between sample size and DOR, revealing a generally positive, though weak r=0.063, correlation. The occurrence of DOR<1 and DOR>1 was found to be nearly equal, with a distribution of 50- 50%. DOR values exhibited a negative correlation with false negatives and false positives, while showing a positive correlation with true positives and true negatives. Additionally, a negative correlation between DOR and the negative likelihood ratio rate was observed, while a positive correlation with other performance metrics was identified. Conclusion: DOR is an effective and summative indicator for measuring the accuracy of medical diagnostic tests. The fact that the test can express its performance with a single value makes it an important reference point, especially in comparisons of diagnostic tests and metaanalysis studies. The increase in the value of DOR indicates that the test is successful in both correctly identifying patients and correctly excluding healthy individuals. However, to ensure more reliable results, DOR should not be evaluated in isolation, but rather in conjunction with other metrics such as sensitivity and specificity.
Keywords: Diagnostic test; test performance; diagnostic and prognostic studies; evidence-based medicine
Objective: The aim of this study is to determine the effect of sample size on diagnostic odds ratio (DOR) values and confidence intervals, and to determine the relationships between DOR and sample size and other diagnostic performance indicators. Material and Methods: A simulation study was performed considering different sample sizes for the calculation of the DOR, which is one of the performance criteria for diagnostic tests. Using the Python-random library, data were obtained for 35 different n values in the range 10≤n≤1,000, and 34,101 different 2×2 cross tables were evaluated. The Spearman correlation coefficient was used to evaluate the relationships between the DOR obtained according to different sample sizes and the influencing factors and other performance criteria. Results: Neither the DOR values nor the confidence intervals are influenced by sample size. An analysis was conducted to assess the relationship between sample size and DOR, revealing a generally positive, though weak r=0.063, correlation. The occurrence of DOR<1 and DOR>1 was found to be nearly equal, with a distribution of 50- 50%. DOR values exhibited a negative correlation with false negatives and false positives, while showing a positive correlation with true positives and true negatives. Additionally, a negative correlation between DOR and the negative likelihood ratio rate was observed, while a positive correlation with other performance metrics was identified. Conclusion: DOR is an effective and summative indicator for measuring the accuracy of medical diagnostic tests. The fact that the test can express its performance with a single value makes it an important reference point, especially in comparisons of diagnostic tests and metaanalysis studies. The increase in the value of DOR indicates that the test is successful in both correctly identifying patients and correctly excluding healthy individuals. However, to ensure more reliable results, DOR should not be evaluated in isolation, but rather in conjunction with other metrics such as sensitivity and specificity.
Keywords: Diagnostic test; test performance; diagnostic and prognostic studies; evidence-based medicine
REFERANSLAR:
- Samawi H, Chen DG, Yin J, Alsharman M. Performance of diagnostic tests based on continuous bivariate markers. J Appl Stat. 2022;51(3):497-514. [Crossref] [PubMed] [PMC]
- Pérez I, Taito-Vicenti IY, González-Xuriguera CG, Carvajal C, Franco JVA, Loézar C. How to interpret diagnostic tests. Medwave. 2021;21(7):e8432. Spanish, English. [Crossref] [PubMed]
- Huang Y, Yin J, Samawi H. Methods improving the estimate of diagnostic odds ratio. Commun Stat-Simul C. 2018;47(2):353-66. [Link]
- Casanova IJ, Campos M, Juarez JM, Gomariz A, Lorente-Ros M, Lorente JA. Using the diagnostic odds ratio to select patterns to build an interpretable pattern-based classifier in a clinical domain: multivariate sequential pattern mining study. JMIR Med Inform. 2022;10(8):e32319. [Crossref] [PubMed] [PMC]
- Glas AS, Lijmer JG, Prins MH, Bonsel GJ, Bossuyt PM. The diagnostic odds ratio: a single indicator of test performance. J Clin Epidemiol. 2003;56(11):1129-35. [Crossref] [PubMed]
- Raslich MA, Markert RJ, Stutes SA. Selecting and interpreting diagnostic tests. Biochem Med (Zagreb). 2007;17(2):151-61. [Crossref]
- Sousa MR, Ribeiro AL. Systematic review and meta-analysis of diagnostic and prognostic studies: a tutorial. Arq Bras Cardiol. 2009;92(3):229-38, 235-45. English, Spanish. [PubMed]
- Zhou X, Obuchowski NA, McClish DK. Statistical Methods in Diagnostic Medicine. 2nd ed. Hoboken, New Jersey: John Wiley&Sons, Inc.; 2011. p. 238-9. [Crossref]
- Lim CY. Methods for evaluating the accuracy of diagnostic tests. Cardiovasc Prev Pharmacother. 2021;3(1):15-20. [Crossref]
- ?imundić AM. Measures of diagnostic accuracy: basic definitions. EJIFCC. 2009;19(4):203-11. [PubMed] [PMC]
- Fischer JE, Bachmann LM, Jaeschke R. A readers' guide to the interpretation of diagnostic test properties: clinical example of sepsis. Intensive Care Med. 2003;29(7):1043-51. [Crossref] [PubMed]
- Böhning D, Holling H, Patilea V. A limitation of the diagnostic-odds ratio in determining an optimal cut-off value for a continuous diagnostic test. Stat Methods Med Res. 2011;20(5):541-50. [Crossref] [PubMed]
- Hasselblad V, Hedges LV. Meta-analysis of screening and diagnostic tests. Psychol Bull. 1995;117(1):167-78. [Crossref] [PubMed]
- Deeks JJ. Systematic reviews in health care: systematic reviews of evaluations of diagnostic and screening tests. BMJ. 2001;323(7305):157-62. [Crossref] [PubMed] [PMC]
- Marill KA. Diagnostic and prognostic test assessment in emergency medicine: likelihood and diagnostic odds ratios. Emerg Med J. 2022;39(8):635-42. [Crossref] [PubMed]
.: İşlem Listesi