.: ORİJİNAL ARAŞTIRMA
A Simulation Study for the Performances of Two Dependent Correlation Coefficients Comparison Tests with a Real Data Application on Acute Appendicitis
İki Bağımlı Korelasyon Katsayısı Karşılaştırma Testlerinin Performansları için Simülasyon Çalışması ve Akut Apandisit Verileri Üzerinde Bir Uygulama
Turkiye Klinikleri J Biostat. 2023;15(1):52-66
doi: 10.5336/biostatic.2022-94692
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: Although it is frequently encountered in many studies to examine the relationships between different features of the individuals by using correlation coefficient, it is a situation that can be ignored to statistically test whether there is a difference between the correlation coefficients obtained. In this study, it is aimed to compare the performances of statistical tests proposed for the comparison of dependent overlapping correlation coefficients, in terms of their Type I error rates, within the framework of a wide simulation scenario. Material and Methods: The 6 test procedures were compared with a simulation study, conducted at 5 different intercorrelation magnitudes, with 5 different null correlation coefficient magnitudes, at 6 different sample sizes. Results: Pearson and Filon's z (PF) test performed poorly compared to other 5 procedures in most cases. For small intercorrelation magnitudes Steiger's modification of Dunn and Clark's z (SM) test, Meng, Rosenthal, and Rubin's z (MRR) test, Rosenthal, and Rubin's z test, Hittner, May, and Silver's modification of Dunn and Clark's z (HMS) test and ZOU's approach for overlapping correlations (ZA) procedures outperformed PF test and Hendrickson, Stanley, and Hills' modification of Williams't test (HSHM) especially in small to moderate sample sizes. For larger intercorrelation coefficients, HSHM test gave better results in small to moderate sample sizes and ZA procedure maintained its superiority at the 0.7 intercorrelation level. Conclusion: Tests' performances in terms of Type I error are affected from the magnitude of null correlation, magnitude of intercorrelation and sample size, in different ways. It will be helpful to consider these issues when selecting the appropriate statistical test.
Keywords: Comparing correlation coefficients; dependent correlations; overlapping variables
Objective: Although it is frequently encountered in many studies to examine the relationships between different features of the individuals by using correlation coefficient, it is a situation that can be ignored to statistically test whether there is a difference between the correlation coefficients obtained. In this study, it is aimed to compare the performances of statistical tests proposed for the comparison of dependent overlapping correlation coefficients, in terms of their Type I error rates, within the framework of a wide simulation scenario. Material and Methods: The 6 test procedures were compared with a simulation study, conducted at 5 different intercorrelation magnitudes, with 5 different null correlation coefficient magnitudes, at 6 different sample sizes. Results: Pearson and Filon's z (PF) test performed poorly compared to other 5 procedures in most cases. For small intercorrelation magnitudes Steiger's modification of Dunn and Clark's z (SM) test, Meng, Rosenthal, and Rubin's z (MRR) test, Rosenthal, and Rubin's z test, Hittner, May, and Silver's modification of Dunn and Clark's z (HMS) test and ZOU's approach for overlapping correlations (ZA) procedures outperformed PF test and Hendrickson, Stanley, and Hills' modification of Williams't test (HSHM) especially in small to moderate sample sizes. For larger intercorrelation coefficients, HSHM test gave better results in small to moderate sample sizes and ZA procedure maintained its superiority at the 0.7 intercorrelation level. Conclusion: Tests' performances in terms of Type I error are affected from the magnitude of null correlation, magnitude of intercorrelation and sample size, in different ways. It will be helpful to consider these issues when selecting the appropriate statistical test.
Keywords: Comparing correlation coefficients; dependent correlations; overlapping variables
ÖZET
Amaç: Pek çok çalışmada, birimlerin farklı özellikleri arasındaki ilişkilerin araştırılması sık karşılaşılan bir durum olmakla birlikte elde edilen 2 korelasyon katsayısı arasında istatistiksel olarak anlamlı fark olup olmadığının test edilmesi genellikle göz ardı edilen bir durumdur. Bu çalışmada, bağımlı örtüşen korelasyon katsayılarının karşılaştırılması için kullanılan istatistiksel testlerin performanslarının Tip I hata düzeyi bakımından, geniş bir simülasyon senaryosu çerçevesinde karşılaştırılması amaçlanmıştır. Gereç ve Yöntemler: Altı farklı test prosedürü, ortak olmayan değişkenler arasındaki korelasyon katsayısının 5 farklı düzeyi için 5 farklı yokluk hipotezi korelasyon katsayısı düzeyi için ve 6 farklı örneklem büyüklüğünde karşılaştırılmıştır. Bulgular: Pearson ve Filon'un z (PF) testi pek çok durumda diğer 5 testten daha kötü performans göstermiştir. Ortak olmayan değişkenler arasındaki korelasyon katsayısının düşük düzeyleri için ve özellikle küçük-orta örneklem büyüklüklerinde; "Steiger's modification of Dunn and Clark's z" (SM), 'Meng, Rosenthal, and Rubin's z test', 'Hittner, May, and Silver's modification of Dunn and Clark's z (HMS) test' ve "ZOU's approach for overlapping correlations" (ZA) testleri, PF ve 'Hendrickson, Stanley, and Hills' modification of Williams' t (HSHM)' testlerinden daha iyi performans vermiştir. Ortak olmayan değişkenler arasındaki korelasyon katsayısının yüksek düzeylerinde ise küçük-orta örneklem büyüklüklerinde HSHM testi daha iyi sonuçlar vermiş ve ZA prosedürü 0,7 iner-korelasyon düzeyinde üstünlüğünü korumuştur. Sonuç: Testlerin Tip I hata oranları bakımından performansları, korelasyon katsayılarının büyüklükleri ve örneklem büyüklüklerindeki değişimlerden farklı şekillerde etkilenmektedirler. Uygun istatistiksel testi seçerken bu noktalara dikkat edilmesi faydalı olacaktır.
Anahtar Kelimeler: Korelasyon katsayılarının karşılaştırılması; bağımlı korelasyonlar; örtüşen değişkenler
Amaç: Pek çok çalışmada, birimlerin farklı özellikleri arasındaki ilişkilerin araştırılması sık karşılaşılan bir durum olmakla birlikte elde edilen 2 korelasyon katsayısı arasında istatistiksel olarak anlamlı fark olup olmadığının test edilmesi genellikle göz ardı edilen bir durumdur. Bu çalışmada, bağımlı örtüşen korelasyon katsayılarının karşılaştırılması için kullanılan istatistiksel testlerin performanslarının Tip I hata düzeyi bakımından, geniş bir simülasyon senaryosu çerçevesinde karşılaştırılması amaçlanmıştır. Gereç ve Yöntemler: Altı farklı test prosedürü, ortak olmayan değişkenler arasındaki korelasyon katsayısının 5 farklı düzeyi için 5 farklı yokluk hipotezi korelasyon katsayısı düzeyi için ve 6 farklı örneklem büyüklüğünde karşılaştırılmıştır. Bulgular: Pearson ve Filon'un z (PF) testi pek çok durumda diğer 5 testten daha kötü performans göstermiştir. Ortak olmayan değişkenler arasındaki korelasyon katsayısının düşük düzeyleri için ve özellikle küçük-orta örneklem büyüklüklerinde; "Steiger's modification of Dunn and Clark's z" (SM), 'Meng, Rosenthal, and Rubin's z test', 'Hittner, May, and Silver's modification of Dunn and Clark's z (HMS) test' ve "ZOU's approach for overlapping correlations" (ZA) testleri, PF ve 'Hendrickson, Stanley, and Hills' modification of Williams' t (HSHM)' testlerinden daha iyi performans vermiştir. Ortak olmayan değişkenler arasındaki korelasyon katsayısının yüksek düzeylerinde ise küçük-orta örneklem büyüklüklerinde HSHM testi daha iyi sonuçlar vermiş ve ZA prosedürü 0,7 iner-korelasyon düzeyinde üstünlüğünü korumuştur. Sonuç: Testlerin Tip I hata oranları bakımından performansları, korelasyon katsayılarının büyüklükleri ve örneklem büyüklüklerindeki değişimlerden farklı şekillerde etkilenmektedirler. Uygun istatistiksel testi seçerken bu noktalara dikkat edilmesi faydalı olacaktır.
Anahtar Kelimeler: Korelasyon katsayılarının karşılaştırılması; bağımlı korelasyonlar; örtüşen değişkenler
REFERANSLAR:
- Allen M. The SAGE Encyclopedia of Communication Research Methods. 1st ed. Thousand Oaks: SAGE Publications Inc.; 2017. [Crossref]
- Pearson K. Notes on regression and inheritance in the case of two parents. Proceedings of the Royal Society of London. 1985;58:240-2. [Link]
- Wilcox RR. Comparing pearson correlations: dealing with heteroscedasticity and nonnormality. Commun. Stat. B: Simul. Comput. 2009;38(10):2220-34. [Crossref]
- Steiger JH. Tests for comparing elements of a correlation matrix. Psychol Bull. 1980;87(2):245-51. [Crossref]
- Zou GY. Toward using confidence intervals to compare correlations. Psychol Methods. 2007;12(4):399-413. [Crossref] [PubMed]
- Nieuwenhuis S, Forstmann BU, Wagenmakers EJ. Erroneous analyses of interactions in neuroscience: a problem of significance. Nat Neurosci. 2011;14(9):1105-7. [Crossref] [PubMed]
- May K, Hittner JB. Tests for comparing dependent correlations revisited: A Monte Carlo study. J Exp Educ. 1997;65(3):257-69. [Crossref]
- Hotelling H. The generalization of Student's ratio. Ann Math Stat. 1931;2(3):360-78. [Crossref]
- Williams EJ. The comparison of regression variables. J R Stat Soc Series B Stat Methodol J R Stat Soc B. 1959;21(2):396-9. [Crossref]
- Olkin I. Correlations revisited. In: Stanley JC, ed. Improving Experimental Design and Statistical Analysis. 1st ed. Chicago, IL: Rand McNally; 1967. p.102-28.
- Dunn OJ, Clark VA. Correlation coefficients measured on the same individuals. J Am Stat Assoc. 1969;64(325):366-77. [Crossref]
- Dunn OJ, Clark VA. Comparison of tests of the equality of dependent correlation coefficients. Am Stat Assoc. 1971;66(336):904-8. [Crossref]
- Hendrickson GF, Collins JR. Olkin's new formula for the significance of r13 vs. r23 compared with Hotelling's method. Am Educ Res J. 1970;7(2):189-95. [Crossref]
- Meng XL, Rosenthal R, Rubin DB. Comparing correlated correlation coefficients. Psychol Bull. 1992;111(1):172-5. [Crossref]
- Hittner JB, May K, Silver NC. A Monte Carlo evaluation of tests for comparing dependent correlations. J Gen Psychol. 2003;130(2):149-68. [Crossref] [PubMed]
- Pearson K, Filon LNG. Mathematical contributions to theory of evolution: IV. on the probable errors of frequency constants and on the influence of random selection and correlation. Proc. R. Soc. Lond. 1898;62(379):173-6. [Crossref]
- Weaver B, Wuensch KL. SPSS and SAS programs for comparing Pearson correlations and OLS regression coefficients. Behav Res Methods. 2013;45(3):880-95. Erratum in: Behav Res Methods. 2013;45(3):896-7. [Crossref] [PubMed]
- Fisher RA. On the 'probable error' of a coefficient of correlation deduced from a small sample. Metron. 1921;1:3-32. [Link]
- Silver N, Dunlap WP. Averaging correlation coefficients: Should Fisher's z transformation be used? J Appl Psychol. 1987;72(1):146-8. [Crossref]
- Bradley JV. Robustness. Br J Math Stat Psychol. 1978;31(2):144-51. [Crossref]
- Rao CR. Linear Statistical Inference and Its Applications. 2nd ed. New York: John Wiley & Sons Inc.; 1973. [Crossref]
- Córdoba I, Varando G, Bielza C, Larra-aga P. gmat: Simulation of graphical correlation matrices. R package version 0.2.2. CRAN, 2020.
- Diedenhofen B, Musch J. cocor: a comprehensive solution for the statistical comparison of correlations. PLoS One. 2015;10(3):e0121945. Erratum in: PLoS One. 2015;10(6):e0131499. [Crossref] [PubMed] [PMC]
- Brown-Forestiere R, Furiato A, Foresteire NP, Kashani JS, Waheed A. Acute appendicitis: clinical clues and conundrums related to the greatest misses. Cureus. 2020;12(5):e8051. [Crossref] [PubMed] [PMC]
- Acharya A, Markar SR, Ni M, Hanna GB. Biomarkers of acute appendicitis: systematic review and cost-benefit trade-off analysis. Surg Endosc. 2017;31(3):1022-31. [Crossref] [PubMed] [PMC]
- Asfar S, Safar H, Khoursheed M, Dashti H, al-Bader A. Would measurement of C-reactive protein reduce the rate of negative exploration for acute appendicitis? J R Coll Surg Edinb. 2000;45(1):21-4. [PubMed]
- Beltrán MA, Almonacid J, Vicencio A, Gutiérrez J, Cruces KS, Cumsille MA. Predictive value of white blood cell count and C-reactive protein in children with appendicitis. J Pediatr Surg. 2007;42(7):1208-14. [Crossref] [PubMed]
- Paajanen H, Mansikka A, Laato M, Kettunen J, Kostiainen S. Are serum inflammatory markers age dependent in acute appendicitis? J Am Coll Surg. 1997;184(3):303-8. [PubMed]
- Silver C, Hitter JB, May K. Testing dependent correlations with non-overlapping variables: A Mote Carlo simulation. J Exp Educ. 2004;73(11):53-69. [Crossref]
- Sheshkin DJ. Handbook of Parametric and Nonparametric Statistical Procedures. 3rd ed. Boca Raton FL: Chapman & Hall/CRC; 2004.
- Zar JH. Biostatistical Analysis. 4th ed. Upper Saddle River NJ: Prentice Hall; 1999.
.: İşlem Listesi