The Use of Statistical Analysis - In the Korean Journal of Otolaryngology-Head and Neck Surgery -.

Shin, Myung hee; Son, Young Ik; Cho, Yang Sun; Kim, Hyo Yeol; Ha, Byung Suk; Kim, Sun Il

Korean Journal of Otorhinolaryngology-Head and Neck Surgery > Volume 42(11); 1999 > Article

Original Article

Korean Journal of Otorhinolaryngology-Head and Neck Surgery 1999;42(11): 1364-1369.

The Use of Statistical Analysis - In the Korean Journal of Otolaryngology-Head and Neck Surgery -.

Myung hee Shin, Young Ik Son, Yang Sun Cho, Hyo Yeol Kim, Byung Suk Ha, Sun Il Kim

¹Department of Otorhinolaryngology-Head and Neck Surgery, Samsung Medical Center, ungkyunkwan University School of Medicine, Seoul, Korea. yscho@smc.samsung.co.kr
²Department of Preventive Medicine, Samsung Medical Center, ungkyunkwan University School of Medicine, Seoul, Korea.

이비인후과 영역에서의 통계적 기법의 활용에 대한 고찰 - 대한이비인후과학회지를 중심으로 -

신명희² · 손영익¹ · 조양선¹ · 김효열¹ · 하병석¹ · 김선일¹

성균관대학교 의과대학 이비인후과학교실1;예방의학교실2;

주제어: 통계ㆍ이비인후과.

ABSTRACT

BACKGROUND AND OBJECTIVES:
The statistical analysis is an essential procedure with the aim of ensuring that the results of researches are based on evidences rather than opinions. We evaluated the frequency, adequacy, and validity of the statistical methods used in the otolaryngology journals, identified types of errors in statistical analysis, and suggested the proper usage of the statistical methods.
MATERIALS AND METHODS:
265 articles published in the Korean Journal of Otolaryngology-Head and Neck Surgery in 1997 were reviewed and evaluated. Each article was evaluated in terms of the adequacy, validity and frequency of statistical usage according to the preformed category.
RESULTS:
104 out of 265 articles used analytical statistics, and the commonest statistical methods used in the articles were t-test. ANOVA and x(2)-test were the second and third commonest methods, respectively. In only 36.6% of articles, proper statistical methods were used for their data. Misuse of statistical methods (31.4%) was the most frequent errors found in the articles. 64.6% of the misuses was the adoption of a statistical test inconsistent with data characteristics, 18.8% of them was inappropriate use of parametric methods, and 10.4% of them was the use of x(2)-test when an exact test was needed (3.3%).
CONCLUSION:
Most of statistical errors found in the journals were misuses of statistical methods related to basic statistics. Closer communication between researchers and statistical analysts, and closer editorial attention to statistical methodology in the review process would improve the validity of articles.

Keywords: StatisticsㆍOtolaryngology

서론 통계 분석은 표본에서 얻어진 자료로부터 모집단에 관한 추론을 함으로써 연구자의 연구 결과가 우연(chance)이나 교란(confounding)에 의한 결과가 아니라는 것을 주장하기 위한 필수적 절차이다.1) 임상 의학 분야에서는 엄격하게 통제된 상황에서 요인의 효과를 판정하는 실험적 연구보다는 많은 수의 환자로부터 치료 효과나 예후 인자, 혹은 진단 방법에 대한 정보를 수집하고 평가하는 경우가 많아 연구의 결론을 도출하기 위해 통계 분석이 필수적인 역할을 하게 된다. 외국의 경우 발표된 의학 논문의 50% 정도에서 통계 분석을 사용하고 있으며,2-4) 점차로 이에 대한 사용이 증가하고 있는 추세이다.1) 국내에서도 통계 분석의 중요성에 대한 인식이 증가함에 따라 이비인후과 및 기타 임상 영역 연구에서 통계 분석을 사용한 연구가 점차 늘어나고 있다. 통계 분석이 연구자의 주장을 뒷받침하기 위한 도구로 사용되려면 자료의 성격에 맞는 적절한 통계 분석 방법을 적용하는 것이 필수적이다. 잘못 적용된 통계 분석 방법은 연구 결과의 객관성 및 신뢰성을 저하시킬 뿐만 아니라, 잘못된 결론으로 유도함으로써 학문의 발전에 중대한 장애를 초래하기도 한다.5) 또한, 적절한 통계 분석 방법을 사용하고도 분석 결과를 확대 해석하여 잘못된 결론을 유도하는 경우도 종종 있다. 임상 의학 논문에서 통계 사용 및 해석의 수준을 파악하는 것은 향후 이를 사용하는 임상연구가나 의학도들에게 매우 중요한 정보를 주게 된다. 국내 임상 영역에서 통계 활용 현황에 대한 연구는 드물며6) 특히 이비인후과 영역에서는 전무한 실정이다. 저자들은 이비인후과 영역에서 발표된 연구 논문에서 사용된 통계 분석의 현황을 파악하고 그 타당성을 평가함으로써, 연구에서 흔히 나타나는 통계 사용의 오류를 분석하고 정확한 통계 분석을 할 수 있는 방법을 제시하고자 하였다. 재료 및 방법 1997년 1월부터 1997년 12월까지 대한이비인후과학회지에 게재된 265편의 논문을 대상으로 하였다. 우선 평가 대상 논문이 통계 분석을 사용하고 있는 지의 여부를 조사하고, 연구 목적에 입각하여 통계 분석이 필요한지 아닌지를 평가자가 판단하였다. 통계 분석(이하 ‘통계’로 지칭)의 사용 여부는 기술적 통계 및 분석적 통계사용이 있는지를 기준으로 나누었다. 기술적 통계는 증례 보고 등 단순한 환자의 특성 파악을 목적으로 자료를 정리, 요약한 것으로 하였고 가설검증을 시도한 것을 분석적 통계로 정의하였다. 각각의 논문에 제시된 자료의 성격을 항목별로 세분하고, 논문의 저자가 어떤 식으로 통계를 적용하였는지를 기록하였다. 통계가 필요하다고 판단되는 경우와 통계처리가 제시된 논문에 대하여 적용통계의 적정성을 평가하고 이에 따른 평가자의 권고통계를 제시하였다. 자료성격과 이에 따른 권고통계 항목은 Emerson과 Colditz 등3)이 제안한 체계를 참고한 후, 이를 저자들이 실용적으로 재범주화하였다(Table 1). 이러한 항목들을 평가할 때에는 각 논문의 재료 및 방법, 결과, 각각에서 제시된 Table과 Fig.들, 그리고 고찰 및 결론 등을 세밀히 분석하여 평가하였다. 평가 방법은 기본적인 통계지식을 갖고 있는 2인의 이비인후과 전문의와 3인의 이비인후과 전공의가 각자 평가한 후 토론하여 일치되는 항목과 일치되지 않는 항목을 정리한 후, 다시 통계전문가 1인이 포함된 6인 평가자들의 종합토의로 확정하였다. 통계 사용 및 해석의 타당성 여부는 그 정도에 따라 6개의 대분류 항목으로 나누었으며, 대분류 항목 중 2개 항목을 다시 각각 7개 소항목으로 나누었다(Table 2). 컴퓨터를 이용한 데이터 베이스로 각각의 항목에 대해 정리한 후 분석하였다. 결과 전체 논문 265편 중 39.2%에 해당하는 104편의 논문이 분석적 통계를 사용했으며, 60.8%에 해당하는 161편은 기술적 연구로 분석적 통계를 사용하지 않았다. 한 논문에서도 여러 방법의 통계를 사용하였기 때문에, 통계 수를 기준으로 보면 총 152건의 통계가 사용되었다. 이 중 통계 사용을 했으나 평가자들이 판단하기에 통계 사용이 필요하지 않았던 경우가 2건, 통계를 사용하지 않았지만 평가자들이 판단하기에 필요한 경우가 3건이 있었다. 통계가 필요하다고 판단된 153건의 경우를 기준으로 할 때 게재된 논문의 자료 성격 중 가장 많은 수를 차지한 것이 ‘범주형 자료(categorical data)의 빈도 비교’류로 총 47건이었다. 이 때 범주형 자료를 처리하면서 범주의 수를 2개 이상으로 다분류(多分類) 함으로써 한 범주에 5개 이하의 빈도를 갖는 희박 칸(sparse cell)을 지닌 경우가 많았다(22건). 다음으로 ‘독립적인 두 군간의 평균비교’류가 32건(이 중 비모수적 방법이 필요한 것이 14건), ‘독립적인 3군 이상간의 평균비교’류가 25건(이 중 비모수적 방법이 필요한 것이 10건) 순이었다. 반면, 실제 논문에서 적용된 통계의 빈도 분포는 좀 더 세분화하여 Table 3과 같으며 단순 t-test가 28건으로 가장 많이 사용되는 것으로 관찰되었다. 다음으로 ANOVA(14건)와 2개 이상 범주를 가진 R×C Pe-arson's χ2-test(14건)가 많이 사용되었다(Table 3). 통계 사용 및 해석의 타당성에 관한 평가 결과를 보면, 적절한 통계 방법을 사용한 경우는 153건 중 56건으로 전체의 36.6%에 불과 하였으며 나머지 중에서 31.4%에 해당하는 48건은 틀린 통계 방법을 적용한 경우였다. p-value를 제시하고 있으나 통계 방법에 관한 언급이 없는 경우도 29 건으로 전체의 19.0%였고, 적용 통계는 맞게 언급했으나 결과를 제대로 제시하지 못한 경우가 12건으로 7.8%였다. 또한 각종 통계 방법을 나열하고 있으나 어느 분석에 적용한 것인지 구체적으로 언급하지 않은 경우가 5건으로 3.2%, 통계 처리가 필요하나 처리하지 않은 경우가 3건으로 2.0%였다(Table 4). 틀린 통계 방법을 사용한 48건 중 대부분인 31건이(64.6 %) 빈도 비교를 해야 할 곳에 평균 비교를 했다든지, 3회 이상 반복측정한 자료를 두 군간 평균 비교를 반복하는 방법으로 분석하였다든지, 두 군간의 평균 비교를 하면 될 것을 상관분석이나 짝을 지은 두 군간의 평균 비교로 분석한 것과 같은 자료의 성격과 전혀 맞지 않은 방법을 사용한 경우였다. 그 밖에 비모수적 방법을 적용해야 할 곳에 모수적 방법으로 분석한 경우가 9건(18.8%) 이었으며, 빈도 비교에서 기대치가 5 이하인 칸이 있음에도 Fisher's exact test를 쓰지 않았거나 범주를 줄여서 그 칸을 없애보려는 시도를 하지 않은 경우가 5건(10.4%), 세 군 이상의 평균치 비교를 t-test로 짝을 지어 분석한 경우가 2건(4.2%), 교란변수가 많아 로지스틱(logistic) 분석이 필요함에도 Pearson's χ2-test만 사용한 것이 1건(2.0%) 있었다(Table 5). 적용 통계는 맞게 언급했으나 결과 제시상에 오류가 있는 12예의 내용을 보면, 독립성 검정을 한 후 경향성이 있는 것처럼 해석하는 등 통계 검정을 한 내용보다 확대해서 결론을 내린 경우가 6건, 표본수나 유효율의 크기로 보아 유의하지 않을 것 같은데 유의하다고 주장하여 계산이 틀렸을 가능성이 농후한 경우가 2건, 어느 군과 어느 군의 비교시에 나온 p-value 인지 불명확한 경우가 1건, 유의 수준 언급이 없거나 p-value 또는 신뢰구간을 제시하지 않고 유의하다고 주장하는 경우가 각각 1건, 그리고 자료의 성격상 적용하기 어려울 것으로 생각되는 통계 방법을 적용하였다고 쓰고 p-value를 제시하지 않은 채 결론지은 논문이 2건 있었다. 고찰 통계는 연구 결과의 유의성을 주장하기 위한 필수적 절차로서, 연구가 주관적인 판단에 기초한 것이 아닌 객관적 증거에 의거한다는 목적을 달성한다는 측면에서도 반드시 필요하다.2) 그러나 연구자들이 통계에 대한 이해가 부족하거나 통계가 필요하다고 느끼는 경우라도 이를 적절하게 사용하기가 어려워 연구 결과를 제시할 때에 통계를 충분히 활용하지 못한 경우가 있었다. 최근에는 Excel이나 SPSS와 같은 쓰기 쉬운 통계 소프트웨어의 보급으로 과거에 비해 훨씬 간편하게 통계 결과를 얻게 되었지만, 이러한 경우에도 주어진 자료의 성격에 맞는 올바른 통계 분석 방법을 사용하고 그 결과를 정확하게 해석하여 적절한 결론을 유도하는 것은 여전히 문제로 남아 있다고 생각된다. 본 연구에서는 이비인후과 영역의 최근의 임상 연구에서 통계의 사용 및 분석의 현황을 파악하였는데, 이는 향후 보다 많은 연구에서 올바른 통계 분석을 사용하는 데에 유용한 자료로 활용할 수 있을 것으로 생각된다. 1997년도 대한이비인후과학회지에 수록된 논문 중 통계를 사용하는 분석 연구가 39.6%로 나타났으며 나머지는 기술적 연구(descriptive study) 혹은 증례 연구(case study)였다. 외국 논문에서의 경우 통계를 사용하는 빈도가 50% 정도인 것을 감안하면2-4) 다소 낮은 수준이었으며, 필요한 통계를 사용하지 않은 경우를 고려해도 자료의 성격이 외국에 비해 통계를 필요로 하는 경우가 적은 경향이 있었다. 실제 적용된 통계를 보면 t-test가 가장 많은 부분을 차지했으며, 다음으로 ANOVA, Pearson's χ2-test, 그리고 paired t-test 순이었다. 외국 논문의 경우 Rosenferd 등은 t-test, χ2-analysis of contingency table, 생존 분석의 순으로 많이 쓰였다고 보고하였으며,1) 국내 논문의 경우 Kim 등은 대한재활의학회지에서 평균, 표준편차와 백분율(%)을 제시한 기술 통계를 제외하면, 통계의 빈도는 t-test, ANOVA, Pearson's correlation 순이었다고 하여6) 본 연구와 동일한 결과였음을 알 수 있다. 외국의 의학 논문에서는 생존분석이나 생명표와 관련한 통계가 비교적 많은데,3)7-10) 이는 종양 연구 분야에서 특히 두드러진다. 본 연구에서도 생존분석을 사용한 논문은 5건 있었으며, 이들은 모두 두경부 종양 분야에 해당되는 연구였다. 자료의 성격으로 판단한 권고통계보다 실제 적용통계가 훨씬 많이 사용된 것이 t-test로 t-test 사용의 오류가 많음을 시사한다. 실제 t-test가 사용되어야 할 독립적인 2군간 평균비교 자료는 18건이었으나 t-test 사용 건수는 28건으로 2배 가까이 많이 사용되었다. 범주형 자료의 빈도 비교의 경우에 빈도를 연속 변수로 오인하여 그대로 t-test를 한 경우, 그리고 결과 변수가 연속 측정치라 할 경우라도 표본 수가 적거나(대개 군 당 15개 미만) 결과 변수가 순위 척도인 경우 비모수적 방법을 적용해야 함에도 불구하고 모수적 방법인 t-test를 사용한 것이 본 연구에서 발견된 대표적인 t-test 사용 오류의 예이다. MacArthur 등은 1982년에 Journal of Infectious Disease에 수록된 논문을 분석한 후 흔한 통계 방법상의 오류를 8가지 유형으로 분류하고 적절한 통계 방법을 사용한 경우가 28%라고 보고하였다.4) 물론 이 8가지 오류 유형에는 대조군이 없는 경우나 무작위 배정이 안된 경우와 같이 연구 설계상의 오류까지 포함하고 있기 때문에 보다 엄격한 기준을 가지고 ‘통계의 타당성’을 따진 것이라 ‘적절한 사용’이 36.6%인 본 연구의 결과와 직접비교는 어렵다고 생각된다. 본 연구에서 두번째로 많이 나타난 오류인 ‘p-value를 제시하고 있으나 통계 방법에 대한 언급이 없는 경우’는 19%나 차지하고 있는데, Hokanson 등은 1983년부터 1984년까지 5 개의 중요한 미국 종양 학회지에 발표된 5000개의 논문을 분석한 후, 통계 방법에 대한 언급 없이 p-value만 제시하는 것이 흔히 발견되는 오류중의 하나라고 지적하였다.9) 본 연구에서 가장 많이 나타난 오류인 ‘틀린 통계 방법’을 구체적으로 살펴보면(Table 5), 자료의 성격과 전혀 맞지 않는 방법을 사용한 경우가 ‘틀린 통계 방법’을 사용한 경우의 64.6%로 대부분을 차지하고 있다. 비모수를 모수적 방법으로 분석하는 경우도 18.8% 정도 되었는데 t-test나 ANOVA와 같은 평균치 분석에서 모수적 방법을 적용하기 위해서는 다음과 같은 엄격한 기준이 필요하다.4) 각각의 표본은 서로 독립적이어야 하며, 모집단에서 무작위적으로(randomly) 추출되어야 하고, 모집단에 관해 특정 분포를 상정할 수 있어야 한다. 또한 각각의 표본들은 등분산이어야 하며, 자료들은 순위척도나 명목척도가 아닌 간격척도나 비척도이어야 한다. 순위척도나 명목척도로 측정된 자료는 산술적인 연관을 짓기 어렵기 때문이다. 이러한 기준들이 충족되지 않으면 모수적 방법은 유의성 결정에 신뢰성을 잃게 되며 모집단을 적절히 설명할 수 없게 되는데, 대개 표본의 수가 15개 미만이면 간격척도나 비척도라 할 지라도 이와 같은 가정을 만족하기 어렵기 때문에 비모수적 방법이 권장된다. 빈도 비교에서 기대치가 5 이하인 칸이 있음에도 Fisher's exact test를 쓰지 않았거나 변수의 범주를 줄이는 등의 그 칸을 없애려는 시도를 하지 않은 경우가 10.4%로 관찰되었는데, 이러한 시도를 하지 않고 Pearson's χ2-test를 그대로 적용하는 것도 흔히 발생하는 오류이다.11) 3군 이상의 비교에서 ANOVA를 t-test로 분석하는 경우도 2건 있었는데, 이렇게 각각 2개의 군끼리 t-test를 반복하는 경우 α-error의 현저한 증가를 가져와 유의하지 않은 결과를 유의한 것으로 잘못 결론지을 확률이 높아지게 된다.4) 이러한 틀린 통계 방법을 사용한 경우의 전반적인 특징을 보면, 대부분이 2군이나 3군의 비교에 대한 모수적 또는 비모수적 통계와 같은 간단한 통계와 관련되어 있다는 것이다. 다변량을 사용하는 회귀분석이나 로짓(logit) 분석, 생존분석과 같은 고등 통계를 사용한 경우에는 오류가 거의 없었으며, 이는 이러한 고등 통계로 분석하는 경우에는 통계 전문가의 도움을 받은 영향으로 추정된다. 그러나 이렇게 통계 전문가가 연구 자료 분석에 참여하는 경우라 할 지라도 임상 연구자와 분석자 상호간에 자료에 대한 충분한 이해와 의견교환이 없이는 항상 오류의 발생 가능성이 있음을 염두에 두어야 한다. 결과 제시상의 오류를 보면 통계분석 내용을 확대해석해서 결론을 잘못 유도하는 경우가 가장 많았는데, 대표적으로 2개 이상의 범주를 가진 변수의 분할표(R-by-C table)의 경우 두 변수간의 일반적인 관련성에 관한 Pearson's χ2-test를 사용한 후 용량반응관계(dose-response) 개념으로 결론을 유도하는 경우이다. Pearson's χ2-test는 각군에서의 반응률이 차이가 있느냐 없느냐와 같은 관련성을 말할 수 있는 독립성 검정일 뿐이며, 어느 변수가 증가하면 다른 변수도 증가한다는 식의 용량반응관계 개념을 위해서는 score test for trend 또는 likelihood ratio test for trend와 같은 경향분석법(test for trend)을 사용한 후 결론을 내려야 한다.12) 이외에도 통계를 사용하지 않고 기술적인 연구만 한 상태에서, 어떠한 경향이 있다는 식의 결론을 유도하는 경우도 관찰되었다. 적절한 통계 분석의 적용은 근본적으로 연구 목적을 얼마나 명확하게 세웠는가에서 출발하게 되며, 적절한 연구 설계와 비뚤림(bias)을 피할 수 있는 연구 방법의 적용은 통계 분석 못지않게 중요하다.2) 명확한 연구 설계 및 목적을 지니고 측정 항목을 결정하고, 이 측정 변수의 특성에 의거하여 통계 분석 방법을 결정해야 할 것이며, 적절한 가설 검정과 통계 분석을 한 후 이에 대한 올바른 해석을 내리고 타당한 결론을 도출해야 할 것이다. 따라서 통계 자문은 가능한 한 연구 설계 단계에서 받도록 하는 것이 가장 효과적이며, 후에 자료분석 시에도 연구자 스스로 분석할 계획이 있더라도 통계 방법의 적정성 등에 관해서는 적어도 한번의 자문을 받는 것이 필요할 것으로 판단된다. 이때 연구자와 분석자 상호간에 자료에 대한 충분한 이해와 의견 교환이 이루어져야 할 것이다. 특히 본 연구에서 나타난 통계 사용 빈도를 참고로 하여 흔히 사용되는 기본적인 통계적 기법을 연구자 스스로 숙지하는 것은 연구 논문들의 통계적 측면에서의 질을 향상시키는 가장 빠른 방법으로 생각된다. 또한 투고 논문의 심사 및 편집 과정에서 통계적 측면에 대한 적절한 감독과 비판이 필요하리라 생각되며, 통계 방법에 대한 명확한 편집 정책 및 지침, 편집인의 통계 방법에 대한 관심이 요구된다. 논문의 결과를 제시함에 있어서 통계 분석에 기초한 표준화된 지침을 마련하는 것도 한 방법이 될 수 있으며,13)14) 발표된 논문에 대해서도 본 연구에서와 같은 평가 과정을 꾸준히 지속하여 통계 사용 현황을 모니터 하는 것도 올바른 통계를 사용하는 데에 큰 도움이 될 것이다. 이러한 과정을 거침으로써 연구 결과의 객관성과 신뢰성을 확립할 수 있고, 그것이 주관이 아닌 증거에 기초한다는 주장을 할 수 있을 것이다. 결론 저자들은 대한이비인후과학회지에 발표된 논문에서 사용된 통계의 사용빈도, 방법의 적정성, 해석의 타당성 등을 분석하였으며, 이로부터 잘못 사용된 통계방법 및 그 해석상의 오류를 지적하였다. 오류의 대부분은 틀린 통계방법을 적용한 것이었으며, 또한 틀린 방법 중 대부분이 비교적 간단한 통계와 관련된 것이었다. 통계는 의학연구에 있어서 연구결과의 객관성과 신뢰성을 주장하기 위한 필수적 절차로서, 연구자와 통계 분석자 상호간의 충분한 의견교환, 그리고 논문의 심사 및 편집 과정에서의 이에 대한 적절한 비판과 지침이 필요하리라 생각된다.
REFERENCES
1) Rosenferd RM, Rockette HE. Biostatistics in Otolaryngology Journals. Arch Otolaryngol Head Neck Surg 1991;117:1172-6. 2) Goldin J, Zhu W, Sayre JW. A Review of the Statistical Analysis Used in Papers Published in Clinical Radiology and British Journal of Radiology. Clin Radiol 1996;51:47-50. 3) Emerson JD, Colditz GA. Use of Statistical Analysis in The New England Journal of Medicine. N Engl J Med 1983;309:709-13. 4) MacArthur RD, Jackson GG. An Evaluation of the Use of Statistical Methodology in the Journal of Infectious Diseases. J Infect Dis 1984;149:349-54. 5) Schlesselman JJ. Biostatistics in Epidemiology：A View from the Faultline. J Clin Epidemiol 1996;49:627-9. 6) Kim JH, Kim JS. Statistical Methods Used in the Journal of Korean Academy of Rehabilitation Medicine. J Korean Acad Rehab Med 1998;22:46-55. 7) Hokanson JA, Stiernberg CM, McCracken MS, Quinn FB. The Reporting of Statistical Techniques in Otolaryngology Journals. Arch Otolaryngol Head Neck Surg 1987;113:45-50. 8) Hokanson JA, Bryant SG, Gardner RG Jr, Luttman DJ, Guernsey BG, Bienkowski AC. Spectrum and Frequency of Use of Statistical Techniques in Psychiatric Journals. Am J Psychiatry 1986;143:1118-25. 9) Hokanson JA, Luttman DJ, Weiss GB. Frequency and Diversity of Use of Statistical Techniques in Oncology Journals. Cancer Treat Rep 1986;70:589-94. 10) Fromm BS, Snyder VL. Research Design and Statistical Procedures Used in the Journal of Family Practice. J Fam Pract 1986;23:564-6. 11) Dawson-Saunders B, Trapp RG. Basic and Clinical Biostatistics. 2nd ed. Norwalk, Connecticut: Appleton & Lange;1994. p.151-5. 12) Yoo KY. Categorical Data Analysis for Epidemiological Studies. 1st ed. Seoul: Seoul National University Press;1996. p.117-46. 13) Zelen M. Guidelines for Publishing Papers on Cancer Clinical Trials: Responsibilities of Editors and Authors. J Clin Oncol 1983;1:164-9. 14) Simon R, Wittes RE. Methodologic Guidelines for Reports of Clinical Trials. Cancer Treat Rep 1985;69:1-3.