Analysis of Facial Motion Using Digitized Images.

Yoo, Young Sam

Korean Journal of Otorhinolaryngology-Head and Neck Surgery > Volume 41(2); 1998 > Article

Original Article

Korean Journal of Otorhinolaryngology-Head and Neck Surgery 1998;41(2): 179-182.

Analysis of Facial Motion Using Digitized Images.

Young Sam Yoo

Department of Otolaryngology, College of Medicine, Inje University, Sanggye Paik Hospital, Seoul, Korea.

영상을 이용한 안면 운동 분석 방법

유영삼

인제대학교 의과대학 상계백병원 이비인후과학교실

주제어: 안면운동ㆍ영상분석ㆍ픽셀ㆍ역치처리.

ABSTRACT

BACKGROUND AND OBJECTIVES:
Many tools are available for the evaluation of facial motion. They run the gamut from the gross scale proposed by House and May, the regional scale preferred by Adour and Yanagihara and the personal computers used by Neely and Isono. However, more objective and accurate tools of evaluation are still in need. With the aim of establishing a simple, objective evaluation method of facial motion, we devised a computerized image-difference analysis system.
MATERIALS AND METHODS:
Facial motions of 14 normal volunteers were analyzed utilizing the computerized image-difference analysis system. Techniques such as image capturing, subtraction and thresholding were used to anlayze resting, smiling and eyeclosing motions of face.
RESULTS:
The subtracted image of a resting-face from an eye-closing face showed a greater movement in the eye area than in the mouth area. The subtracted image of a resting-face from a smiling face showed a greater movement in the mouth area than in the eye area. But there were no statistical differences between the right and the left side of the face of the same subject(p<0.05).
CONCLUSION:
It is possible to use the image analysis system to access facial motion of subjects with or without the normal facial motion.

Keywords: Facial motionㆍImage analysis system

서론 안면의 모습과 움직임은 오래 전부터 의사들이 관심을 갖고 연구하던 분야이다. 특히 안면 마비는 미용상으로나 기능적으로나 여러 가지 불편한 점들을 유발하여 의사들이 관심을 갖고 있는 질환이다. 따라서 안면 마비의 정도를 판정하는 방법은 환자의 치료 방법을 결정하거나 예후를 판정함에 있어서 중요하기에 많은 연구가 있어 왔다. 안면 마비의 정도를 판정하는 방법으로는 안면전체의 운동을 평가하는 gross scale인 May1)나 House와 Brackmann2)이 발표한 방법과 객관적인 점수화를 시도한 Adour3)나 Yanagihara4)의 regional scale이 있고 Neely등5)의 컴퓨터를 이용한 영상 분석 방법 등이 있다. 저자는 Neely등5)이 발표한 동적 영상 분석 방법 중 일부 방법을 활용하여 정적인 영상 분석 방법으로 단순화시켰고 이를 바탕으로 안면 마비가 없는 정상인의 안면 운동을 분석하는 기본 연구를 시도하였다. 대상 및 방법 안면 마비의 병력이 없는 성인 14명(남 7, 여 7, 평균연령 25.4세)을 대상으로 하였다. 사용 기자재는 IBM PC(Pentium-100, RAM 32 MB), Capture board(Matrox, Canada), S/W(Inspector, Matrox, Canada), CCD camera(WV-CP410, Panasonic, Japan), Video Tape recorder(SV-S200, Samsung, Korea), Halogen light source(100Watts), 피검자의 머리를 움직이지 않도록 고정할 머리 받침대 등을 특별히 고안하였다. 피검자들은 머리 고정 장치가 된 의자에 편안히 앉히고 조명과 카메라를 조정하여 얼굴의 정면 영상이 나오도록 하였다. 피검자들은 편안한 표정, 눈을 꽉 감은 표정, 이이하고 웃는 표정을 각각 3초이상 짓도록 하여 각각의 표정을 지을 때마다 비디오 녹화를 하고 각각의 표정중 가장 세게 잘 나오는 표정을 지을 때 컴퓨터를 이용한 capture(영상획득)를 하여 각각의 영상을 256 gray scale의 흑백영상파일로 저장하였다. 영상분석 soft ware인 inspector를 이용하여 앞서 언급한 피검자들의 3가지 표정을 다음과 같이 처리하였다. 피검자의 편안한 표정을 나타낸 영상에서 눈 영역은 hair line에서 base of columella를 포함하는 직사각형으로, 입 영역은 base of columella에서 chin을 포함하는 직사각형으로 정의하고 피검자별로 눈과 입 영역을 우측과 좌측으로 각각 설정하였다(Fig. 1). 눈을 꽉 감은 영상에서 편안한 표정을 뺀(subtraction처리) 영상을 저장하였고, 이이하고 웃는 표정에서 편안한 표정을 뺀 영상을 저장하였다. 영상 자료를 이용하여 물체의 움직임을 분석 시 subtraction 과정을 거친 영상 자료를 이용하는데 subtraction후의 영상자료는 0에서 255의 gray scale을 갖는 검정 혹은 하얀 픽셀로 나타난다. 이 영상자료에서 움직인 것으로 인정할 수 있는 픽셀 값을 128로 설정하여 역치(threshold)로 삼았다. 이를 기준으로 영상 자료에서 gray number 128이하는 gray number를 0으로, gray number 128보다 크면 gray number 255를 부여하였다. 영상 자료의 해석 시 255로 처리된 픽셀(하얀 픽셀)만을 표정을 지을 때 움직인 픽셀로 해석하기로 하였다.6) 눈을 꽉 감은 영상에서 편안한 표정을 뺀(subtraction처리) 영상을 역치 처리한 자료를 TE(thresholded image of eye closure), 이이하고 웃는 표정에서 편안한 표정을 뺀 영상을 역치처리한 자료를 TS(thresholded image of smile)로 약하기로 하였다. 이와 같은 역치처리 과정을 거친 영상자료는 검정 혹은 하얀 픽셀로만 영상이 구성되어 있고 농담(density)이 회색조를 띄는 부위가 없다(Fig. 2). 각각의 피검자에서 만든 영상 자료인 TE와 TS를 이용하여 앞서 정의된 4개 영역인 우측 눈 영역, 좌측 눈 영역, 우측 입 영역, 좌측 입 영역별로 각 영역의 전체 면적을 픽셀로 계산하고 각 영역 별로 gray number가 255로 나오는 픽셀수(하얀색 픽셀수)를 계산한 후 각 영역별로 하얀색 픽셀수가 각 영역의 총 픽셀수에서 차지하는 비율을 계산하였다. 이를 바탕으로 좌우의 차이를 Wilcoxon-U-Mann Whitney Rank Sum Test를 이용하여 검증하였고 이를 각각 눈과 입 영역 별로 검증하였다. 결과 눈을 꽉 감은 표정과 편안한 표정의 차이를 역치 처리 한 자료 TE에서는 눈 영역의 움직임이 입 영역보다 더 크게 나타났고 눈 영역에서 우측의 움직임은 2.629±0.627% 좌측의 움직임은 2.647±0.607%이었고 입 영역에서 우측의 움직임은 0.325±0.148% 좌측의 움직임은 0.417±0.195 %로 눈영역과 입 영역 모두 좌우의 통계적으로 유의한 차이가 없었다(p>0.05)(Table 1). 이이하고 웃는 표정과 편안한 표정의 차이를 역치 처리한 자료 TS에서는 입 영역의 움직임이 눈영역보다 크게 나타났고 눈영역에서 우측의 움직임은 0.659±0.135% 좌측의 움직임은 0.637±0.120% 이었고 입 영역에서 우측의 움직임은 1.214±0.257% 좌측의 움직임은 1.361±0.299%로 눈영역과 입 영역 모두 좌우의 통계적으로 유의한 차이가 없었다(p>0.05)(Table 2). 고찰 안면 운동의 정도를 표시하기 위하여 많은 연구가 있었는데 그 중 May1)는 안면운동을 10가지 동작으로 분류하여 각각을 3등급으로 점수화하여 안면운동을 0%에서 100%로 나타내는 방법을 제안하였고 House와 Brackmann2)은 6 등급으로 안면운동을 나타내는 방법을 고안하였다. 또 Yanagihara등3)은 안면의 10가지 움직을 각각 5등과 3등급으로 표시하는 방법을 제안하였고 Adour와 Swanson4)은 얼굴을 눈, 이마, 입의 움직임을 중심으로 5등급으로 나누어 평가하였다. 상기 방법들은 안면 운동을 전체적으로 혹은 부분적으로 평가하는 방법들로 단독으로 사용할 수는 없고 다른 검사 방법과 병행하여 사용될 때만 유용하다고 하겠다. Neely등5)은 안면 운동 분석 시스템을 개발하였는데 동적인 안면 운동의 분석을 위주로 하였고 결과를 픽셀(pixel)로 표시한 후 픽셀 변화의 그래프에서 얻은 기울기와 면적 등으로 분석을 하였다. 저자들은 얼굴 영상에서의 픽셀 변화를 이용하여 결과를 수치 데이타로 나타내는 방법을 고안하였다. 즉 보고자 하는 영역(눈 영역이나 입 영역)을 설정하여 표정을 지었을 때 변하는 픽셀 양이 보고자 하는 영역 전체 면적에서 차지하는 백분율을 구하여 정상인을 대상으로 그 변화를 분석하여 동일한 피검자에서는 좌측 안면과 우측안면 간에는 유의한 차이가 없음을 알게 되어 좌와 우의 안면은 서로 비슷한 정도로 움직여서 균형있는 모습을 유지함을 확인할 수 있었고 이는 Neely등5)의 동적인 안면 운동 분석과는 달리, 가장 힘있게 지은 상태의 표정을 이용하여 분석하는 정적인 안면 운동 분석이라 할 수 있다. 안면 마비 환자의 자료를 분석 시 안면 좌우의 픽셀 변화 수치를 그대로 이용하여 자료로 제시할 수도 있겠으나 ENoG와 같은 계산 방법으로, 건측 안면의 픽셀 변화치를 분모로 하고 환측 안면의 픽셀 변화치를 분자로 한 백분율로 표시하면 ENoG와 같이 백분율이 환자의 안면 운동 기능을 평가할 수 있는 변수로 활용될 수도 있겠으나 실험적으로 충분한 검토가 필요하다. 이 결과를 ENoG와 동시에 비교하고 병의 진행에 따라 경과를 관찰한다면 의미있는 연구가 되리라 생각한다. 안면 마비의 안면 운동을 분석하는 도중 synkinesis에 의해 의도하지 않는 부위의 움직임이 나올 수 있는데 이는 눈과 입과 이마 영역의 움직임을 가장 잘 나타내는 표정을 짓도록하여 그 영역만을 분석하고 전체적인 표정은 자연스러운 표정(face in resting state)을 대상으로 전체적인 표정을 검사하고 다른 임상 검사와 종합적으로 본다면 판단상 오류를 줄일 수 있으리라 생각한다. Isono등7)은 안면의 관심 부위별로 작은 원형 종이를 붙여 표정을 짓게하여 표정을 지을 때 각각의 원형 종이로 형성된 점이 움직이는 거리를 컴퓨터 프로그램을 이용하여 측정한 후 움직인 거리의 합계를 구하여 마비의 정도를 백분율로 표시하여 분석에 이용하였다. 이는 subtraction후 생성된 영상을 이용하여 움직인 거리를 측정하는 간단한 방법으로 손으로 일일이 측정하는 것보다는 정확하고 안면 움직임의 전체적인 평가할 수 있다 하겠다. Neely등8)은 컴퓨터를 이용한 안면 운동 분석 시스템을 이용하여 검사의 신빙성, 반복성 등을 검증한 바 있고 저자의 연구에서도 이 점을 보완할 필요성이 있다. Holman등9)은 동일한 시스템의 분석 능력을 검사하고자 안면 마비라는 개념을 모르는 일반인으로 하여금 다양한 안면 마비 환자의 안면 사진들을 보여준 후 안면 운동의 정도에 관하여 등급을 메기게 한 후 그 결과를 안면 운동 분석 시스템의 분석 결과와 비교하여 사람과 컴퓨터의 능력이 비슷함을 보고하였다. Neely등10)은 House-Brackmann grad-ing system을 이용한 등급과 대비하여 그들이 개발한 등급 체계가 안면 운동을 분석함에 있어 객관적으로 활용될 수 있음을 제시하였다. Moran과 Neely11)는 synkinesis를 일으키는 안면 운동을 컴퓨터를 이용한 안면 운동분석 시스템을 이용하여 분석하여 그 발생 기전이 aberrant fiber regeneration hypothesis이외의 다른 것일지도 모른다는 언급을 하였으나 이는 다각도로 검증해야 할 것이다. 저자의 연구에 역치를 선정함에 있어서 전기적인 잡음을 없앨 수 있는 128을 기준으로 삼았으나 향후 연구에서 잡음을 줄이는 방법을 찾고 역치의 재설정에 관한 추가 연구가 필요할 것으로 생각된다. 본 연구에서 눈을 꽉 감은 표정과 이이하고 웃는 표정을 각각 편안한 표정에서 뺀 결과를 분석하면 안면의 우측과 좌측의 영상 자료간에 통계적으로 유의한 차이가 없었다. 이로써 정상인의 경우 안면 좌우의 움직임은 유사함을 의미하고 정상인을 대상으로 한 자료를 활용하면 안면 운동 분석이 가능하리라 생각하고 나아가 안면 마비 환자에 적용할 수 있는 기본자료로 삼을 수 있으리라 생각한다. 본 시스템은 기존 컴퓨터 이외에 추가 장비가 필요하지만 앞으로 영상캡쳐보드(capture board)와 영상 분석용 소프트웨어만 있으면 사용이 가능한 장비로 발전시키고자 한다. 결론 저자들은 영상자료를 컴퓨터로 처리하여 정상인의 안면 운동을 분석하여 좌측과 우측의 움직임이 유사함을 확인하였고 본 방법은 안면 마비 환자의 안면 운동 분석에 적용할 수 있으리라 사료된다.
REFERENCES
1) May M. Facial paralysis, peripheral type: A proposed method of reporting (Emphasis on diagnosis and prognosis, as well as electrical and chorda tympani nerve testing). Laryngoscope 1970;80:331-90. 2) House JW, Brackmann DE. Facial nerve grading system. Otolaryngol Head Neck Surg 1985;93:146-7. 3) Adour KK, Swanson PJ. Facial paralysis in 403 consecutive patients with Bell’s palsy. Trans Am Acad Ophthalmol Otolaryngol 1971;75:1284-301. 4) Yanagihara N, et al. On standardised documentation of facial palsy. Journal of Otorhinolaryngological Society of Japan 1977;80:799-805. 5) Neely JG, Cheung JY, Wood M, Byers J, Rogerson A. Computerized quantitative dynamic analysis of facial motion in the paralyzed and synkinetic face. Am J Otol 1992;13:97-107. 6) Data translation. Global lab image SP0550 (Image processing and ana-lysis software for Microsoft Windows);1995. 7) Isono M, Murata K, Kawamoto M, Azuma H. An objective evaluation method of facial mimic motion. Otolaryngol Head Neck Surg 1996;114:27-31. 8) Neely JG, Jekel JF, Cheung JY. Variations in maximum amplitude of facial expressions between and within normal subjects. Otolaryngol Head Neck Surg 1994;110:60-3. 9) Holman ML, Neely JG, Joaquin AH. Computer-assisted clinimetric tool for the study of facial expression: A pilot validity study. Laryngoscope 1996;106:135-8. 10) Neely JG, Joaquin AH, Kohn LA, Cheung JY. Quantitative assessment of the variation within grades of facial paralysis. Laryngoscope 1996;106:438-42. 11) Moran CJ, Neely JG. Patterns of facial nerve synkinesis. Laryngoscope 1996;106:1491-6.