Address for correspondence : Min-Hyun Park, MD, Department of Otorhinolaryngology, Boramae Medical Center, Seoul National University-Seoul Metropolitan Government, 20 Boramae-ro 5-gil, Dongjak-gu, Seoul 156-707, Korea
Tel : +82-2-870-2443, Fax : +82-2-831-0714, E-mail : drpark@snu.ac.kr

   청각은 소리를 인지하는 능력이다. 소리를 구성하는 요소는 주파수, 크기, 시간으로 주파수와 크기가 시간에 따라 변하는 양상을 보인다. 따라서 시간은 청각에서도 매우 중요한 요소가 된다. 대부분의 소리는 시간의 흐름에 따라 가지고 있는 소리의 특징인 주파수와 크기가 변하며 크기와 높이가 같더라도 소리의 시간이 길어지게 되면 인지하는 능력 또한 변하는 모습을 보인다.¹⁾ 또한 시간에 따라 소리의 변화는 매우 중요한 정보를 전달하는데 어음, 문장 그리고 음악 등이 대표적인 예이다. 따라서 우리의 청각계가 가지고 있는 시간적 해상도(temporal resolution)와 시간적 통합(temporal integration) 능력이 얼마나 되는지를 아는 것은 중요하다. 시간 해상도는 시간에 따른 변화를 인지하는 능력을 의미한다. 흔히 시간에 따른 소리의 전체적인 외양(envelope) 변화를 인지하는 것과 관련이 있다. 시간적 통합능력은 시간 해상도와 달리 소리자극을 인지하는데 시간에 따라 들어오는 모든 정보를 통합하여 분석하는 능력을 의미한다. 이는 일반적으로 소리의 절대 역치와 크기와 관련이 있으며 또한 상대적으로 느린 소리의 외양 변화에서 음압의 빠른 변화(fine structure)를 인지하는 능력과도 관련되어 있다. 
   시간 해상도는 두 가지의 주된 분석 과정을 거치는데 하나는 각각의 주파수 채널 내에서의 시간에 따른 변화를 추적하는 것이고, 다른 하나는 이런 시간에 따른 변화를 각각의 주파수 채널간에 비교하는 것이다.²⁾ 시간 해상도를 측정할 수 있는 대표적인 검사는 간극 측정 검사(gap detection test)로 두 개의 자극음이 제시되고 그 사이의 짧은 소리가 없는 틈을 인지할 수 있는지를 검사한다. 청각계에서 시간 해상도를 측정하는 데 있어서 가장 어려운 점은 시간에 따른 변화가 대개는 주파수 범위의 변화를 동반한 경우가 많다는 것이다. 이는 시간에 따른 패턴의 변화를 인지하는 능력이 소리의 시간적 변화보다는 주파수 범위의 변화를 따른 경우가 많기 때문에 구분해야 한다는 것이다. 이를 해결하기 위해서 일반적으로 두 가지의 접근 방법을 사용한다. 하나는 자극음의 크기폭(magnitude spectrum)을 고정시키고 시간에 따른 형태를 변화시키는 것이고 다른 하나는 자극음의 크기폭은 시간에 따라 변하지만 추가적인 배경잡음(background sound)을 더해서 자극음의 변화를 차폐(masking)하는 방법이다. 
   저자는 본문에서 일반적으로 사용되는 시간적 해상도를 측정하는 방법인 간극역치 측정(gap detection threshold)과 시간적 변조 변환 함수(temporal modulation detection threshold)에 대해 알려진 방법과 결과를 소개하고자 한다. 

광대역 소리(Broadband Sound)를 이용한 시간해상도의 측정

광대역 소음(Broadband noise)에서 간극 측정(Gap detection)
   광대역 소음(broadband noise)에서 간극 측정 역치(gap detection threshold)를 측정하는 것은 쉽고 편리한 시간해상도 측정방법이다. 대개 두 가지 보기 중 한 가지를 강제 선택하게 하는 방법(two alterative forced choice, 2AFC)이 쓰인다. 피검자는 두 개의 연속적인 소리를 듣게 되고 이 중 하나는 무작위로 간극이 있는 소리가 된다. 이 두 가지 소리 중 간극이 있는 것을 찾아내게 된다. 많은 연구들에서 대개 이 방법에 의한 간극 측정값은 2~3 ms이다.³⁾ 역치는 소리 크기가 작아지면 증가하는 경향이 있으나 중간 정도의 소리 크기 이상인 경우는 그다지 많이 변하지 않는다. 

거꾸로 재생되는 소리신호의 구분(The discrimination of time-reversed signals)
   소리의 크기가 같을 때 소리가 거꾸로 재생되는 경우(time-reversed; played backwards in time)에 원래 소리와 구분할 수 있다면 이는 두 소리의 시간에 다른 변화를 인지할 수 있다는 의미이고 이는 시간 해상도를 측정하는 데 사용할 수 있다. Ronken의 실험에서 이를 알 수 있다. 소리 크기가 다른 두 개의 클릭(click)음을 들려주며(소리의 크기는 한 음은 다른 음의 소리 크기의 2배) 소리의 크기가 큰 음을 A, 작은 음을 B라고 하였을 때, 순서가 AB 혹은 BA인지를 구분하게 하였다. 이 실험에서 피검자들은 2~3 ms의 소리간격까지 구분할 수 있었으며 이는 광대역 소음을 이용한 실험 결과와 같았다. 이 실험에서 재미있는 것은 사람들은 소리의 간격을 느꼈다기보다 소리가 다르게 들리게 느꼈다는 것이다. 즉 AB는 tick, BA는 tock으로 듣고 구분할 수 있었다.⁴⁾
   Ronken의 실험은 이후에도 여러 사람에 의해서 되풀이 되었으나 비슷한 결과를 보여주었다. 하지만 Gaskell과 Henning⁵⁾은 아주 짧은 클릭음(20 μs)을 이용하였을 때 0.25 ms의 간격도 다르게 들린다고 보고하였으며 이 기전에 대해서는 아직 설명되지 않고 있다.

시간적 변조변환함수(Temporal modulation transfer function)
   위에 언급한 방법들은 간단하게 시간해상도를 측정하는 방법이었지만 보다 종합적으로 접근하여 측정하는 것은 소리의 크기가 빠르게 변하는 것을 느낄 수 있는지를 보는 방법이다. 간단한 방법으로 백색 잡음(white noise)을 사인양 진폭 변조(sinusoidal amplitude modulation)를 시행하여 변조 폭의 역치를 측정하고 변조 주파수(modulation rate)에 따라 함수 곡선을 구할 수 있다. 이를 시간적 변조변환함수(temporal modulation transfer function, TMTF)라고 한다. 역치값이 되는 세로축은 변조 진폭의 양을 로그로 치환한 값을 사용한다(20 log(m): m은 변조 진폭). 백색 잡음을 변조하는 경우 시간이 길어질 때 소리의 전체 크기는 변하지 않는다. Bacon과 Viemeister가 정상인을 대상으로 구한 TMTF를 보면 낮은 변조 주파수에서는 역치값이 시간적 해상도(temporal resolution)보다는 진폭 해상도(amplitude resolution)에 의해 결정되는 경향을 보인다. 하지만 변조 주파수가 16 Hz보다 커지면 시간적 해상도에 영향을 받기 시작하며 역치값이 증가하기 시작한다. 1,000 Hz 이상의 경우는 측정되지 않았다(Fig. 1). 따라서 진폭 변조(amplitude modulation)에 대한 민감도(sensitivity)는 변조 주파수가 증가함에 따라 감소하는 경향을 보였다.⁶⁾ 이런 TMTF의 모양은 소리의 크기나 사람에 따라 변하지 않았다. 하지만 소리의 크기가 작아지는 경우 변조 측정(modulation detection) 능력은 떨어지는 양상을 보였다. 또한 이런 TMTF의 모양은 소아에서나 성인에서나 같은 형태를 보였지만 민감도는 소아에서 떨어지는 양상을 보인다.⁷⁾

자극음의 크기가 같을 때 자극음 구분에 의한 시간적 해상도: 중심 주파수(Center Frequency)의 효과

   광대역 소음을 사용하는 경우 주파수에 따른 특성은 측정할 수 없다. 그래서 좁은 대역 밴드를 가지는 소음이나 톤음을 사용하여 그 음의 중심주파수(center frequency)에 따른 시간적 해상도를 측정하고자 하는 시도들이 있었다. 이런 좁은 대역이나 톤음을 사용하였을 때의 반응은 그 음의 중심 주파수에 대한 반응일 것으로 생각되기 때문이다. 일반적으로 시간적 해상도는 낮은 주파수에서 높은 주파수보다 나쁠 거라고 추정이 된다. 이는 시간 해상도가 청각 필터(auditory filter)의 반응시간에 따라 결정된다고 추정하기 때문이다. 두 개의 소리가 시간차이를 두고 들릴 때 각각의 소리는 청각필터에 의해 반응하게 되고 이는 그림과 같은 형태로 느껴지게 된다(Fig. 2).
   청각필터는 말초 청각계에 있는 것으로 우리가 알고 있는 tuning curve와 비슷한 개념이며 심리 음향학적(psychoacoustic) 방법을 통해서 얻어지는 일종의 band pass filter이다. 청각필터가 좁을수록 반응할 수 있는 시간은 길어지는데 낮은음은 높은음에 비해 좁은 필터를 가지고 있다(Fig. 3). 따라서 시간 해상도가 청각필터에 의해 결정이 된다면 낮은 주파수의 시간적 해상도는 높은 주파수에 비해 나쁠 것으로 추정이 된다. 
   Green은 거꾸로 재생되는 소리(time-reversed stimuli)를 이용하여 시간 해상도를 측정하였는데 사용한 소리 자극음은 클릭이 아닌 사인양 음(sinusoid)를 이용하였다. 각각의 자극음은 짧은 사인양 음을 이용하였고 자극음의 앞쪽 절반과 뒤쪽 절반의 소리크기를 10 dB의 차이를 두었다. 피검자들에게는 앞이나 뒤 어느 쪽의 소리가 큰지 물어보았다. Green은 이 실험에서 사인양 음의 주파수와 전체 자극음의 길이에 따라 반응이 어떻게 달라지는지 보았다. 그 결과 사인양 음의 중심주파수가 2~4 kHz일 때 소리 길이의 역치값이 1~2 ms의 범위를 보였다. 그리고 중심주파수가 1 kHz일 때 역치값은 2~4 ms로 길어졌다. 이 결과는 2 kHz 이상에서 청각필터가 큰 역할을 하지 않음을 보여주는 것이다. 또 이 실험에서 재미있는 것은 자극음의 길이가 16 ms일 때 가장 나쁜 결과를 보였다는 점이다.⁸⁾ 이는 16 ms 근처가 자극음의 주파수 특성이 가장 잘 나타나게 되어 다른 특성을 구분하기 어려움을 보여주는 것으로 이보다 짧거나 긴 음은 오히려 구분하기 쉬워짐을 알 수 있었다는 것이다. 

좁은 주파수폭 음(Narrowband Sound)을 이용한 시간적 해상도의 측정

소음 밴드에서 간극측정(Gap detection in bands of noise)
   소음 밴드에서 간극 측정은 소음이 가지고 있는 내재적 파동(inherent fluctuation)과 청각필터의 영향, 두 가지 요인에 의해 좌우된다. 이는 Fig. 4에서 보듯이 위쪽 그림은 10 ms의 간극을 가지고 있는 50 Hz와 500 Hz의 소음밴드를 보여주고 있으며 아래는 각각의 소음에 대한 청각필터를 거친 모습을 보여주고 있다. 소음의 내재적 파동은 특정 시간에서의 소음의 크기와 방향이 무작위적(random)인 성격을 가지기 때문에 나타난다. 소음을 사용할 때 전체 크기는 조절하더라도 특정 시간에서의 소음의 크기는 달라질 수 있으며 만일 간극 측정시 간극을 전후해서 이런 파동이 발생한다면 이는 결과에 영향을 줄 수 있다. 이를 보면 소음 밴드에서 내재적 파동이 간극 역치를 결정하는 하나의 요인이 될 수 있음을 보여준다.^9,10)
   소음 밴드 폭이 청각필터의 밴드 폭보다 작으면 소음 파동의 시간적 변화양상은 청각필터에 의해 영향을 받지 않는다. 필터 내에서 울리는 소리는 간극을 부분적으로 메우는 효과가 있지만 완전히 메우지는 못한다. 간극 역치는 일차적으로 소음의 내재적 파동에 의한 간극의 혼동에 영향을 받아 결정된다. 좁은 밴드 폭은 더 천천히 변하는 파동을 일으키고 더 큰 간극 역치를 유발한다. 따라서 간극 역치는 소음 밴드 폭이 커질수록 감소할 것으로 예상된다. 
   소음 밴드 폭이 청각필터의 밴드 폭보다 크게 되면 필터의 출력은 입력때보다 느려진 파동을 보인다. 간극을 단일 청각필터의 출력을 보면서 신뢰성 있게 측정하고자 할 때 필터의 출력에서 보이는 전형적인 감소폭(dip)보다 오래 관찰해야 한다. 이 상황은 입력되는 소음 밴드 폭보다 필터의 밴드 폭이 청각수행능력을 결정한다. 따라서 만일 피검자에서 단일 청각필터에 대해서만 검사한다면 필터효과로 간극 측정이 되지 않을 수 있다. 
   이런 생각을 기준으로 단일 청각필터에서 간극을 측정하면 낮은 중심 주파수에서 측정하는 것이 높은 중심 주파수에서 측정하는 것보다 나쁜 결과를 보일 것으로 추정할 수 있다. 왜냐하면 청각필터의 폭은 저주파수 대역에서 좁은 폭을 보이기 때문이다. 그리고 간극역치는 소음 밴드 폭이 커질수록 작아진다. 하지만 이 현상은 소음 밴드 폭이 가장 큰 청각필터의 크기보다 작을 때만 일치한다.
   사실 경험적 데이터는 예상하는 형태와 정확히 일치하지는 않는다. 좁은 밴드 폭의 소음으로 측정한 간극 역치는 소음 밴드 폭이 커질수록 작아진다. 하지만 이 값은 예상과는 달리 청각필터의 크기보다 소음 밴드 폭이 커져도 지속적으로 작아지는 현상을 보인다.¹¹⁾ 게다가 소음밴드의 폭을 고정시켰을 때, 중심 주파수가 간극 역치에 미치는 영향은 크지 않다.^9,12)
   이런 현상을 볼 때 피검자들은 단일 청각필터가 아닌 보다 많은 청각필터를 동원하여 시간적 간극을 측정하는 것으로 생각된다.^12,13)
   좁은 밴드 폭의 소음에 의한 간극 역치는 소리 크기가 증가함에 따라 감소하는 경향을 보인다. 하지만 청력 역치보다 30 dB 이상의 큰 소리에 간극 역치는 대략 일정한 값을 보인다.

사인양 음을 이용한 간극 측정
   Shailer와 Moore¹⁴⁾는 사인양 음을 사용하여 간극역치를 측정하였다. 사인양 음은 해당하는 주파수로 주파수 상 요철을 가지는 지속 소음으로 제시된다. 결과를 보면 사인양 음이 간극을 만들기 위해 시작되고 끝나는 점의 위상에 크게 영향을 받는다. 이 연구에서는 3가지 위상을 가지는 자극음이 사용되었는데 그 음의 형태는 Fig. 5와 같다. 모든 조건에서 자극음은 positive-going zero-crossing(위상이 음에서 양으로 향하다가 0이 되는 지점)에서 끝나도록 만들어졌다. 400 Hz의 주파수를 가지는 사인양 음을 사용하였다. 이 결과는 Fig. 6과 같은데 preserved-phase 조건에서 수행능력은 간극 기간(gap duration)이 길어질수록 좋아지는 것을 알 수 있다. 하지만 다른 두 조건에서는 단순하지 않은 양상을 보인다. Standard-phase 조건과 reversed-phase 조건에서는 한쪽이 쉬우면 반대쪽이 어려운 양상을 보이며 간극이 1.25 ms마다 쉽고 어려운 것이 되풀이 되는 것을 알 수 있다. Shailer와 Moore는 이를 청각필터의 울림(ringing)이라는 용어로 설명하고 있다. 이들의 설명은 Fig. 7과 같다. 이 그림에서 보면 standard-phase 조건에서 간극이 1.2 ms에서 3.7 ms로 변할 때 자극을 받는 청각필터의 출력을 보여주는 것이다. 만일 사인양 음이 간극이 시작할 때 끝나게 되면 필터는 지속적으로 반응을 하는 것과 같은 양상의 울림이 있는 것으로 느끼게 된다. 만일 간극이 2.5 ms이면 한 사인파형의 길이와 같게 되어 간극 측정이 매우 어렵게 느껴진다. 하지만 이 간극이 1.2 ms이거나 3.7 ms라면 위상 차이를 느낄 수 있어서 보다 쉽게 측정할 수 있게 된다. Preserved-phase에서는 gap 뒤에 따라오는 sinusoid는 항상 in phase이기 때문에 일정한 반응을 보이게 된다. Moore 등¹⁵⁾은 100, 200, 400, 800, 1,000, 2,000 Hz에서 preserved-phase를 이용했을 때 간극 역치는 400~2,000 Hz 사이에서는 거의 일정하다는 것을 보고하였고 그 값은 양 6~8 ms였다. 하지만 200 Hz에서는 그 값이 증가하였으며 100 Hz에서는 18 ms였다.
   결국 사인양 음을 이용한 간극 실험에서는 청각필터가 중요한 역할을 하는 것을 알 수 있으며 중심 주파수가 400 Hz 이상일 때는 큰 역할을 하지 못하고 일정한 값을 보임을 알 수 있었다. 

Temporal modulation transfer functions for sinusoidal carriers
   사인양 음을 이용해서 TMTFs를 측정하는 것은 복잡한 문제이다. 그 이유는 변조하는 과정이 주파수 부가폭(spectral sideband)을 만들기 때문이고 만일 변조 주파수가 중심 주파수와 많이 다른 경우는 이를 개별적으로 인지할 수 있지만 비슷하다면 구분하기 어렵게 되기 때문이다. 두 부분이 비슷한 경우 청각필터는 두 부분 중에서 높은 주파수를 주로 인지하게 되고 이는 대부분 운반(carrier) 주파수가 된다. 
   운반 주파수가 높으면 부가폭(sideband) 해상도의 효과는 변조 주파수만큼으로 작아진다. Kohlrausch 등¹⁶⁾의 연구에서 보면 이를 알 수 있는데 높은 운반 주파수를 가지는 경우 낮은 변조 주파수에서는 일정한 TMTF 값을 가지는 것을 알 수 있다. 이 부분은 변조 주파수에 무관하게 TMTF의 민감도를 나타낸다. 이후 역치값은 변조 주파수에 따라 증가함을 알 수 있으며 이는 시간 해상도의 한계를 보여주는 것으로 생각된다. 이 일정한 값은 100~120 Hz까지 지속되는데 이는 광대역 소음 운반주파수를 이용하여 측정한 TMTF 역치가 50~60 Hz까지 일정한 값을 보이는 것에 비해 더 높은 주파수까지 지속됨을 알 수 있다(Fig. 8). 이는 소음의 내재적 파동에 의해 변조를 탐지하는 능력이 제한되는 것으로 추정할 수 있다. 또한 TMTF 역치는 낮은 변조 주파수에서는 낮은 민감도를 보인다.¹⁷⁾ 
   저주파수의 변조 주파수에서 일정한 값을 보이다가 변조 주파수가 증가할수록 TMTF 값이 증가하다가 다시 감소하는 양상을 보이는데 운반 주파수가 커질수록 더 높은 변조 주파수까지 값이 증가하는 모습을 보인다. 이는 변조 주파수와 운반 주파수 간의 차이가 있어야 구분할 수 있을 것이라는 가정에 일치하는 결과이다. 

결     론

   정상 청력을 가진 사람들의 시간적 청각능력을 연구하는 것은 정상인의 어음인지도 및 음악 인지 능력에 대한 이해를 높일 수 있는 일이다. 이는 곧 청력소실이 동반되어 있는 사람들의 청각 능력이 정상인에 비해 얼마나 감소하여 있는지를 알아내는 방법이 되고 더 나아가서 감각 신경성 난청이 있는 사람들에게 어떤 방법을 통해 이런 시간적 청각능력의 회복을 도와줄 수 있는지를 연구할 수 있는 방법론이 될 것이다. 이비인후과 영역에서는 아직 많은 사람들이 관심을 가지고 있지 않지만 이러한 연구들이 와우이식 및 고도 감각 신경성 환자의 청각 재활에 도움을 줄 수 있을 것으로 생각된다.

1. Oishi N, Inoue Y, Hori A, Yakushimaru R, Kohno N, Ogawa K. Pure tone auditory thresholds can change according to duration of interrupted tones in patients with psychogenic hearing loss. Acta Otolaryngol 2011;131(6):628-32.

2. Moore BCJ. Cochlear hearing loss. West sussex: Wiley & Sons, Ltd.;2007. 

3. Penner MJ. Detection of temporal gaps in noise as a measure of the decay of auditory sensation. J Acoust Soc Am 1977;61(2):552-7.

4. Ronken DA. Monaural detection of a phase difference between clicks. J Acoust Soc Am 1970;47(4):1091-9.

5. Gaskell H, Henning GB. Forward and backward masking with brief impulsive stimuli. Hear Res 1999;129(1-2):92-100.

6. Bacon SP, Viemeister NF. Temporal modulation transfer functions in normal-hearing and hearing-impaired listeners. Audiology 1985;24(2):117-34.

7. Hall JW 3rd, Grose JH. Development of temporal resolution in children as measured by the temporal modulation transfer function. J Acoust Soc Am 1994;96(1):150-4.

8. Green DM. Temporal acuity as a function of frequency. J Acoust Soc Am 1973;54(2):373-9.

9. Shailer MJ, Moore BC. Detection of temporal gaps in bandlimited noise: effects of variations in bandwidth and signal-to-masker ratio. J Acoust Soc Am 1985;77(2):635-9.

10. Eddins DA, Green DM. Temporal integration and temporal resolution. In: Moore BCJ, editor. Hearing. San Diego, FL: Academic Press;1995.

11. Moore BCJ. An introduction to the psychology of hearing. Bingley: Emerald Group Publishing;2008. 

12. Eddins DA, Hall JW 3rd, Grose JH. The detection of temporal gaps as a function of frequency region and absolute noise bandwidth. J Acoust Soc Am 1992;91(2):1069-77.

13. Grose JH. Gap detection in multiple narrow bands of noise as a function of spectral configuration. J Acoust Soc Am 1991;90(6):3061-8.

14. Shailer MJ, Moore BC. Gap detection and the auditory filter: phase effects using sinusoidal stimuli. J Acoust Soc Am 1987;81(4):1110-7.

15. Moore BC, Peters RW, Glasberg BR. Detection of temporal gaps in sinusoids: effects of frequency and level. J Acoust Soc Am 1993;93(3):1563-70.

16. Kohlrausch A, Fassel R, Dau T. The influence of carrier level and frequency on modulation and beat-detection thresholds for sinusoidal carriers. J Acoust Soc Am 2000;108(2):723-34.

17. Dau T, Kollmeier B, Kohlrausch A. Modeling auditory processing of amplitude modulation. I. Detection and masking with narrow-band carriers. J Acoust Soc Am 1997;102(5 Pt 1):2892-905.