임계대역 [Critical Band]

임계 대역(Critical Band)원리는 미국 물리학자인 플레처(Harvey Fletcher)에 의해 1940년대에 발견되었다.
오늘날 임계 대역 원리는 인간의 청각 신호처리 연구 분야에서 가장 중대한 원리 중 하나로 인식되어
전기전자, MP3 코덱, 음향신호처리, 인공와우, 보청기 등 다양한 분야에 적용되고 있다.

임계대역이란 사람이 음과 음을 불편함 없이 구분할 수 있는 주파수의 범위와 경계를 말하며 이를 기준으로 가청음역대를 1/3옥타브 구조로 나누어 놓은 것이다.

출처 : https://horolo1214.blogspot.com/2019/08/critical-bands-in-human-hearing.html

음고 인지

위치 이론 [PLACE THEORY]과 주기 이론 [PERIODICITY THEORY]

"기저막의 청각유모세포들은 각각 고유한 진동수가 있어 주파수에 따라 반응한다"는 헬름홀츠의 공명 이론을 보완하여 1950년 베케시가 주장한 것이 주기 이론(Periodicity Theory)^[1]이다.

오늘날 청각 생리학의 위치 원리(Place Principle)나 공간 원리(Spatial Principle) 그리고 신경학의 토노토피 원리(Tonotopic Principle)로 발전하고 있다.

1940년대 이후 위치 이론만으로 설명될 수 없는 잔여 음고, 누락 기본음 같은 청각환영현상(Auditory Illusions)이 발견되었다.^[2]

위치 이론 [PLACE THEORY]

달팽이관의 와우저(Oval Window Base & Round Window, Base)쪽은 고음을 픽업하며 와우저에서 와우첨(Apax)으로 갈수록 낮은음을 픽업하도록 조율(Tuning)되어있다는 이론이다. 기저막의 청각유모세포 마다 음에 반응하는 주파수가 이미 정해져있으며 반응한 청각유모세포의 주파수를 음으로 인식하게 된다.

출처 : https://commons.wikimedia.org/wiki/File:1408_Frequency_Coding_in_The_Cochlea.jpg

우리가 음고를 인지함에 있어 서로 다른 주파수를 구별하여 지각할 수 있는 이유는 제8 뇌신경(청신경)을 따라 이동하는 신경 충동 패턴이 각각 다르기 때문이다.

뇌신경 12개의 모식도 구조

특정 주파수에 대해 특정 청각유모세포가 반응하는 베케시의 위치 이론 실험과 사례

기니피크를 대상으로 실험한 결과를 통해 알아보자.

수 시간 동안 높은 강도의 광대역 잡음(broad-band noise)을 제시한 결과 거의 모든 음들에 대한 청력 상실 증상을 보였다.

 

수 시간 동안 높은 강도의 협대역 잡음(narrow-band noise)을 제시한 결과, 대역 내의 음들에 대해서는 청력 손실 증상을 보인 반면 대역 밖의 음들에 대해서는 청력이 거의 정상이었다.

 

와우저쪽 고실계에 위치한 정원창(round window) 부위에 약물을 투입한 결과, 코르티 기관의 손상으로 인해 높은음들에 대한 역들만이 상승했다.

100dB 이상의 높은 강도로 2500Hz 음을 수 시간 제시하였더니, 해부 검사 결과 기저막 중간 부위(와우 두 번째 회전부)가 손상되었다.

100dB 이상의 높은 강도로 1200Hz 음을 수 시간 제시한 다음, 얼마 후 다시 1200Hz 음을 제시하였더니 아무런 반응도 없었습니다. 그러나 다른 음들에 대해서는 반응을 보였다.

송곳으로 와우의 특정 부위를 손상시킨 결과 특정 음에 대한 역만이 상승했으며, 저역(약 250Hz 이하의 저음)에서는 위치 이론이 적용되지 않는 것이 확인되었다.

고음 주파수가 기저막의 위치에 따라 구분되는 이유는 뇌의 뉴런(Neuron)은 고주파에 대해서는 반응하지 않기 때문이다.

저음 주파수는 위치에 따라 주파수를 구분하기에 충분할 만큼 변위가 정확하지 않으므로  초당 사이클 수를 초당 신경 충격파로 바꾸어 보내 저음 주파수를 인식하게 한다.

잔여 음고 [잔류 음고; RESIDUAL PITCH]

제 1 오버톤이 제거되거나 차폐된 자극임에도 불구하고 우리 귀에는 제 1 오버톤의 음고가 그대로 들리는 청각환영현상을 말한다.

정상배음

01.mp3

1.14MB

제1배음

02.mp3

1.14MB

제1배음을 뺐을 때

03.mp3

1.14MB

누락 기본음(MISSING FUNDAMENTAL)

소리의 배음 중 일부가 빠져도 사람은 그 배음을 모두 들었다고 생각하는 현상이다. 

기본 주파수 100Hz 와 고조파가 포함된 소리이다.

100-800Hz.mp3

0.46MB

기본 주파수와 첫 번째 오버톤을 뺐다.

300-800Hz.mp3

0.46MB

두 음원이 물리적으로 차이가 있어도 오버톤(Overtone)의 구조가 같다면 동일한 음색으로 인식한다.

예를 들면 전화 스피커 특성상 약 300Hz~4,000Hz 사이에서 음성을 재생한다. 남성의 목소리의 기본 주파수는 100㎐까지도 내려가는데 스피커에서 재생하지 못하는 영역임에도 불구하고 대부분의 사람들은 아이나 여성의 목소리와 혼동하지 않는다. 이것은 뇌의 토노토피 조직의 하모닉 탬플릿 매트릭스 구조에 의해 낮은 기본음을 스스로 뇌에서 발현하기 때문이다.

베케시는 1972년 그의 논문 <The Missing Fundamental and Periodicity Detection in Hearing>에서 잔여 음고 현상도 위치 이론으로 충분히 설명될 수 있는 현상이라고 하였으나, 같은 해 하우츠마와 골드스테인(Houtsma & Goldstein)의 실험 결과는 그렇지 않았다.

베케시의 위치 이론을 보완하기 위해 제시된 대표적인 이론들로는,

플롬프(Plomp, 1967)의 주기 이론(Periodicity Theory),

골드스테인(Goldstein, 1973)의 최적 처리기 이론(Optimal Processor Theory),

화잇먼(Wightman, 1973)의 패턴 변형 이론(Pattern Transformation),

테어하트(Terhardt, 1974)의 가상 음고 이론(Virtual Pitch Theory) 등이 있다.

이들은 근본적으로 베케시의 위치 이론에 대한 보완론으로서 제시된 것들이었지만, 그들 이론 내부에서 발견되는 자체적인 결함을 서로 보완하기 위해 제시된 이론들이기도 했다.

일제 폭발 이론 [발리; Volley Theory]

다음 실험을 보면 소리 자극에 대해 4개의 뉴런이 각각 나누어 반응하여 하나의 소리로 인지한다는 것을 발견하였다. 여러개의 뉴런의 합으로 저주파를 인식한다는 것이다.

출처 : https://en.wikipedia.org/wiki/Volley_theory

청각뉴런 그룹으로 고조파(Harmonic Distortion)가 전달되면 뉴런은 각각 하나의 주파수만 인식하고, 각 뉴런들의 정보를 주요 청각피질(Primary Auditory Cortex)에서 합하여 하나의 소리로 인식(Encording)한다는 것이다. 이것은 발리이론의 기초이다.

청각을 담당하는 뉴런은 뇌로 전달된 파동의 시간을 다른 파동의 특정 위상에 맞추는(Syncronization) 기능을 수행을 하는데 이것을 위상 동기(Phase-Locking)라 한다.

청각뉴런들은 이 위상동기로 고조파의 아래주파수(Subharmonic)를 표현한다는 것이다.

이것은 음고가 소리의 시간 구성요소에 기반함을 의미한다.

그러나 위상 동기는 약 1000Hz까지만 정확하기 때문에 발리 이론으로 우리가 듣는 모든 주파수를 설명 할 수는 없다.

오늘날 청각은 1000Hz 미만의 주파수에서는 발리 이론을 포함하여 주파수 이론의 규칙을 따르고

5000Hz 이상의 주파수에서는 주파수 이론을 배치하는 것으로 널리 알려져 있다. 주파수가 1000에서 5000Hz 사이 인 소리의 경우 두 이론이 작동하기 때문에 뇌가 기저막 위치와 임펄스 속도를 활용할 수 있다.

거시 청각 필터와 미시 청각 필터

거시청각필터

기저막의 Wave는 진동이 들어오는 고음부의 커브는 완만하고 중심 주파수 뒤로 저음 주파수의 커브는 경사각이 가파른 것이 특징이다.

달팽이관의 기저막 진동은 적정 강도 이상에서 이동파(traveling wave) 속성을 보이는데 이동파의 변위는 대략 1mm(1Bark), 음악적으로는 1/3~1/5 옥타브 정도 되며, 거시청각필터의 간극이다.

이동파 진동에서 가장 큰 진폭을 형성하는 기저막 지점에 위치한 청각유모세포들이 대표로 해당 주파수 정보를 처리하는데, 이때 처리된 주파수 정보는 기저막 상에서 일정 주파수폭 이상 거리가 떨어져 있는 다른 주파수 정보와는 서로 간섭하지 않는다.

그러나 일정 주파수폭 이내에 있는 주파수 정보와는 서로의 이동파 진동이 간섭(Interference)현상을 일으킨다.

이 간섭현상을 일으키기 시작하는 최소의 주파수 폭을 가리켜 임계 대역(critical band)이라 하며 중심 주파수를 인식하는데 필요한 반응 영역을 의미합니다.

청각 이론에서 임계 대역은 적정 강도 이상에서의 기저막 이동파 변위에 의해 형성되는 일종의 거시 청각 필터로 간주된다.

미시청각필터

거시 청각 필터와는 달리 청각에서의 미시 필터는 기저막 진동의 전체 변위가 아닌 기저막 파형의 미세구조와 밀접한 연관이 있다.
전통적인 청각 이론에서는 기저막의 거시 필터와 기저막 이동파 진동 변위에 준하는 임계 대역 개념에 중점을 두어 청각 연구가 진행되어 왔다.

그러나 1990년대 이후부터는 청각의 미시 필터에 대한 신경생리학적 연구가 기저막의 정재파 진동, 자발이음향방사(SOAE) 미세구조, 청력 역치 미세구조의 0.4 Bark(약 50Cent) 주기성 등 최근 들어 새로이 발견된 청각적 미세 현상들과 연계되어 진행되고 있다.

DL [DIFFERENCE LIMEN]과 최적 처리기[OPTIMAL PROCESSOR]

인간의 음고 식별 능력 측정에서 최소 감지 가능한 주파수 차이를 DL(difference limen, 차이식역) 혹은 JND( junst noticeable difference)라고 한다.

DL값 이란? 가낭 낮은음에서 가장 높은음에 이르기까지 구분할 수 있는 음높이의 개수를 말한다.

인간은 40dB 기준으로 대략 1,500개 정도의 DL값을 가지고 있다.

이로부터 우리는 하나의 DL 값이 발생하는 근거와 관련하여, 서로 다른 두 음이 기저막 위에 배열된 약 0.02mm 간격으로 인접해 있는 각기 다른 신경 섬유들을 자극한다는 사실을 알 수 있다. (0.02 mm×1500 = 30mm)

청신경 섬유의 90% 이상을 보유하고 있는 내유 모세포 수가 3500개, 그 배열 간격이 0.01~0.02mm 정도라는 사실로부터, 한 개의 청신경 섬유가 대략 한 두 개의 내유모세포와 연결되어 있다고 볼 수 있고, 그렇다면  두 개의 내유모세포가 한 개의 DL이라고 볼 수 있다.

Afferent and Efferent Innervation of the Organ of Corti / 출처 : 

한 음이 제시되었을 때 기저막의 진동은 그 음에만 반응하도록 조율된 특정 세포만이 아닌 인근 세포들로도 확산되며, 제시된 음의 강도가 높을 경우엔  기저막 전체 영역으로 확산된다.

그러므로 음이 제시되면  그 음에 대하여 최대 반응을 보이는 내유모세포 하나 (CF, characteristic frequency)를 포함해 그 주변의 다른 내유모세포들도 어느 정도 반응한다는 것이다.

그런데 이 경우 특정 세포만이 아닌 다른 세포들도 반응했다면 여러 음들이 동시에 들려야 하지 않을까?
이 부분은 골드스테인(Goldstein, 1973)의 최적 처리기(Optimal Processor) 이론으로 그 이유가 설명될 수 있다.

특정 음에 대해 CF(Characteristic Frequency) 신경세포와 더불어 다른 세포들이 반응했다고 무조건 음이 들리는 것이 아니고 음에 반응한 에너지가 뇌에까지 온전히 전달되어야만 한다.
이러한 과정 속에서 우리의 뇌가 가지는 중요한 기능 중 하나가 바로 최대 반응을 보인 신경세포의 전기 에너지만 특정 음고 정보로 처리한다는 것이다.

특히 기저막의 이동파는 실험적 환경에서의 달팽이관에서만 지배적으로 나타나는 현상일 뿐, 실제 활동 중인 인체의 달팽이관 내에서는 기저막 이동파보다 정재파가 지배적으로 나타나고  있다는 실험적 증거들이 꾸준히 제시되고 있다.

마스킹 효과 MASKING EFFECT

Complex Wave에서 그 진동을 구성하는 중심 주파수가 서로 가까이에 이웃하여 Critical Bandwidth가 서로 중첩되는 구역이 발생하게 되면서 나타나는 현상 중 하나이며 Loudness, Clarity (명료도)가  감쇠된다.

Masker Masking을 시키는 주체 ex) Noise
Maskee Masking 당하는 주체

Masking 현상을 이용해 Active Cochlea의 Critical Bandwidth를 찾아낼 수 있다.

저음보다는 고음에서 Masking이 더 잘 발생된다.

(a) : 중첩이 작으므로 Masking이 적다.

(b) : 같은 레벨일 때 저주파가 고주파를 Masking 한다.

(c) : B가 A를 거의 Masking 한다.

(d) : A가 B를 완전히 Masking하지 못한다.

우리의 뇌는 동시에 들리는 여러 소리 중 가장 큰 소리만을 인식한다.

또한 비슷한 크기의 소리가 있을 때에는 낮은 주파수의 소리를 더 잘 인식한다. 이는 mp3를 만드는 방법 중 중요한 요소이다.

이와 달리 시차적인 마스킹 역시 존재한다. 큰 소리를 들은 직후에는 그 소리보다 작은 소리들을 순간적으로 인식하지 못하는 것도 인간이 소리를 인식하는 특징 중 하나이다.

일상생활에서의 사운드 마스킹

TV를 보면서 선풍기를 켜면 TV의 소리가 잘 들리지 않는다. 선풍기의 모터 소리와 바람 소리가 방해하기 때문이다. 비가 오는 날은 조용하게 느껴진다. 빗소리가 다른 잡음을 잘 들리지 않게 하기 때문이다.

사운드 마스킹의 활용

의도적으로 대역 잡음을 발생시켜 다른 소리를 듣기 어렵게 만드는 방법이 사용되고 있다. 도청 방지나 약한 수준의 소음 제어가 대표적이다. 강한 수준의 소음 제어는 노이즈 캔슬레이션으로 대표될 수 있으며, 이를 사용할 경우 일반적인 대화조차도 불가능하게 하는 기술이 빠르게 발전하고 있다. 저렴하고 처리 속도가 빠른 디지털 신호 처리장치 DSP 프로세서를 이용해 실시간으로 발생하는 소리의 주파수와 크기를 측정해 그 역상(Reverse Phase)을 만드는 방법이다. 사운드 마스킹에 이용되는 대역 잡음은 화이트 노이즈 (White Noise)로 통칭되고 있지만, 엄밀하게는 화이트 노이즈, 핑크 노이즈 그 외에 우리의 음성 패턴에 부합하는 맞춤형 노이즈 등으로 분류할 수 있다.

---

[1] ``Music 175: Pitch'' by Tamara Smyth, Department of Music, University of California, San Diego (UCSD).

Music 175 Pitch.pdf

0.12MB

      http://musicweb.ucsd.edu/~trsmyth/pitch175/Periodicity_Theory.html

[2] https://en.wikipedia.org/wiki/Auditory_illusion

Pearson Education , Inc, Publishing as Benjamin Cummings; Hearing:Integragion and Problems-Sensory coding for pitch

※ 시그널 제네레이트 세션

Tone Maker Session-ReaperV5.rpp

0.01MB

[3] Minimal basilar membrane motion in low-frequency hearing; Rebecca L. Warren, Sripriya Ramamoorthy, Nikola Ciganović, Yuan Zhang, Teresa M. Wilson, Tracy Petrie, Ruikang K. Wang, Steven L. Jacques, Tobias Reichenbach, Alfred L. Nuttall, and Anders Fridberger; Edited by Christopher A. Shera, Massachusetts Eye and Ear Infirmary, Boston, MA, and accepted by Editorial Board Member Charles F. Stevens June 11, 2016 (received for review April 23, 2016)