스펙트럴 게이팅이란 무엇인가? 노이즈 감소의 실제 작동 방식
노이즈 제거 도구를 사용하면, 오디오에 실제로 무슨 일이 일어나고 있나요? 답은 지난 수십 년에 걸쳐 상당히 진화한 신호 처리 기법을 포함합니다. 이러한 기법, 스펙트럴 게이팅, 스펙트럴 감산, 그리고 그들의 현대적인 AI 대체품을 이해하면 더 효과적으로 사용하고 그 한계를 이해하는 데 도움이 됩니다.
오디오를 주파수로 분해하기: 노이즈 감소가 일어나는 곳
오디오 노이즈 감소는 거의 항상 원시 오디오 파형에 직접 작업하는 대신 개별 주파수로 소리를 분해하여 작동합니다. 프리즘이 백색광을 무지개로 분해하는 것처럼 생각하세요: 노이즈 감소 도구는 각각을 별도로 처리하기 위해 오디오를 구성 주파수로 분할합니다.
수학적 프로세스는 짧은 오디오 슬라이스를 해당 순간에 각 주파수가 얼마나 큰지를 보여주는 차트로 분해합니다. 전체 녹음에서 이것을 실행하면 스펙트로그램을 얻습니다. 이것은 오디오의 주파수 콘텐츠가 시간에 따라 어떻게 변하는지 보여주는 시각적 지도입니다.
노이즈 감소 알고리즘은 이 주파수 분해를 수정하여 다시 일반적인 오디오로 변환함으로써 작동합니다.
스펙트럴 감산이란 무엇인가?
1970년대 후반에 개발된 스펙트럴 감산은 가장 초기이자 가장 영향력 있는 노이즈 감소 접근 방식 중 하나입니다. 기본 아이디어는 간단합니다:
- 보통 소음만 있는 오디오의 구간(“노이즈 프로파일”)에서 노이즈 스펙트럼을 추정합니다
- 각 시간 단계에서 추정된 노이즈 스펙트럼을 전체적인 오디오 스펙트럼에서 빼냅니다
- 수정된 스펙트럼을 다시 오디오로 변환합니다
도전은 추정 단계입니다. 소음은 결코 완벽하게 정상적이지 않습니다. 시간에 따라 변합니다. 노이즈 추정의 모든 오류는 아티팩트를 만듭니다. 가장 특징적인 아티팩트는 “뮤지컬 노이즈”입니다. 이것은 감산 추정이 변동함에 따라 스펙트럼 주변을 이동하는 잔존 노이즈 피크로 인해 발생하는 흔들리며 새는 질감입니다.
스펙트럴 감산의 다양한 개선이 수년에 걸쳐 이루어졌습니다. 여기에는 과잉 감산(잔존 노이즈를 줄이기 위해 추정된 노이즈보다 약간 더 빼내는 것), 스펙트럴 플로어링(스펙트럼 빈이 감소되지 않는 최소 레벨을 설정하는 것), 및 멀티밴드 노이즈 추정이 포함됩니다.
스펙트럴 게이팅이란 무엇인가?
스펙트럴 게이팅은 각 개별 주파수에 볼륨 임계값을 적용하여 이 개념을 확장합니다. 소음을 빼는 대신, 스펙트럴 게이팅은 특정 크기 레벨 아래로 떨어지는 주파수를 조용히 하거나 무음으로 만듭니다. 조용한 주파수는 대부분 소음이고 더 큰 주파수는 보존하려는 소리를 포함한다고 가정합니다.
각 주파수마다 문 앞에 문지기가 있는 것처럼 생각하세요: 주파수가 충분히 크면 통과합니다. 너무 조용하면 거부당합니다. 전통적인 노이즈 게이트는 전체 오디오에 한 명의 문지기가 있는 것과 같습니다. 스펙트럴 게이팅은 각 주파수에 별도의 문지기가 있는 것과 같습니다.
장점은 정밀성입니다: 고주파 소음은 저주파 소리가 보존되는 동안 제거될 수 있거나 그 반대도 가능합니다. 단점은 소음과 음성이 동시에 같은 주파수를 공유하지 않는다고 가정한다는 것입니다. 이것은 복잡하고 변화하는 소음이나 소음 수준이 높을 때 종종 사실이 아닙니다.
아티팩트 문제
스펙트럴 감산과 스펙트럴 게이팅 모두 동일한 근본적인 문제를 겪습니다: 그들은 부족하게 결정된 문제를 해결하려고 합니다. 소음이 있는 신호만 주어지면, 신호가 “어떻게 들려야 하는지”에 대한 추가 정보 없이 신호를 소음에서 완벽하게 분리할 방법이 없습니다.
이것은 특징적인 아티팩트를 만듭니다:
- 뮤지컬 노이즈: 과도한 제거로부터의 새면서 전쟁하는 질감
- 흐림: 자음 같은 날카롭고 빠른 소리의 평활화
- 치찰음 왜곡: 소음 주파수와 겹치는 “s”와 “sh” 소리의 손상
- 답답함: 고주파에서 너무 많이 제거함으로부터
아티팩트의 정도는 노이즈 감소가 얼마나 공격적으로 적용되는지에 비례합니다. 약간의 스펙트럴 감산은 종종 깨끗하게 들립니다. 강하게 밀면 아티팩트가 드러납니다.
AI가 이러한 접근 방식을 어떻게 대체했는가
Noise Remover에서 사용되는 현대적인 AI 기반 노이즈 감소는 근본적으로 다른 접근 방식을 취합니다. 소음을 추정하여 빼는 대신, 딥 뉴럴 네트워크는 수백만 개의 오디오 예제에서 깨끗한 음성이 어떻게 들리는지 학습합니다. 추론 시, 모델은 이 학습된 지식을 사용하여 노이즈 입력에서 깨끗한 음성을 재구성합니다.
이것은 “무엇을 빼야 하는가?”보다 “이 오디오는 어떻게 들려야 하는가?”를 묻는 것과 더 비슷합니다. 결과는 복잡하고 비정상적인 소음과 음성 자연스러움을 보존하는 데 극적으로 더 낫습니다.
Noise Remover의 AI는 저주파 성분(럼블과 험이 존재하는 곳)과 고주파 성분(음성 디테일과 자음이 존재하는 곳)을 별도의 처리 단계로 처리함으로써 노이즈의 주파수 종속적 특성을 구체적으로 다룹니다.
실제로 이것이 중요한 이유
스펙트럴 게이팅과 AI 노이즈 감소를 이해하면 다음을 할 수 있습니다:
- 어떤 도구를 언제 사용할지 알기: 매우 가벼운 안정적인 소음의 경우, 심지어 단순한 오래된 방법도 충분히 작동합니다. 중요한 녹음의 복잡한 소음의 경우, AI 도구를 사용할 가치가 있습니다.
- 아티팩트 진단하기: 노이즈 감소가 “뮤지컬” 또는 “새는” 것처럼 들리면, 아마도 기존 도구를 과도하게 사용하고 있는 것입니다. AI로 전환하거나 양을 줄이세요.
- 기대 설정하기: AI 도구는 마법이 아닙니다. 음성이 어떻게 들리는지 학습했기 때문에 작동하지만, 매우 특이한 소리(특이한 악센트, 속삭이는 음성, 비음성 오디오)는 덜 혜택을 받을 수 있습니다.
당신 자신의 녹음에서 AI 기반 스펙트럴 처리가 어떻게 들리는지 경험하기 위해 Noise Remover를 시도해 보세요.