Що таке спектральне брамування? Як насправді працює зменшення шуму

Коли ви використовуєте інструмент для видалення шуму, що насправді відбувається з вашим аудіо? Відповідь включає техніки обробки сигналів, що значно еволюціонували за останні кілька десятиліть. Розуміння цих технік — спектральне брамування, спектральне віднімання та їх сучасні AI замінники — допомагає вам використовувати їх ефективніше та розуміти їх обмеження.

Розбивка аудіо на частоти: де відбувається зменшення шуму

Зменшення аудіо шуму майже завжди працює, розбиваючи звук на його індивідуальні частоти, а не працюючи безпосередньо на сирій аудіо формі хвилі. Думайте про це як про призму, що розколює біле світло в веселку: інструменти зменшення шуму розколюють аудіо на його складові частоти, щоб могли обробляти кожну окремо.

Математичний процес розбиває короткі слайси аудіо в діаграму, що показує, наскільки гучна кожна частота в цей момент. Запустіть це через весь запис і отримаєте спектрограму — візуальну карту того, як частотний вміст аудіо змінюється з часом.

Алгоритми зменшення шуму працюють, модифікуючи цей частотний розподіл, потім конвертуючи його назад в нормальне аудіо.

Що таке спектральне віднімання?

Спектральне віднімання, розроблене в кінці 1970-х, є одним із найраніших та найвпливовіших підходів до зменшення шуму. Базова ідея проста:

1. Оцініть спектр шуму, зазвичай з фрагмента аудіо, де присутній лише шум (“профіль шуму”)
2. Відніміть оцінений спектр шуму від загального аудіо спектру на кожному часовому кроці
3. Конвертуйте модифікований спектр назад в аудіо

Виклик полягає в кроці оцінки. Шум ніколи не є ідеально стаціонарним. Він змінюється з часом. Будь-яка помилка в оцінці шуму призводить до артефактів. Найхарактерніший артефакт — це “музичний шум” — плаваюче, цвірінькуюче якість, спричинене залишковими шумовими піками, що рухаються навколо спектру, коли оцінка віднімання коливається.

Різні вдосконалення спектрального віднімання адресували це протягом років, включаючи надвіднімання (віднімання трохи більше, ніж оцінений шум для зменшення залишкового шуму), спектральне підлогове обмеження (встановлення мінімального рівня, нижче якого спектральні біни не зменшуються) та багатосмугову оцінку шуму.

Що таке спектральне брамування?

Спектральне брамування розширює цю концепцію, застосовуючи поріг гучності до кожної індивідуальної частоти. Замість віднімання шуму, спектральне брамування глушить або вимикає частоти, що падають нижче певного рівня гучності, припускаючи, що тихі частоти переважно є шумом, тоді як голосніші містять звук, який ви хочете зберегти.

Думайте про це як про вибивалу біля дверей для кожної окремої частоти: якщо частота достатньо голосна, вона проходить. Якщо вона занадто тиха, вона відхиляється. Традиційна шумова брама — це як мати одного вибивалу для всього аудіо. Спектральне брамування — це як мати окремого вибивалу для кожної частоти.

Перевага — точність: високочастотний шум може бути видалений, зберігаючи низькочастотні звуки, або навпаки. Недолік полягає в тому, що він припускає, що шум і мова ніколи не мають спільної частоти одночасно, що часто не так для складного, змінного шуму або коли рівні шуму високі.

Проблема артефактів

І спектральне віднімання, і спектральне брамування страждають від тієї ж фундаментальної проблеми: вони намагаються вирішити недоозначену проблему. Маючи лише зашумлений сигнал, немає ідеального способу відокремити сигнал від шуму без додаткової інформації про те, як сигнал “повинен” звучати.

Це призводить до характерних артефактів:

• Музичний шум: цвірінькуюче, виттяваюче якість від надмірного видалення
• Розмивання: згладжування гострих, швидких звуків, як приголосні
• Спотворення сибілянтів: пошкодження звуків “с” та “ш”, що перекривають шумові частоти
• Приглушення: від видалення занадто багато на високих частотах

Ступінь артефактів масштабується з тим, наскільки агресивно застосовується зменшення шуму. Невелика кількість спектрального віднімання часто звучить чисто. Натискання його сильно розкриває артефакти.

Як AI замінив ці підходи

Сучасне AI зменшення шуму, як використовується в Noise Remover, обирає фундаментально інший підхід. Замість оцінки шуму та його віднімання, глибока нейронна мережа навчається на мільйонах аудіо прикладів, як звучить чиста мова. Під час інференсу модель використовує це навчене знання для реконструкції чистої мови із зашумленого входу.

Це більше схоже на запитання “як це аудіо повинно звучати?” ніж “що я повинен видалити?” Результати драматично кращі для складного, нестаціонарного шуму та для збереження природності мови.

AI Noise Remover специфічно адресує частотно-залежну природу шуму, обробляючи як низькочастотні компоненти (де живуть гуркіт та гудіння), так і високочастотні компоненти (де живуть деталі мови та сибілянти) окремими кроками обробки.

Чому це має практичне значення

Розуміння спектрального брамування та AI зменшення шуму допомагає вам:

• Знати, коли використовувати який інструмент: для дуже легкого, постійного шуму, навіть прості старіші методи працюють добре. Для складного шуму у важливих записах, AI інструменти варті використання.
• Діагностувати артефакти: якщо ваше зменшення шуму звучить “музично” або “цвірінькуюче”, ви, ймовірно, використовуєте традиційний інструмент занадто агресивно. Перейдіть на AI або зменшіть кількість.
• Встановлювати очікування: AI інструменти не є магією. Вони працюють, тому що навчилися, як звучить мова, але високо незвичайні звуки (незвичайні акценти, шепітна мова, немовне аудіо) можуть не отримати такої ж користі.

Спробуйте Noise Remover, щоб почути, як звучить AI-засноване спектральне оброблення на ваших власних записах.