Как работи AI за премахване на шум от аудио: обяснение на дълбокото обучение

AI за премахване на шум от аудио промени това, което е възможно при почистването на звука. Инструменти, които някога изискваха скъп хардуер и дълбоки технически познания, сега са налични в браузър, и те често дават резултати, които превъзхождат това, което дори квалифицирани аудио инженери можеха да постигнат с традиционни инструменти. Но как всъщност работи това?

Основният проблем: отделяне на сигнал от шум

Премахването на шум от аудио е фундаментално проблем на разделяне на сигнали. Даден шумно запис, съдържащ и реч, и нежелан шум, смесени заедно, целта е да се възстанови чистата реч. Математически това се изразява като:

шумен сигнал = чиста реч + шум

За да възстановите чистата реч, трябва да оцените и премахнете шума. Предизвикателството е, че това е недоопределено: много възможни комбинации от реч и шум биха могли да произведат същия шумен сигнал. Нуждаете се от допълнителна информация, за да ограничите решението.

Традиционните подходи използват математически модели на шума, за да ограничат проблема. Те работят разумно добре за прост, постоянен шум, но се затрудняват със сложен, променящ се шум.

AI подходите избират различен път: те се учат от данни.

Обучение на модел за дълбоко обучение за премахване на шум

Невронна мрежа за премахване на шум от аудио се обучава на голям набор от данни с двойки примери:

• Чист запис на реч
• Същият запис с различни типове шум, смесени на различни нива

Задачата на мрежата по време на обучение е да предвиди чистата реч от шумния вход. Тя коригира вътрешните си параметри (тегла), за да минимизира грешката между нейните прогнози и действителните цели на чистата реч.

С достатъчно обучителни данни, обикновено хиляди часа аудио с разнообразни типове шум, идентичности на говорещи и условия на запис, мрежата научава богат статистически модел на това как звучи речта. Тя научава моделите на гласни и съгласни, времевата структура на речта и спектралните характеристики, които отличават речта от шума.

След обучение мрежата може да приложи това научено знание към нови записи, които никога не е виждала преди.

Как работи AI на Noise Remover

Noise Remover използва AI модел, разработен специално за подобрение на реч в реално време. Неговият дизайн прави няколко умни избора:

Двуетапна обработка: AI обработва аудио в два етапа. Първият етап адресира нискочестотните компоненти на шума (като гърмене и бръмчене), където почистването е най-трудно. Вторият етап обработва високочестотните компоненти, където трябва да запазите детайлите на речта и яснотата на съгласните.

Умна филтрация: Вместо да се опитва директно да предвиди как звучи чистото аудио, AI предвижда персонализиран филтър за всеки момент от аудиото. Този подход е по-добър при запазването на естествените качества на звука, което допринася за по-естествено звучащ изход.

Дизайн в реално време: AI е проектиран за използване в реално време, което означава, че използва само аудио от миналото и настоящето (а не бъдещи моменти) при обработка. Въпреки че Noise Remover обработва пълни файлове, а не стрийминг аудио, този дизайн избор намалява изискванията за памет и поддържа нещата бързи.

Ефективен дизайн: моделът е създаден да работи ефективно на обикновени процесори без изискване за специална графична карта. Това е, което прави браузър-базираната обработка осъществима на потребителски хардуер.

Защо AI превъзхожда традиционните подходи

Предимството в производителността на дълбокото обучение над традиционното намаляване на шума идва от няколко фактора:

Научени предварителни знания: моделът е вътрешно усвоил как речта “трябва” да звучи от милиони обучителни примери. Когато се сблъска с шум, може да реконструира речта по-точно, защото знае каква трябва да бъде целта.

Обработка на нестационарен шум: традиционните методи предполагат, че шумът е приблизително стационарен (постоянен във времето). Реалният шум — трафик, тълпи, вятър, климатик, който се включва и изключва циклично — е нестационарен. Невронните мрежи се справят с това естествено, защото обработват всеки момент въз основа на текущия аудио контекст, а не на фиксиран профил на шума.

Без потребителска конфигурация: традиционните инструменти изискват потребителят да избере проба “профил на шум”. AI инструментите работят автоматично, произвеждайки последователни резултати без ръчна намеса.

Управление на артефакти: AI моделите могат да бъдат обучени с методи за оценка, които специално наказват възприемливи артефакти. Това произвежда изход, който звучи естествено за човешки уши, а не просто изход, който се представя добре на технически метрики.

Ролята на метриките за качество на възприятието

Качеството на обучителните данни и как измервате “добър резултат” значително влияят на възприеманото качество на AI намаляването на шума. Моделите, обучени просто да минимизират математическата грешка, имат тенденция да произвеждат гладък, но преработен изход. По-сложното обучение използва измервания на качеството, които по-добре съвпадат с това, как хората всъщност възприемат аудио качеството, фокусирайки се върху това колко естествен и ясен звучи резултатът за реални слушатели.

AI на Noise Remover беше оценен и обучен с множество метрики за качество, базирани на човешко възприятие, което е част от причината, поради която неговият изход запазва естествеността на гласа дори при агресивни нива на намаляване на шума.

Ограничения на AI премахването на шума

Въпреки всички тези предимства, AI премахването на шума има граници:

• Много шумни записи: когато шумът е много по-силен от речта, дори най-добрите модели се затрудняват да възстановят сигнала
• Високо необичайно аудио: гласове, които не приличат на обучителните данни (екстремна обработка, много необичайни вокални характеристики), може да не извлекат същата полза
• Музика и неречево аудио: моделите, обучени за реч, не са оптимизирани за музика, която има различна спектрална и времева структура
• Изчислителни изисквания: изпълнението на инференция изисква значителна CPU работа, поради което обработката не е мигновена

Бъдещето на AI обработката на аудио

Областта се развива бързо. Моделите продължават да се подобряват в качество, като същевременно стават по-бързи и по-малки. Мултимодални модели, които разбират контекст през видео и аудио, започват да се появяват. AI премахване на шум в реално време вече е налично в хардуерни слушалки и ще стане обичайно в комуникационни устройства.

Засега Noise Remover носи мощно AI почистване на аудио на всеки с уеб браузър, безплатно, с пълна аудио поверителност.