AI Ses Gürültü Giderme Nasıl Çalışır: Derin Öğrenme Açıklandı

AI destekli ses gürültü giderme, ses temizliğinde mümkün olanları değiştirdi. Bir zamanlar pahalı donanım ve derin teknik uzmanlık gerektiren araçlar artık bir tarayıcıda mevcuttur ve genellikle yetenekli ses mühendislerinin bile geleneksel araçlarla başaramayacağı sonuçlar sunarlar. Ancak bu aslında nasıl çalışır?

Temel sorun: sinyali gürültüden ayırma

Ses gürültü giderme, temelde bir sinyal ayırma problemidir. Hem konuşma hem de istenmeyen gürültüyü içeren gürültülü bir kayıt verildiğinde, amaç temiz konuşmayı kurtarmaktır. Matematiksel olarak, şu şekilde ifade edilir:

gürültülü sinyal = temiz konuşma + gürültü

Temiz konuşmayı kurtarmak için, gürültüyü tahmin etmeniz ve çıkarmanız gerekir. Zorluk, bunun belirsiz olmasıdır: birçok olası konuşma ve gürültü kombinasyonu aynı gürültülü sinyali üretebilir. Çözümü sınırlamak için ek bilgiye ihtiyacınız vardır.

Geleneksel yaklaşımlar, problemi sınırlamak için gürültünün matematiksel modellerini kullanır. Basit, sabit gürültüde makul bir şekilde çalışırlar ancak karmaşık, değişen gürültüyle mücadele ederler.

AI yaklaşımları farklı bir yol izler: veriden öğrenirler.

Bir derin öğrenme gürültü giderme modelini eğitme

Ses gürültü giderme için bir sinir ağı, eşleştirilmiş örneklerin büyük bir veri kümesi üzerinde eğitilir:

• Temiz bir konuşma kaydı
• Çeşitli düzeylerde çeşitli gürültü türleriyle karıştırılmış aynı kayıt

Eğitim sırasında ağın işi, gürültülü girdiden temiz konuşmayı tahmin etmektir. Tahminleri ile gerçek temiz konuşma hedefleri arasındaki hatayı en aza indirmek için iç parametrelerini (ağırlıklarını) ayarlar.

Yeterli eğitim verisiyle, tipik olarak çeşitli gürültü türleri, konuşmacı kimlikleri ve kayıt koşullarıyla binlerce saatlik sesle, ağ konuşmanın nasıl ses çıkardığının zengin bir istatistiksel modelini öğrenir. Ünlü ve ünsüz seslerinin desenlerini, konuşmanın zamansal yapısını ve konuşmayı gürültüden ayıran spektral özellikleri öğrenir.

Eğitimden sonra, ağ bu öğrenilen bilgiyi daha önce hiç görmediği yeni kayıtlara uygulayabilir.

Noise Remover’ın AI’sı nasıl çalışır

Noise Remover, gerçek zamanlı konuşma geliştirme için özel olarak geliştirilmiş bir AI modeli kullanır. Tasarımı bazı akıllı seçimler yapar:

İki aşamalı işleme: AI, sesi iki aşamada işler. İlk aşama, temizlemenin en zor olduğu düşük perdeli gürültü bileşenlerini (homurdanma ve vızıltı gibi) ele alır. İkinci aşama, konuşma detayının ve ünsüz netliğinin korunması gerektiği yüksek perdeli bileşenleri işler.

Akıllı filtreleme: AI, temiz sesin nasıl duyulduğunu doğrudan tahmin etmeye çalışmak yerine, sesin her anı için özel bir filtre tahmin eder. Bu yaklaşım, sesin doğal özelliklerini korumada daha iyidir ve bu da daha doğal sesli çıktıya katkıda bulunur.

Gerçek zamanlı tasarım: AI, gerçek zamanlı kullanım için tasarlandı, yani işleme yaparken sadece geçmiş ve şimdiki zamandan ses kullanır (gelecek anlardan değil). Noise Remover akış sesi yerine tam dosyaları işlerken, bu tasarım seçimi bellek gereksinimlerini azaltır ve işleri hızlı tutar.

Verimli tasarım: model, özel bir grafik kartı gerektirmeden normal işlemcilerde verimli bir şekilde çalışacak şekilde oluşturulmuştur. Bu, tüketici donanımında tarayıcı tabanlı işlemeyi mümkün kılandır.

AI neden geleneksel yaklaşımlardan daha iyi performans gösterir

Derin öğrenmenin geleneksel gürültü azaltmaya göre performans avantajı birkaç faktörden gelir:

Öğrenilen öncüller: model, milyonlarca eğitim örneğinden konuşmanın “nasıl” olması gerektiğini içselleştirmiştir. Gürültüyle karşılaştığında, hedefin ne olması gerektiğini bildiği için konuşmayı daha doğru bir şekilde yeniden oluşturabilir.

Durağan olmayan gürültü işleme: geleneksel yöntemler, gürültünün yaklaşık olarak durağan olduğunu (zamanla sabit) varsayar. Gerçek dünya gürültüsü, trafik, kalabalık, rüzgar, açılıp kapanan klima, durağan değildir. Sinir ağları bunu doğal olarak işler çünkü her anı mevcut ses bağlamına göre, sabit bir gürültü profiline göre değil, işlerler.

Kullanıcı yapılandırması yok: geleneksel araçlar, kullanıcının bir “gürültü profili” örneği seçmesini gerektirir. AI araçları otomatik olarak çalışır, manuel müdahale olmadan tutarlı sonuçlar üretir.

Yapaylık yönetimi: AI modelleri, özellikle algılanabilir yapaylıkları cezalandıran puanlama yöntemleriyle eğitilebilir. Bu, teknik ölçümlerde iyi puan alan çıktıdan ziyade insan kulağına doğal gelen çıktı üretir.

Algısal kalite ölçümlerinin rolü

Eğitim verisi kalitesi ve “iyi çıktıyı” nasıl ölçtüğünüz, AI gürültü azaltmasının algılanan kalitesini önemli ölçüde etkiler. Sadece matematiksel hatayı en aza indirmek için eğitilen modeller, yumuşak ancak aşırı işlenmiş çıktı üretme eğilimindedir. Daha sofistike eğitim, insanların ses kalitesini gerçekte nasıl algıladıklarına daha iyi uyan kalite ölçümleri kullanır, gerçek dinleyicilere sonucun ne kadar doğal ve net geldiğine odaklanır.

Noise Remover’ın AI’sı, birden fazla insan algısına dayalı kalite ölçümü ile değerlendirildi ve eğitildi ve bu da agresif gürültü azaltma seviyelerinde bile çıktısının ses doğallığını korumasının bir parçasıdır.

AI gürültü giderme sınırlamaları

Tüm bu avantajlara rağmen, AI gürültü giderme sınırları vardır:

• Çok gürültülü kayıtlar: gürültü konuşmadan çok daha yüksek olduğunda, en iyi modeller bile sinyali kurtarmak için mücadele eder
• Son derece olaşmayan ses: eğitim verisine benzeymeyen sesler (aşırı işleme, çok olağandışı vokal özellikler) o kadar fayda görmeyebilir
• Müzik ve konuşma dışı ses: konuşma için eğitilmiş modeller, farklı spektral ve zamansal yapıya sahip müzik için optimize edilmemiştir
• Hesaplama gereksinimleri: çıkarım çalıştırmak önemli CPU çalışması gerektirir, bu yüzden işleme anlık değildir

AI ses işlemenin geleceği

Alan hızla ilerliyor. Modeller, daha hızlı ve daha küçük hale gelirken kalitede iyileşmeye devam ediyor. Video ve ses arasında bağlamı anlayan çok modlu modeller ortaya çıkmaya başlıyor. Gerçek zamanlı AI gürültü iptali zaten donanım kulaklıklarında mevcut ve iletişim cihazlarında yaygın hale gelecek.

Şimdilik, Noise Remover, güçlü AI ses temizliğini bir web tarayıcısı olan herkese, tam ses gizliliğiyle ücretsiz olarak getirir.