Cara Kerja AI Denoising Audio: Deep Learning Dijelaskan

Penghapusan kebisingan audio yang didukung AI telah mengubah apa yang mungkin dalam pembersihan audio. Alat yang dulu memerlukan perangkat keras mahal dan keahlian teknis yang mendalam sekarang tersedia di browser, dan sering kali memberikan hasil yang mengungguli apa yang bahkan insinyur audio terampil dapat capai dengan alat tradisional. Tapi bagaimana cara kerjanya?

Masalah inti: memisahkan sinyal dari kebisingan

Penghapusan kebisingan audio pada dasarnya adalah masalah pemisahan sinyal. Diberikan rekaman berisik yang berisi ucapan dan kebisingan yang tidak diinginkan bercampur, tujuannya adalah memulihkan ucapan yang bersih. Secara matematis, ini dinyatakan sebagai:

sinyal berisik = ucapan bersih + kebisingan

Untuk memulihkan ucapan bersih, Anda perlu memperkirakan dan menghilangkan kebisingan. Tantangannya adalah ini tidak ditentukan: banyak kombinasi ucapan dan kebisingan yang mungkin menghasilkan sinyal berisik yang sama. Anda memerlukan informasi tambahan untuk membatasi solusi.

Pendekatan tradisional menggunakan model matematika kebisingan untuk membatasi masalah. Mereka bekerja cukup baik untuk kebisingan sederhana, stabil tetapi kesulitan dengan kebisingan kompleks yang berubah.

Pendekatan AI mengambil jalur yang berbeda: mereka belajar dari data.

Melatih model deep learning denoising

Jaringan neural untuk penghapusan kebisingan audio dilatih pada dataset besar contoh berpasangan:

• Rekaman ucapan bersih
• Rekaman yang sama dengan berbagai jenis kebisingan yang dicampur pada berbagai level

Tugas jaringan selama pelatihan adalah memprediksi ucapan bersih dari input berisik. Ini menyesuaikan parameter internalnya (bobot) untuk meminimalkan kesalahan antara prediksinya dan target ucapan bersih aktual.

Dengan data pelatihan yang cukup, biasanya ribuan jam audio dengan berbagai jenis kebisingan, identitas pembicara, dan kondisi perekaman, jaringan mempelajari model statistik yang kaya tentang bagaimana ucapan seharusnya terdengar. Ini mempelajari pola vokal dan konsonan, struktur temporal ucapan, dan karakteristik spektral yang membedakan ucapan dari kebisingan.

Setelah pelatihan, jaringan dapat menerapkan pengetahuan yang dipelajari ini ke rekaman baru yang belum pernah dilihatnya sebelumnya.

Cara kerja AI Noise Remover

Noise Remover menggunakan model AI yang dikembangkan khusus untuk peningkatan ucapan real-time. Desainnya membuat beberapa pilihan cerdas:

Pemrosesan dua tahap: AI memproses audio dalam dua tahap. Tahap pertama mengatasi komponen kebisingan bernada rendah (seperti gemuruh dan dengung) di mana pembersihan paling sulit. Tahap kedua menangani komponen bernada tinggi di mana detail ucapan dan kejelasan konsonan perlu dipertahankan.

Penyaringan cerdas: Daripada mencoba memprediksi secara langsung bagaimana audio bersih terdengar, AI memprediksi filter khusus untuk setiap momen audio. Pendekatan ini lebih baik dalam mempertahankan kualitas natural suara, yang berkontribusi pada output yang terdengar lebih natural.

Desain real-time: AI dirancang untuk penggunaan real-time, artinya hanya menggunakan audio dari masa lalu dan sekarang (bukan momen masa depan) saat memproses. Meskipun Noise Remover memproses file lengkap daripada streaming audio, pilihan desain ini mengurangi persyaratan memori dan menjaga semuanya tetap cepat.

Desain efisien: model dibangun untuk berjalan efisien pada prosesor biasa tanpa memerlukan kartu grafis khusus. Inilah yang membuat pemrosesan berbasis browser menjadi mungkin di perangkat keras konsumen.

Mengapa AI mengungguli pendekatan tradisional

Keunggulan kinerja deep learning atas pengurangan kebisingan tradisional berasal dari beberapa faktor:

Prior yang dipelajari: model telah menginternalisasi bagaimana ucapan “seharusnya” terdengar dari jutaan contoh pelatihan. Ketika menghadapi kebisingan, ia dapat merekonstruksi ucapan dengan lebih akurat karena ia tahu seperti apa targetnya.

Penanganan kebisingan non-stasioner: metode tradisional mengasumsikan kebisingan kira-kira stasioner (konstan dari waktu ke waktu). Kebisingan dunia nyata, lalu lintas, kerumunan, angin, AC yang berputar on dan off, adalah non-stasioner. Jaringan neural menangani ini secara alami karena mereka memproses setiap momen berdasarkan konteks audio saat ini, bukan profil kebisingan tetap.

Tidak ada konfigurasi pengguna: alat tradisional mengharuskan pengguna memilih sampel “profil kebisingan”. Alat AI bekerja secara otomatis, menghasilkan hasil yang konsisten tanpa intervensi manual.

Manajemen artefak: model AI dapat dilatih dengan metode penskoran yang secara spesifik menghukum artefak yang dapat dirasakan. Ini menghasilkan output yang terdengar natural untuk telinga manusia, bukan hanya output yang skor baik pada metrik teknis.

Peran metrik kualitas perseptual

Kualitas data pelatihan dan bagaimana Anda mengukur “output yang baik” secara signifikan memengaruhi kualitas yang dirasakan dari pengurangan kebisingan AI. Model yang dilatih hanya untuk meminimalkan kesalahan matematis cenderung menghasilkan output yang halus tetapi terlalu diproses. Pelatihan yang lebih canggih menggunakan pengukuran kualitas yang lebih cocok dengan cara manusia benar-benar merasakan kualitas audio, berfokus pada seberapa natural dan jelas hasilnya terdengar bagi pendengar nyata.

AI Noise Remover dievaluasi dan dilatih dengan beberapa metrik kualitas berbasis persepsi manusia, yang merupakan bagian dari mengapa outputnya mempertahankan naturalitas suara bahkan pada level pengurangan kebisingan yang agresif.

Keterbatasan denoising AI

Bahkan dengan semua keunggulan ini, denoising AI memiliki batasan:

• Rekaman yang sangat berisik: ketika kebisingan jauh lebih keras dari ucapan, bahkan model terbaik pun kesulitan memulihkan sinyal
• Audio yang sangat tidak biasa: suara yang tidak menyerupai data pelatihan (pemrosesan ekstrem, karakteristik vokal yang sangat tidak biasa) mungkin tidak mendapat manfaat sebanyak itu
• Musik dan audio non-ucapan: model yang dilatih untuk ucapan tidak dioptimalkan untuk musik, yang memiliki struktur spektral dan temporal yang berbeda
• Persyaratan komputasional: menjalankan inferensi memerlukan kerja CPU yang signifikan, yang merupakan alasan mengapa pemrosesan tidak instan

Masa depan pemrosesan audio AI

Bidang ini berkembang pesat. Model terus meningkat dalam kualitas sambil menjadi lebih cepat dan lebih kecil. Model multi-modal yang memahami konteks di seluruh video dan audio mulai muncul. Pembatalan kebisingan AI real-time sudah tersedia di headphone perangkat keras dan akan menjadi umum di perangkat komunikasi.

Untuk saat ini, Noise Remover membawa pembersihan audio AI yang kuat kepada siapa pun dengan browser web, gratis, dengan privasi audio yang lengkap.