Bagaimana AI Penyingkiran Hingar Audio Berfungsi: Deep Learning Dijelaskan

Penyingkiran hingar audio yang berkuasa AI telah mengubah apa yang mungkin dalam pembersihan audio. Alat yang dahulu memerlukan perkakas mahal dan kepakaran teknikal yang mendalam kini tersedia dalam pelayar, dan mereka sering menghantar keputusan yang mengungguli apa yang juga jurutera audio mahir boleh capai dengan alat tradisional. Tetapi bagaimana ia sebenarnya berfungsi?

Masalah teras: memisahkan isyarat daripada hingar

Penyingkiran hingar audio adalah pada dasarnya masalah pemisahan isyarat. Diberi rakaman berhingar yang mengandungi kedua-dua ucapan dan hingar yang tidak diingini bercampur, matlamatnya adalah untuk memulihkan ucapan yang bersih. Secara matematik, ini dinyatakan sebagai:

isyarat berhingar = ucapan bersih + hingar

Untuk memulihkan ucapan yang bersih, anda perlu menganggarkan dan menghilangkan hingar. Cabarannya adalah ini tidak tertentu: banyak kombinasi ucapan dan hingar yang mungkin menghasilkan isyarat berhingar yang sama. Anda memerlukan maklumat tambahan untuk mengehadkan penyelesaian.

Pendekatan tradisional menggunakan model matematik hingar untuk mengehadkan masalah. Mereka berfungsi agak baik untuk hingar mudah, stabil tetapi kesukaran dengan hingar kompleks yang berubah.

Pendekatan AI mengambil jalan yang berbeza: mereka belajar daripada data.

Melatih model deep learning denoising

Rangkaian neural untuk penyingkiran hingar audio dilatih pada set data besar contoh berpasangan:

• Rakaman ucapan yang bersih
• Rakaman yang sama dengan pelbagai jenis hingar yang dicampur pada pelbagai tahap

Tugas rangkaian semasa latihan adalah untuk meramal ucapan yang bersih daripada input berhingar. Ia menyesuaikan parameter dalaman (pemberat) untuk meminimumkan ralat antara ramalannya dan sasaran ucapan yang bersih sebenar.

Dengan data latihan yang mencukupi, biasanya beribu-ribu jam audio dengan pelbagai jenis hingar, identiti pembicara, dan keadaan rakaman, rangkaian mempelajari model statistik yang kaya tentang bagaimana seharusnya ucapan terdengar. Ia mempelajari corak vokal dan konsonan, struktur temporal ucapan, dan ciri spektral yang membezakan ucapan daripada hingar.

Selepas latihan, rangkaian boleh menggunakan pengetahuan yang dipelajari ini ke rakaman baharu yang tidak pernah dilihatnya sebelum.

Bagaimana AI Noise Remover berfungsi

Noise Remover menggunakan model AI yang dibangunkan khusus untuk penambahbaikan ucapan masa nyata. Reka bentuknya membuat beberapa pilihan bijak:

Pemprosesan dua peringkat: AI memproses audio dalam dua peringkat. Peringkat pertama mengatasi komponen hingar bernada rendah (seperti deruman dan dengung) di mana pembersihan paling sukar. Peringkat kedua mengendalikan komponen bernada tinggi di mana butiran ucapan dan kejelasan konsonan perlu dikekalkan.

Penapisan pintar: Daripada cuba meramal secara langsung bagaimana audio yang bersih kedengaran, AI meramal penapis tersuai untuk setiap momen audio. Pendekatan ini lebih baik dalam mengekalkan kualiti semula jadi bunyi, yang menyumbang kepada output yang kedengaran lebih semula jadi.

Reka bentuk masa nyata: AI direka untuk penggunaan masa nyata, bermakna ia hanya menggunakan audio daripada masa lalu dan semasa (bukan momen masa depan) apabila memproses. Walaupun Noise Remover memproses fail lengkap daripada audio penstriman, pilihan reka bentuk ini mengurangkan keperluan memori dan mengekalkan kelajuan.

Reka bentuk cekap: model dibina untuk berjalan cekap pada pemproses biasa tanpa memerlukan kad grafik khusus. Inilah yang menjadikan pemprosesan berasaskan pelayar mungkin pada perkakas pengguna.

Mengapa AI mengungguli pendekatan tradisional

Kelebihan prestasi deep learning ke atas pengurangan hingar tradisional datang daripada beberapa faktor:

Prior yang dipelajari: model telah menginternalisasi bagaimana seharusnya ucapan “kedengaran” daripada jutaan contoh latihan. Apabila menghadapi hingar, ia boleh membina semula ucapan dengan lebih tepat kerana ia tahu seperti apa sasaran itu.

Pengendalian hingar tidak pegun: kaedah tradisional menganggap hingar adalah kira-kira pegun (malar dari semasa ke semasa). Hingar dunia nyata, trafik, orang ramai, angin, penyaman udara yang berputar on dan off, adalah tidak pegun. Rangkaian neural mengendalikan ini secara semula jadi kerana mereka memproses setiap momen berdasarkan konteks audio semasa, bukan profil hingar tetap.

Tiada konfigurasi pengguna: alat tradisional mengharuskan pengguna memilih sampel “profil hingar”. Alat AI berfungsi secara automatik, menghasilkan keputusan yang konsisten tanpa campur tangan manual.

Pengurusan artifak: model AI boleh dilatih dengan kaedah penskoran yang secara khusus menghukum artifak yang boleh dirasai. Ini menghasilkan output yang kedengaran semula jadi kepada telinga manusia, bukan hanya output yang menjaring baik pada metrik teknikal.

Peranan metrik kualiti perseptual

Kualiti data latihan dan bagaimana anda mengukur “output yang baik” ketara mempengaruhi kualiti yang dirasai daripada pengurangan hingar AI. Model yang dilatih hanya untuk meminimumkan ralat matematik cenderung menghasilkan output yang licin tetapi terlalu diproses. Latihan yang lebih canggih menggunakan ukuran kualiti yang lebih sepadan dengan cara manusia sebenarnya merasai kualiti audio, memberi tumpuan kepada bagaimana hasilnya kedengaran semula jadi dan jelas kepada pendengar sebenar.

AI Noise Remover dinilai dan dilatih dengan pelbagai metrik kualiti berasaskan persepsi manusia, yang merupakan sebahagian daripada sebab mengapa output mengekalkan kealaman suara walaupun pada tahap pengurangan hingar yang agresif.

Had penyingkiran hingar AI

Walaupun dengan semua kelebihan ini, penyingkiran hingar AI mempunyai had:

• Rakaman yang sangat berhingar: apabila hingar jauh lebih kuat daripada ucapan, walaupun model terbaik juga kesukaran untuk memulihkan isyarat
• Audio yang sangat luar biasa: suara yang tidak menyerupai data latihan (pemprosesan melampau, ciri vokal yang sangat luar biasa) mungkin tidak mendapat manfaat sebanyak itu
• Muzik dan audio bukan ucapan: model yang dilatih untuk ucapan tidak dioptimumkan untuk muzik, yang mempunyai struktur spektral dan temporal yang berbeza
• Keperluan pengkomputeran: menjalankan inferensi memerlukan kerja CPU yang ketara, yang merupakan sebab mengapa pemprosesan tidak adalah serta-merta

Masa depan pemprosesan audio AI

Bidang ini sedang berkembang pesat. Model terus bertambah baik dalam kualiti sambil menjadi lebih pantas dan lebih kecil. Model multi-mod yang memahami konteks merentasi video dan audio mula muncul. Pembatalan hingar AI masa nyata sudah tersedia dalam fon kepala perkakas dan akan menjadi biasa dalam peranti komunikasi.

Buat masa ini, Noise Remover membawa pembersihan audio AI yang berkuasa kepada sesiapa sahaja dengan pelayar web, percuma, dengan privasi audio yang lengkap.