Spectral Gating คืออะไร? การลดเสียงรบกวนทำงานอย่างไร
เมื่อคุณใช้เครื่องมือกำจัดเสียงรบกวน อะไรกำลังเกิดขึ้นจริงๆ กับเสียงของคุณ? คำตอบเกี่ยวข้องกับเทคนิคการประมวลผลสัญญาณที่พัฒนาขึ้นอย่างมากในช่วงไม่กี่ทศวรรษที่ผ่านมา การเข้าใจเทคนิคเหล่านี้ spectral gating, spectral subtraction และตัวแทน AI สมัยใหม่ของพวกเขา ช่วยให้คุณใช้พวกเขาได้อย่างมีประสิทธิภาพมากขึ้นและเข้าใจข้อจำกัดของพวกเขา
การแยกเสียงเป็นความถี่: ที่ที่การลดเสียงรบกวนเกิดขึ้น
การลดเสียงรบกวนเสียงเกือบทั้งหมดทำงานโดยการแยกเสียงเป็นความถี่แต่ละความถี่ แทนที่จะทำงานบนรูปคลื่นเสียงดิบโดยตรง นึกถึงมันเหมือนกับปริซึมที่แยกแสงสีขาวออกเป็นสายรุ้ง: เครื่องมือกำจัดเสียงรบกวนแยกเสียงเป็นส่วนประกอบความถี่เพื่อให้พวกเขาสามารถจัดการแต่ละอันต่างหากได้
กระบวนการทางคณิตศาสตร์แยกชิ้นส่วนเสียงสั้นๆ ออกเป็นแผนภูมิที่แสดงว่าความถี่แต่ละความถี่ดังเพียงใดในขณะนั้น รันมันทั่วทั้งการบันทึกและคุณจะได้สเปโกรแกรม แผนที่ภาพของว่าเนื้อหาความถี่ของเสียงเปลี่ยนแปลงตามเวลาอย่างไร
อัลกอริทึมการลดเสียงรบกวนทำงานโดยการแก้ไขการแบ่งความถี่นี้ จากนั้นแปลงกลับเป็นเสียงปกติ
Spectral Subtraction คืออะไร?
Spectral subtraction พัฒนาขึ้นในช่วงปลายปี 1970 เป็นหนึ่งในแนวทางการลดเสียงรบกวนที่เก่าแก่และมีอิทธิพลมากที่สุด ความคิดพื้นฐานนั้นง่าย:
- ประมาณการสเปกตรัมเสียงรบกวน โดยทั่วไปจากส่วนของเสียงที่มีเพียงเสียงรบกวน (“โปรไฟล์เสียงรบกวน”)
- ลบสเปกตรัมเสียงรบกวนที่ประมาณการออกจากสเปกตรัมเสียงโดยรวมที่แต่ละขั้นตอนเวลา
- แปลงสเปกตรัมที่แก้ไขกลับเป็นเสียง
ความท้าทายคือขั้นตอนการประมาณการ เสียงรบกวนไม่เคยคงที่อย่างสมบูรณ์ มันเปลี่ยนแปลงตามเวลา ข้อผิดพลาดใดๆ ในการประมาณการเสียงรบกวนส่งผลให้เกิดสิ่งประดิษฐ์ สิ่งประดิษฐ์ที่เป็นลักษณะที่สุดคือ “เสียงดนตรี” คุณภาพการเคลื่อนไหว ริ้วเล็กๆ ที่เกิดจากยอดส่วนตกค้างของเสียงรบกวนที่เคลื่อนที่ไปรอบสเปกตรัมเมื่อการประมาณการการลบแกว่งไปมา
การปรับปรุงที่หลากหลายต่อ spectral subtraction ได้จัดการกับสิ่งนี้ตลอดหลายปี รวมถึงการลบเกิน (การลบมากกว่าเสียงรบกวนที่ประมาณการเล็กน้อยเพื่อลดเสียงรบกวนส่วนตกค้าง) การปูพื้นสเปกตรัล (การตั้งระดับต่ำสุดที่ด้านล่างของซึ่งถังสเปกตรัมจะไม่ถูกลด) และการประมาณการเสียงรบกวนหลายแบนด์
Spectral Gating คืออะไร?
Spectral gating ขยายแนวคิดนี้โดยใช้เกณฑ์ระดับเสียงกับแต่ละความถี่แยกกัน แทนที่จะลบเสียงรบกวน spectral gating เงียบหรือปิดเสียงความถี่ที่ตกต่ำกว่าระดับความดงที่แน่นอน โดยสมมติว่าความถี่ที่เงียบเป็นเสียงรบกวนเป็นส่วนใหญ่ในขณะที่ความถี่ที่ดังกว่ามีเสียงที่คุณต้องการเก็บไว้
นึกถึงมันเหมือนกับผู้คุมประตูที่ประตูสำหรับทุกความถี่เดียว: หากความถี่ดังพอ มันจะผ่านไปได้ หากมันเงียบเกินไป มันจะถูกปฏิเสธ เกตเสียงรบกวนแบบดั้งเดิมเหมือนกับการมีผู้คุมประตูหนึ่งคนสำหรับเสียงทั้งหมด Spectral gating เหมือนกับการมีผู้คุมประตูแยกสำหรับแต่ละความถี่
ข้อได้เปรียบคือความแม่นยำ: เสียงรบกวนความถี่สูงสามารถถูกลบในขณะที่เสียงต่ำถูกรักษาไว้ หรือในทางกลับกัน ข้อเสียคือมันสมมติว่าเสียงรบกวนและเสียงพูดไม่เคยใช้ความถี่เดียวกันในเวลาเดียวกัน ซึ่งมักไม่ใช่กรณีกับเสียงรบกวนที่ซับซ้อน เปลี่ยนแปลง หรือเมื่อระดับเสียงรบกวนสูง
ปัญหาสิ่งประดิษฐ์
ทั้ง spectral subtraction และ spectral gating ประสบปัญหาพื้นฐานเดียวกัน: พวกเขาพยายามแก้ไขปัญหาที่ไม่สมบูรณ์ กำหนดเฉพาะสัญญาณที่มีเสียงรบกวน ไม่มีวิธีที่สมบูรณ์แบบที่จะแยกสัญญาณออกจากเสียงรบกวนโดยไม่มีข้อมูลเพิ่มเติมเกี่ยวกับสิ่งที่สัญญาณ “ควร” เสียง
สิ่งนี้นำไปสู่สิ่งประดิษฐ์ที่เป็นลักษณะ:
- เสียงดนตรี: คุณภาพ chirpy warbling จากการลบมากเกินไป
- การเบลอ: การปรับให้เรียบของเสียงคม เร็ว เช่นพยัญชนะ
- การบิดเบือนเสียงหึ่ง: ความเสียหายต่อเสียง “s” และ “sh” ที่ทับซ้อนกับความถี่เสียงรบกวน
- การมัฟเฟิล: จากการลบมากเกินไปที่ความถี่สูง
ระดับของสิ่งประดิษฐ์ขยายตามว่าการลดเสียงรบกวนถูกใช้อย่างไร การลบ spectral subtraction เล็กน้อยมักเสียงสะอาด ผลักดันอย่างหนักเพื่อเปิดเผยสิ่งประดิษฐ์
AI แทนที่วิธีการเหล่านี้อย่างไร
การลดเสียงรบกวนด้วย AI สมัยใหม่ ตามที่ใช้ใน Noise Remover ใช้วิธีการที่แตกต่างอย่างสิ้นเชิง แทนที่จะประมาณการเสียงรบกวนและลบมัน เครือข่ายประสาทเทียมเชิงลึกเรียนรู้จากตัวอย่างเสียงนับล้านว่าเสียงพูดที่สะอาดเสียงอย่างไร เวลาอินฟเฟอเรนซ์ โมเดลใช้ความรู้ที่เรียนรู้นี้เพื่อสร้างเสียงพูดที่สะอาดจากอินพุตที่มีเสียงรบกวน
สิ่งนี้เหมือนกับการถามว่า “เสียงนี้ควรเสียงอย่างไร?” มากกว่า “ฉันควรลบอะไร?” ผลลัพธ์ดีขึ้นอย่างมากสำหรับเสียงรบกวนที่ซับซ้อน ไม่คงที่ และสำหรับการรักษาความเป็นธรรมชาติของเสียงพูด
AI ของ Noise Remover จัดการกับลักษณะที่ขึ้นกับความถี่ของเสียงรบกวนโดยเฉพาะโดยจัดการทั้งส่วนประกอบต่ำ (ที่ที่เสียงครวญครางและเสียงหึ่งอยู่) และส่วนประกอบสูง (ที่ที่รายละเอียดเสียงพูดและพยัญชนะอยู่) ด้วยขั้นตอนการประมวลผลแยกกัน
ทำไมสิ่งนี้จึงมีความสำคัญในทางปฏิบัติ
การเข้าใจ spectral gating และ AI noise reduction ช่วยให้คุณ:
- รู้เมื่อใดควรใช้เครื่องมือใด: สำหรับเสียงรบกวนที่เบาและคงที่ แม้แต่วิธีการเก่าง่ายๆ ก็ทำงานได้ดี สำหรับเสียงรบกวนที่ซับซ้อนในการบันทึกที่สำคัญ เครื่องมือ AI คุ้มค่าที่จะใช้
- วินิจฉัยสิ่งประดิษฐ์: หากการลดเสียงรบกวนของคุณเสียง “เสียงดนตรี” หรือ “chirpy” คุณอาจกำลังใช้เครื่องมือแบบดั้งเดิมมากเกินไป เปลี่ยนเป็น AI หรือลดจำนวน
- ตั้งความคาดหวัง: เครื่องมือ AI ไม่ใช่เวทมนตร์ พวกเขาทำงานเพราะพวกเขาได้เรียนรู้ว่าเสียงพูดเสียงอย่างไร แต่เสียงที่ผิดปกติมาก (สำเนียงที่ผิดปกติ เสียงกระซิบ เสียงที่ไม่ใช่เสียงพูด) อาจไม่ได้รับประโยชน์มากนัก
ลองใช้ Noise Remover เพื่อฟังว่าการประมวลผลสเปกตรัล AI-based เสียงอย่างไรบนการบันทึกของคุณเอง