スペクトルゲーティングとは？ノイズ低減の実際の仕組み
ノイズ除去ツールを使用すると、実際にオーディオに何が起こっているのでしょうか？答えには、過去数十年にわたって大きく進化した信号処理テクニックが含まれます。これらのテクニック（スペクトルゲーティング、スペクトル減算、およびそれらのモダンなAI置き換え）を理解することで、より効果的に使用し、その限界を理解するのに役立ちます。
オーディオを周波数に分解する：ノイズ低減が起こる場所
オーディオノイズ低減は、ほぼ常に生のオーディオ波形に直接ではなく、個々の周波数に音声を分解することで機能します。プリズムが白い光を虹に分割するように考えてください：ノイズ低減ツールは、音声を個別に扱うためにその構成周波数に分割します。
数学的プロセスは、短いオーディオスライスを、その瞬間に各周波数がどれだけ大きいかを示すチャートに分解します。これを録音全体で実行すると、スペクトログラムが得られます。これは、オーディオの周波数コンテンツが時間とともにどのように変化するかを示す視覚マップです。
ノイズ低減アルゴリズムは、この周波数分解を変更することで動作し、それを通常のオーディオに変換し直します。
スペクトル減算とは何か？
1970年代後半に開発されたスペクトル減算は、最も初期で最も影響力のあるノイズ低減アプローチの一つです。基本的なアイデアは単純です：
- ノイズスペクトルを推定する。通常、オーディオのノイズのみのセクション（「ノイズプロファイル」）から
- 各時間ステップで、推定ノイズスペクトルを全体的なオーディオスペクトルから減算する
- 変更されたスペクトルをオーディオに変換し直す
課題は推定ステップです。ノイズは決して完全に定常ではありません。時間とともに変化します。ノイズ推定のエラーはアーティファクトを生み出します。最も特徴的なアーティファクトは「ミュージカルノイズ」です。これは、減算推定が変動するにつれてスペクトル周辺を動き回る残存ノイズピークによって引き起こされる、揺らぐチャープのような質感です。
過度減算（減算推定よりも少し多く減算して残存ノイズを減らす）、スペクトルフローリング（スペクトルビンが低減されない最小レベルを設定する）、およびマルチバンドノイズ推定など、スペクトル減算のさまざまな改良が長年にわたって行われてきました。
スペクトルゲーティングとは何か？
スペクトルゲーティングは、各個別の周波数に音量しきい値を適用することでこの概念を拡張します。ノイズを減算するのではなく、スペクトルゲーティングは、特定の大きさレベルを下回る周波数を静かにしたり無音にしたりします。これは、静かな周波数はほとんどノイズであると仮定し、より大きいものは保持したい音を含むと仮定します。
各周波数にドアの番人がいると考えてください：周波数が十分に大きければ、通過します。静かすぎる場合、追い返されます。従来のノイズゲートは、全体のオーディオに1人の番人がいるようなものです。スペクトルゲーティングは、各周波数に別々の番人がいるようなものです。
利点は精度です：低ピッチのノイズを除去しながら低ピッチの音を保存したり、その逆ができたりします。欠点は、ノイズと音声が同じ周波数を同時に共有しないと仮定することです。これは、複雑で変化するノイズやノイズレベルが高い場合にはしばしば当てはまりません。
アーティファクト問題
スペクトル減算とスペクトルゲーティングの両方は、同じ根本的な問題に苦しみます：それらは不定問題を解決しようとします。ノイズ信号だけが与えられた場合、追加情報なしに信号をノイズから完全に分離する完璧な方法はありません。
これにより、特徴的なアーティファクトが生じます：
- ミュージカルノイズ：過度除去からのチャーピー、ワーブリング質感
- ぼかし：子音などの鋭く速い音の平滑化
- シビランス歪み：ノイズ周波数と重なる「s」や「sh」音への損傷
- こもった音：高周波であまりにも多くを除去することから
アーティファクトの程度は、ノイズ低減がどれだけ積極的に適用されるかに比例します。少量のスペクトル減算はしばしばクリーンに聞こえます。強く押すとアーティファクトが明らかになります。
AIがこれらのアプローチをどのように置き換えたか
Noise Removerで使用されるモダンなAIベースのノイズ低減は、根本的に異なるアプローチを取ります。ノイズを推定して減算するのではなく、ディープニューラルネットワークは、クリーンな音声がどのように聞こえるかを数百万のオーディオ例から学習します。推論時に、モデルはこの学習した知識を使用して、ノイズ入力からクリーンな音声を再構築します。
これは、「何を除去すべきか？」より「このオーディオはどのように聞こえるべきか？」を尋ねるようなものです。結果は、複雑で非定常ノイズや音声の自然さを保持するために劇的に良くなります。
Noise RemoverのAIは、低ピッチ成分（ランブルとハムが存在する場所）と高ピッチ成分（音声のディテールと子音が存在する場所）の両方を別々の処理ステップで扱うことで、ノイズの周波数依存性の性質を具体的に対処します。
実際にこれが重要な理由
スペクトルゲーティングとAIノイズ低減を理解することで、以下のことができます：
- いつどのツールを使用するかを知る：非常に軽度で安定したノイズには、単純な古い方法でも十分機能します。重要な録音の複雑なノイズには、AIツールが使用に値します。
- アーティファクトを診断する：ノイズ低減が「ミュージカル」または「チャーピー」に聞こえる場合、おそらく従来のツールを過度に使用しています。AIに切り替えるか、量を減らしてください。
- 期待を設定する：AIツールは魔法ではありません。音声がどのように聞こえるかを学習しているため機能しますが、非常に珍しい音（珍しいアクセント、ささやき音声、非音声オーディオ）は恩恵を受けにくい場合があります。
あなた自身の録音でAIベースのスペクトル処理がどのように聞こえるかを体験するために、Noise Removerを試してみてください。