WebAudioでの音声信号処理 〜入門以前〜

音のデジタル化

• 音は空気の振動である
  • 糸電話的なイメージ
  • これはもちろんアナログ
• あの振動をデジタル化することで、プログラミングで音声処理できるようにする
  • このデジタル化をPCM(Pulse Code Modulation)という
  • PCMはデジタル化の方式のなかの1つで、他にもやり方はあるらしい
• WebAudioで扱える音声の生データもこのPCMデータ
  • リニアPCMというやつらしい

PCMデータ

• デジタル化して得られた生データ
  • 言わずもがなビット列
  • 端的には時系列に並ぶ音量の配列
  • プロットすると、いわゆる波形になる
• いつでもアナログにも戻せるし加工もできる
  • 無限のリソースでデジタル化できればいいけど、そうもいかない
• 元の音声にどれだけ近づけられるかのパラメータとしては2つある
  • サンプリングレート
  • 量子化ビット数
• プロットするとき、X/Y軸がより細かいほうが、よりなめらかに波形を再現できる
  • サンプリングレートは横軸の細かさ
  • 量子化ビット数は縦軸の細かさ
• どれくらいの頻度で、どれくらいの詳細度でサンプリングするかという話
• 得られたPCMデータの配列の1つが、1つのオーディオサンプルとなる

波形とPCMデータ

• PCMデータをプロットしていくと波形のグラフができた
  • Xは時間、Yは音量
• 波形はその形で音の性質が変わる
  • 間隔の狭く高い波 = 高周波 = 高い音
  • 間隔の広く低い波 = 低周波 = 低い音
• サンプリングレートが充分にある場合
  • どんな間隔の狭さでも、余すこと無く再現できる
  • つまり低周波から高周波まできっちり取れる
• 逆にレートが低い場合
  • 低い頻度では間隔の狭い波を取りこぼすことになる
  • なので低周波しかうまくデジタル化できない
  • 波の動きが細かくなる高周波が削られるから
• つまりサンプリングレートが低いと、高音域が取れない

PCMと周波数成分

• PCMの波形は、あらゆる高さの周波数があわさった最終形
  • あらゆる音の合算値である
• そしてPCMデータには音量の情報しかない
  • 定数的に計算して返すと音量が変わる
  • 定数的な計算であれば、波形のフォルムに変化はない（= 音質は変わらない）から
• 音質、つまりは周波数成分を変えるにはどうするのか
  • 音質を変えるためには、一律ではないダイナミックな処理で、波形の形状を変化させる必要がある
• たとえばローパスフィルター（高周波数帯をカットして、低周波のみ残す）
  • この場合、高周波の特徴である狭く高い波を、なだらかにできればよいということ
  • そのために、直前の値と移動平均を取るなどすればよい

フーリエ変換

• フーリエ変換という処理を介すことで、PCMデータから周波数成分を抜き出せる
  • 逆フーリエ変換で戻すこともできる
• なので周波数成分に変換してから処理をすることでも、音質は変えられる
  • ただし変換コストがかかる
• 波形が表すのは、そのサンプルにおいてのあらゆる周波数の合算値なので
  • そもそも8000Hzでサンプリングした音
  • より高いレートでサンプリングしてから、8000Hz以上の周波数成分を削った音
• この2つは微妙に違うはず（後者で巻き添えになって削られる8000Hz以下の音があるかも）

というわけで

次はWebAudio APIを使って音声処理を実際にやってくところについて書きます。