OSSのWebRTC SFU mediasoup v3のコードを読む（サーバー/C++後編）

RTC::WebRtcTransport

• DTLSのFingerprintやRoleなど、クライアントの接続情報をもらう
  • それによって、自身のDTLSの振る舞いを決める
  • `DtlsTransport::SetRemoteFingerprint()`
• その後、`WrbRtcTransport::MayRunDtlsTransport()`を実行
  • この裏でクライアントがオファーアンサーを済ませるはず
  • なので、程なくしてDTLSハンドシェイクや他の処理がはじまる
  • `DtlsTransport::Run()`へ

RTC::DtlsTransport

• `Run(role)`
  • そのRoleから判断して、必要あればDTLSハンドシェイクをする
  • ハンドシェイクが成功すると、SRTP用の鍵を取得できるはず
• そこまでいければDTLSのステータスが`connected`になる

そして`RTC/WebRtcTransport.cpp`へ戻る。

RTC::WebRtcTransport

• `WebRtcTransport::OnDtlsConnected()`
  • `RTC::SrtpSession`を用意
  • 送信用と受信用の2つ
• `RTC::Transport::Connected()`
  • RTCPのタイマーをスタート
  • 既に`Consumer`がいれば、キーフレームを要求する（親切）

ここまでくると、DTLS-SRTPのパスが通りサーバーとクライアントの間に`WebRtcTransport`が確立することになって、メディアの送受信の準備が整うことになる。

RTC::SrtpSession

• `libsrtp`を使っているらしく、コードはそんなにない
  • https://chromium.googlesource.com/chromium/deps/libsrtp/+/master/

これもまたあとでメディアを実際に送信するシーンで読むことになるかな？

RTC::Transport

• 新たに`Producer`のIDを払い出し、インスタンスを作成
  • `RTC::Producer`
• その`Producer`をRTPのリスナーとして追加
  • `RTC::RtpListener`
• 一部のRTPのヘッダ拡張をチェック

クライアントからメディアが送信されてくる処理なので、RTP関連の話になるというわけ。

RTC::Producer

• 担当する`kind`を指定される
  • audioかvideoか
• その他に渡されるRTPのパラメータの格納
  • コーデックとかヘッダとか
• ssrc/ridのチェック
• キーフレームの管理をするクラスの初期化

初期化でやってるのはそれくらいで、他に主要なメソッドとしては、

• `ReceiveRtpPacket()`
  • クライアントに紐づく`Producer`がRTPを受け取ったとき
  • RTPのストリームを構成するものとしてマーク
  • `Router`にそれを通知して、`Consumer`がいればそこに分配する
    • `RTC::Consumer::SendRtpPacket()`
• `GetRtcp()`
  • RTCPを送るために必要な情報を集める処理
• `ReceiveRtcpSenderReport()`
• `RequestKeyFrame()`
  • SSRCでもってキーフレームを要求する
• etc..

その他にもいろいろやってるけど、今回の記事ではあまり踏み込まないので割愛。

RTC::RtpListener

• `Transport`が抱えるリスナーであり、`Producer`のマップでもあるクラス
• ssrc/rid/midで`Producer`をそれぞれマッピングしてる

このへんの煩雑さがSFU実装の面倒ポイントの1つなのかなー。

クライアントからメディアを受信

ICEで解決されたポートに対して、UDPのパケットがいろいろ飛んできてるはず。

前編でみてた`WebRtcTransport`がその役割を担ってて、`WebRtcTransport::OnPacketRecv()`が根本。

• 各パケットのタイプを見る
• RTPの場合は`OnRtpDataRecv()`
• DTLS-SRTP、ICEのTupleなどセッションが有効かチェック
• SRTPをdecryptしてRTPを取り出し
• RTPのヘッダ拡張を必要あれば適用
• 送信元の`Producer`を特定
• その`Producer`にパケットを渡す
  • さっき見てた`ReceiveRtpPacket()`へ

RTC::SimpleConsumer / RTC::Consumer

継承関係にあるので、根本の`RTC::Consumer`から。

• 担当する`kind`の指定
• RTPのパラメータやエンコーディングなどのチェック
  • 基本的には`Producer`と同じ感じ

次に`RTC::SimpleConsumer`。

• `kind`によってRTCPのインターバルの指定を変更
• クライアントに流すようのRTPストリームを作成
  • `Router`が`Producer`から受け取ったRTPを流してくれるときに使う

主要なメソッドは、

• `SendRtpPacket()`
  • `Router`が`Producer`から受け取ったRTPを流してくれるときに呼ばれる
• `ProducerNewRtpStream()`
  • 対応する`Producer`を紐づけ
• `ReceiveNack()`
  • RTCPのNACKのパケットを受け取ったとき
• `ReceiveKeyFrameRequest()`
  • これをきっかけに`Producer`にキーフレームを要求する
• `ReceiveRtcpReceiverReport()`
• etc..

などなど、受信用だけあってそれ系のメソッドがいろいろある。

クライアントにメディアを送信

ICEのTupleにパケットを送っているところを探して、逆引きしてみた。
っても起点となるのは`Producer`側でメディアの送信なので、そこから追うだけ。

• `Producer::ReceiveRtpPacket()`
  • クライアントがメディアを送信してきた
• `Transport::OnProducerRtpPacketReceived()`
  • パケットを受けるのは`WebRtcTransport`なので、それを`Router`に分配
• `Router::OnTransportProducerRtpPacketReceived()`
  • `Router`はそのメディアを`consume()`してる`Consumer()`に分配
• `SimpleConsumer::SendRtpPacket()`
  • `Consumer`は受け取ったメディアをクライアントへ送信
• `Transport::OnConsumerSendRtpPacket()`
• `WebRtcTransport::SendRtpPacket()`
  • SRTPにencrypt
  • SRTPのセッションが有効化チェック

これですっきり。