WebRTC Meetup Tokyo #12 に行ってきたメモ #webrtcjp

Janus

• https://github.com/meetecho/janus-gateway
  • Janus（ヤヌス）はローマ神話に出てくる前後に顔がある扉の神
• プラガブルに作られてて、コアはWebRTCスタックのみ
  • JSEP/SDP、ICE、DataCh、etc
• HTTP / WebSockets / MQTTなど複数のTCPで動くプラグインがある
  • なので作ればJSONでJanusとやりとりもできる
• ブラウザ <-> (Janus Core = プラグイン) <-> 各プラットフォーム
  • jsのAPI: https://janus.conf.meetecho.com/docs/JS.html
• プラグインでできること
  • EchoTest
  • Streaming(RTP)
  • Recording
  • TextChat(w/ DataChannel)
  • などなど: https://janus.conf.meetecho.com/demos.html
• AdminAPIってのがある
  • サーバーのスペック見たり
  • デバッグ用に設定変更とかできる
  • 非同期にイベント投げる機能はWIP
• 負荷テストのためのJattack（Janus Attack）
  • WebSocketでPeerConnectionを作って使う
  • WIPやけど使えるよ
• 利用事例も結構あるよ
  • 基本的なテレカンもあれば
  • まさかのドローンを動かしたりも
  • Sqiwiggleでの商用利用
  • https://beam.pro/
  • Slackの音声通話で動いてるのもJanus

今後の予定

• WebRTCスタックのアップデート
  • 再ネゴシエーション
  • Multiストリーム
• Events API
• Jattackの改善もしていきたい

なんで？

• Android / iOSはソフトウェアエンコードなので、酷使すると落ちる
  • なにより安い
• 実例は多い
• 1. Janus x [gstreamer](https://gstreamer.freedesktop.org/)
  • H.264のハードウェアエンコードが効く！
  • まとめて制御するするために要Pythonスクリプト
• 2. OpenWebRTC
  • v0.0.4以降、消息が不明
• 3. UV4L
  • VP8使える
  • なので熱暴走・・
  • ただしクローズドソース
• どれを使うべきか
  • どれも一長一短で難あり
  • よーし自分で作ろう！

WebRTC Native Client Library

• https://chromium.googlesource.com/external/webrtc
  • ChromeのWebRTC実装を切り出したもの
• ビルドするにはそのままだと数十GBと2GB↑のRAMがいる
• RasPi向けには、x86環境で、ARM向けにクロスコンパイル
• qemu / debootstrap
  • qemuをdockerで動かす方法あれば教えてください
• https://webrtc.org/ のサンプルがそのまま動かない
  • raspbianだから？
• 画像でない
  • USB Video Class(UVC)対応なら使える
• UV4Lほどパフォーマンスでない
  • VP8EncoderImpl::NumberOf..を上げる
  • USBが遅いのでVGAでもMJPEGを使うべし
  • チューニングしたいけどそもそもUSBカメラの画質が・・

専門外過ぎてよーわからんくなったのでメモはここまで！

音の鳴ってる方向に向く

• HARKの3機能
  • 定位を取得
  • 音源を分離
  • それを解析
• ブラウザでGUIから設定できる
• 標準出力にSourceTrackerのログが出る
• それをGoで処理して角度に
• その角度の方向にカメラを向ける

画面分割

• Thetaの動画
• getUserMedia -> video -> canvas
• three.js x [thetaview.js](https://github.com/akokubo/ThetaViewer)
• 頂点マップにUV Texture貼り付け
• サブビューはそれぞれcanvasに動画を

ThetaのViewer用のjs、探したらいっぱいあった・・。

• https://github.com/shokai/theta-viewer.js
• https://github.com/aike/thview.js
• https://github.com/akokubo/ThetaViewer