Azure Media Services によるバーチャル リアリティ映像のライブ ストリーミング


執筆者: John Deutscher (Principal Program Manager, Azure Media Services)

このポストは、4 月 12 日に投稿された Virtual reality live streaming on Azure Media Services の翻訳です。

 

今回は、マイクロソフトの William ZhangCenk Dingiloglu、および VideoStitch 社の Lakshminarasimhan Sundararajan 氏と Claire Van de Voorde 氏が共同執筆した記事をご紹介します。

 

Azure Media Services ライブ ストリーミングおよびエンコーディング プラットフォームのリリース以降、お客様やパートナー様によってさまざまなユース ケースやシナリオが作成されています。中でも現在 Azure Media Services チームの間で大きな話題となっているのが、360° バーチャル リアリティ (VR) ストリーミングです。

Facebook (英語) や YouTube による 360° ライブ動画サービスの提供開始をはじめ、先日には Comcast からも NASCAR の VR ストリーミングに関する発表 (英語) がありました。また、GoPro も新しいビデオ キャプチャ ハードウェアをリリースするなど、VR ライブ ストリーミングは 4K HEVC/UHD に続く 2016 年の一大トレンドとなっています。

オリンピックなどの大規模なイベントのライブ ストリーミングは、Media Services チームにとっても無関係ではありません。今年ノルウェーのリレハンメルで開催されたユース オリンピックでは、オリンピック放送の歴史上初めて、VR ライブ ストリーミング (英語) を使用して開会式のようすや大会 10 日間の各日のハイライト (英語) などが配信されました。2016 年リオデジャネイロ夏季オリンピック大会では、このテクノロジのさらなる活用が見込まれます。オリンピック放送機構 (英語) は、大会期間中に VR 映像をライブ配信する予定であることを既に発表しています。

360° ライブ ストリーミングや VR のメリットを高く評価するお客様はどんどん増えています。具体的なメリットは以下のとおりです。

  • テレビや映画のように単に視聴するだけでなく、ユーザーの参加や双方向のやり取りが促進される
  • 臨場感あふれる映像体験を提供できる。これは、スポーツの試合やコンサートなどで特に重要です。

関心の高まりを受けて、一部のベンダーはこの分野に力を入れ始めており、Samsung や Facebook はヘッド ギアを、GoPro はカメラを、VideoStitch はソフトウェアを、といったようにさまざまな製品を提供しています。今回の記事では、Azure Media Services パートナーの VideoStitch が提供する Vahana VR を活用して、Azure Media Services で VR ライブ ストリーミングのワークフローを構築する方法をご紹介します。

360° ライブ ストリーミングのワークフロー

現在 Azure Media Services では、ライブ ストリーミング ワークフローを構築し、数回のクリック操作 (または数行のコード) によって、通常のカメラで撮影した映像を世界中の視聴者にストリーミングできるようになっています。この実証済みのプラットフォームと API、および VideoStitch などのパートナー製品を併用することで、完全な 360° VR 映像のライブ ストリーミングを実現できます。このワークフローの構成要素は以下のとおりです。

  1. VR 動画をキャプチャするには、360° 対応の VR ビデオ カメラ (英語) を使用する必要があります。こうしたカメラで魚眼レンズを使用するか、複数のレンズを組み合わせることで、以下の図のような 360° (θ) x 180° (φ) の球体を網羅できます。
    b6feece6-f8b2-4310-8460-a45f65b39691
  2. 複数のカメラ レンズで撮影した各ビデオ フィードは、キャリブレーション、トリミング、向きの再調整を経て、全天球動画と呼ばれる単一の動画に合成されます。全天球動画では、地球儀に見立てた球体の緯度と経度が平面直交座標系の X 座標と Y 座標にマッピングされます (正距円筒図法)。このとき、X 軸の長さは Y 軸の倍になります。
    d767dbd1-228b-48bd-ad80-1dfad26b23a1

 

  1. このような動画合成製品とサービスは複数の Azure Media Services パートナーから提供されています。VideoStitch もその 1 社で、複数のカメラの映像をキャプチャ、合成する Vahana VR (英語) というオンプレミス ソフトウェアと GPU ベースのハードウェアを提供しています。Vahana VR では、RTMP プロトコルの 360° 全天球ライブ動画を単一の高ビットレートで出力できます。この動画は Azure Media Services の既存のライブ チャネルに簡単に取り込むことが可能です。これは、合成された動画が通常のワイド アスペクト比の映像として Azure Media Services に送信されるためです。
    4c860c4a-6bf9-41fc-99bf-24b0361bd471
  2. インターネット経由のマルチビットレート ストリーミングを行えるように、RTMP 形式の 360° ライブ動画のストリームは Azure Media Services のライブ チャネルに取り込まれます。Azure Media Services のライブ エンコーダーを使用して、ライブ入力をマルチビットレートで再エンコードしてパッケージ化することにより、あらゆるデバイス (iOS、Android、ブラウザー、Windows、Mac など) でのアダプティブ ストリーミングに対応できます。
    3de7e381-da4b-4d03-88cf-17f731717ad8
  3. 全天球動画はアダプティブ ビットレート方式で VR プレーヤー クライアントに配信されます。VR プレーヤーは、正距円筒図法の全天球動画を平面動画に変換します。一度に表示されるのは平面動画の一部のみで、ユーザーが見る方向を変えると、動画の別の部分が表示されます。これにより、臨場感あふれる 360° の映像を体験できます。現在、Azure Media Player ではこのレンダリングがサポートされていませんが、パートナーが提供するソリューションを使用することで、複数の種類のプレーヤーでレンダリングが可能になります。

パートナーが提供する VR プレーヤーには次の 2 種類があります。

  • HMD (ヘッド マウント ディスプレイまたはヘルメット装着型ディスプレイ): 二眼レンズのものが一般的で、組み込みのアクセラレータにより、ユーザーの頭の動きに合わせて見える方向が変化します。この種類のプレーヤー製品には、Samsung Gear VR や Facebook Oculus Rift などがあります。eleVR Web プレーヤーでは、Oculus Rift を使用するか、Android デバイスと VR ヘッドセット (Cardboard や Durovis Dive など) を併用して、Web ブラウザーから 360° のステレオ平面動画を視聴することができます。このプレーヤーは JavaScript、HTML5、WebGL を使用して作成されています。サンプルについては、次のセクションをご覧ください。
  • 通常のコンピューティング デバイス (スマートフォン、タブレット、ノート PC など): 表示にはプレーヤー ソフトウェアを使用し、見える方向の制御にはタッチ画面、マウス、キーボードのいずれかを使用します。現時点では、Azure Media Player で全天球動画の VR 再生がサポートされていませんが、全天球動画を直接再生することができます。

全体的なワークフローをまとめると、以下の図のようになります。
23660c29-ecdd-4573-9aa5-e03cc94a91d0

サンプル

VR ヘッドセットを用意しなくても、Azure Media Services による 360° VR ストリーミングを体験していただくことができます。Chrome または Edge ブラウザーで以下のリンク先にアクセスし、動画の画面上でマウスを 1 回クリックして動かすと、360° 好きな方向を見ることができます。なお、現在以下のリンクは Safari と iOS には対応していません。

360° ライブ ストリーミングや VR に関するご意見はページ下部のコメント欄までお寄せください。フィードバックは MSDN フォーラム (英語) へ、この機能やアイデアへの投票は UserVoice (https://aka.ms/amsvoice、英語) までお願いいたします。

4 月 18 日~ 21 日に開催される National Association of Broadcasters (NAB) Show (英語) にもぜひご来場ください。マイクロソフトは South Hall (Lower) SL6810 (英語)、パートナーの VideoStitch は South Hall (Upper) SU6418 (英語) にそれぞれブースを用意してお待ちしています。

Comments (0)

Skip to main content