NVIDIAのRTX Video Super Resolutionはどうなのか？
動画品質向上技術
私がここ2世代分くらいのGPUをNVIDIAからAMDに変えたのは、動画再生支援機能であるFluid Motionがあったからだ。
Fluid Motionは、秒間24フレームの動画を60フレームの動画に補完してくれたり、最近では72フレームの動画に補完してくれたりして、その動きを滑らかにしてくれる機能を与えてくれたのだが、残念ながら最新のRDNAアーキテクチャでは利用する事ができず、私が知る限りFluid Motionが利用できる最上位GPUはVegaアーキテクチャのRadeon VIIであった。
だが、私の導入したモニタがG-Syncにしか対応しなかった事から、GPUを再びNVIDIAに戻すこととなり、動画再生支援技術から手を引くことになってしまった。
長い間、NVIDIAでもGPUをもっと広く使えばいいのに、と思っていたのだが、ここに来てNVIDIAが「RTX Video Super Resolution」という、おそらくはTensorコアなどを利用したAI活用の低解像度動画をアップスケーリングするドライバを公開した。
フレームレートを稼ぐ機能ではなく、あくまでも低解像度動画をアップスケーリングする技術なので、方向性は違うのだが、動画品質を向上させる機能としてNVIDIAも動いた事に喜びを禁じ得ない。
欠点はストリーミング動画のみという事
ただ、このRTX Video Super Resolutionにおいて、私がとても残念に思っているのは、利用出来る環境があくまでもブラウザを介したストリーミングビデオだという事。
Google Chrome、Microsoft Edgeなどのブラウザの上で再生する動画に対してのみ、この機能が使えるという事で、個人がアーカイブしている動画コンテンツや、DVD、Blu-rayディスクには使用する事ができない。
どうも、最近のブラウザは基本的なアップスケーリング技術を使用しているという事で、そこを置き換える形で機能するらしく、動画プレーヤーで使用できるようなフィ。ターとしての体裁は持っていないようである。
これ、もしフィルターという形で実現できたなら、DVDコンテンツのような低解像度動画でもフルHD動画として綺麗にアップコンバートできるので、とても有りがたい機能になるのだが、どうにかフィルター機能にならないものだろうか？
その効果の程は？
既にYouTubeではRTX Video Super Resolutionの効果を検証した人がいるようである。
パッと見た感じ…言うほどの効果があるように見えないのが残念な所である。
Fluid Motionの時は、非常に滑らかに見える明確な差が感じられたが、RTX Video Super Resolutionの場合、元々の動画がハッキリクッキリという感じに見えるわけではないので、実に微妙である。
元々の素材がそれなりの解像度だという事も関係しているかもしれない。
今後、動画再生環境が今よりもずっと高解像度化した時、今までの動画が低解像度になり、効果が見えてくる…そんな感じだろうか。
一応、ドライバ上でRTX Video Super Resolutionを有効化する際、効果レベルを1～4に設定できるのだが、最上位のレベル4にして今一つと思えるのだから、効果は微妙と言わざるを得ない。
今後、さらに進化するよう期待するしかないかもしれない。
フレーム補完は？
折角AIという便利なものを使用するのだから、私はついでにフレーム補完もやってしまえばいいのにと思えて仕方が無い。
フレーム補完の方が補完するフレームの前後を予測するのだからAIの恩恵を受けやすいのではないかと思う。
もっとも、アルゴリズムなどの問題からそう簡単に実現できるものとは思わないが、AMDがFluid Motionとして実現していた事をTensorコアなどを使用して再現するのだから、機能としてはより高速に処理できそうな感じがする。
動画そのものは、音声との同期が取れていれば、再生ボタンを押してから多少タイムラグがあっても問題はないので、AIの性能が相当に高ければ、アップスケーリングしただけにとどまらず、そこからさらにフレーム補完させる事もできるように思える。
NVIDIAがそこまでしてくれるコトはないだろうし、フレーム補完という流れはこの先潰えてしまう可能性はあるわけだが、折角のAI活用である。可能性はもっといろいろな方向で模索して欲しいものである。
最近のコメント