2020年5月4日月曜日

NDI HX Cameraの設定

iOS向けにNDI HX Cameraというアプリケーションがフリーで公開されています。 品質の設定が分かりにくいので、各設定がどのように振る舞うのか、実際に動かして確認しました。

品質の設定は、歯車アイコンを押してすぐ左に出てくる、アナログメーターアイコンで切り替えられます。針が右を指しているものが高、上が中、左が低品質になります。 設定によってフレームサイズが変わり、iPhone 8では以下のようになりました。

iPhone 8 リアカメラ
uyvy422(progressive), 3840x2160 [SAR 1:1 DAR 16:9], 3981312 kb/s, 30 tbr, 10000k tbn
uyvy422(progressive), 1920x1080 [SAR 1:1 DAR 16:9], 995328 kb/s, 30 tbr, 10000k tbn
uyvy422(progressive), 640x480 [SAR 1:1 DAR 4:3], 147456 kb/s, 30 fps, 30 tbr, 10000k tbn
iPhone 8 リアカメラ
uyvy422(progressive), 1920x1080 [SAR 1:1 DAR 16:9], 995328 kb/s, 30 tbr, 10000k tbn
uyvy422(progressive), 1280x720 [SAR 1:1 DAR 16:9], 442368 kb/s, 30 fps, 30 tbr, 10000k tbn
uyvy422(progressive), 640x480 [SAR 1:1 DAR 4:3], 147456 kb/s, 30 fps, 30 tbr, 10000k tbn
オーディオの有無や受信側でのバンド幅設定には依存しないようです。

もう公開されていないAndroidのアプリNewTek NDIでは以下のようになりました。

uyvy422(progressive), 640x480 [SAR 1:1 DAR 4:3], 147456 kb/s, 30 fps, 30 tbr, 10000k tbn
Xperia Z5 リアカメラ
Highuyvy422(progressive), 1280x720 [SAR 1:1 DAR 16:9], 442368 kb/s, 30 fps, 30 tbr, 10000k tbn
デフォルト
4Kのカメラが載っているのですが、以外なことに、720/30pで送られてきました。

OBS-NDI: バージョン4.9.0がリリースされました

OBS-NDIプラグイン4.9.0がリリースされました。

4.9.0になって、Sync modesの設定値 Internal が削除されました。 もし4.8.0や以前のバージョンでInternalに設定していた場合、Source Timingに設定が変更されます。 4.8.0まではデフォルトがNetworkでしたが、4.9.0からはSource Timingがデフォルトに変更されました。

Network設定は、NDI SDKのtimestampの情報をフレームの時刻として使うのですが、異なるマシン間でのやり取りの場合は、NTPなどでシステムの時計が同期されていることが期待されているようです。以下のようにNDI SDKのドキュメントにかかれています。

On modern sender systems this will have ~1uS accuracy; this can be used to synchronize streams on the same connection, between connections and between machines. For inter-machine synchronization, it is important to use external clock locking capability with high precision (such as NTP).
一方でSource Timing設定は、NDI SDKのtimecodeの情報をフレームの時刻として使うことになっています。 Timecodeとtimestampの違いは分かりにくいのですが、直近で送られたビデオとオーディオのtimecodeを合わせるなどのアルゴリズムが働くらしく、 OBSで使うにはtimecodeの方が適しているのではないでしょうか... なお、timecodeであっても、NTPで時刻の同期を取るべきのようです。

2020年5月2日土曜日

OBS-Studio: GDI+とFreetype2の違い

2種類のテキストソースの違いは?

Q: OBS-Studioには、2種類のテキストソース (GDI+とFreetype2) が用意されています。 どちらを使うのが良いのでしょうか...

A: WindowsではGDI+、それ以外ではFreetype2を使用しましょう。WindowsでFreetype2を使う理由はありません。

これらのプラグインは、フォントファイルの情報を元に、テキストを画像に描画し、その画像をソースとしてOBSのグラフィックスエンジンへと渡します。 GDI+とFreetype2の違いは、フォントを描画する方式の違いです。GDI+は、Windowsのコンポーネントを使うため、Windowsにしか対応していません。一方で、Freetype2は、FreeTypeというライブラリを使用します。Windowsに限らず、Mac OS XやLinuxでも動作します。

GDI+の方が機能が豊富

機能を比較すると、GDI+の方が豊富です。
プラグインGDI+Freetype2
ファイルから読み込み 可能 可能
フォント 設定できる 設定できる
位置揃え 左・中央・右 未実装、リクエストあり
テキストの色 色・透明度を設定できる 色だけ設定できる
色・透明度・太さを設定できる 黒・2px
背景色 背景として矩形を塗りつぶせる 未実装

ファイルの読み込み頻度

ファイルの読み込み頻度は、GDI+、Freetype2とも同じです。画像ソースも同じような実装です。 1秒間隔でファイルのタイムスタンプをポーリング、ファイルの変更を検出すると、さらに1秒後に読み込みます。ファイルを更新してから、最大で2秒の遅延が発生することになります。遅いですね。Windowsでは_wstatで1秒単位でのタイムスタンプしか取得できないので、このような実装になっているのだと思います。他のOSなら、更に速くしても問題ないはずです。 何度か (PR-1566など) リクエストは出ていますが、修正される見込みはなさそうです。 たぶん、ポーリング間隔を短くするよりは、FindFirstChangeNotificationinotifyのような機構を使って変更を検出するような仕組みにしたいのでしょう。

もし外部のプログラムやスクリプトからテキストを更新したい場合で最大2秒の遅延が気になるのであれば、obs-websocketを使いましょう。 Python3のライブラリsimpleobswsであれば、以下のようなコードで簡単にテキストを更新できます。もしasyncioを使うのが面倒であれば、obs-websocket-pyが良いです。

import simpleobsws
ws = simpleobsws.obsws(...)
ws.call('SetSourceSettings', {'sourceName': sourceName, 'sourceSettings': {'text': text}})

その他

Freetype2でも日本語を表示することができます。もし文字化けした場合、
  • 日本語を表示できるフォントが設定されているか、
  • ファイルからの読み込みの場合は文字コードの設定 (Linuxの場合はBOM無しのUTF-8が標準的です)
を確認しましょう。

歴史的な経緯としては、Freetype2が先に開発され、GDI+が後発のようです。 やはりWindowsユーザーの数が多く、GDI+が活発に機能を拡張してきたのでしょう。 Freetype2の実装をGDI+へ合わせてゆき、一つのプラグインへ統合するような流れになるのではないかと予想しています。

色彩の印象について

このページに、PCCSトーンとその印象についてわかりやすく書かれていて参考になった。こんど映像を編集する機会があれば、このページを参考にしたいと思う。 著者は大学で映像制作を学んだ方のようで、基礎をわかりやすく説明されているように感じる。他の記事も読みたい。 【映像制作者が...