遅延限界

コンピューティングにおける遅延限界

遅延には2種類あることに注意が必要

往復遅延
- なんらかの操作をしてからフィードバックが返るまでの遅延
- 例
  - Web操作、遠隔操作(手術等)
片道遅延
- 送信者から受信者への遅延
- 例
  - VoIP、音楽共演

UI (往復遅延)

8秒
- トランザクション(購入や予約操作)の終了待ち時間の限界
2秒
- ページ表示の待ち時間の限界
0.2秒
- マウス操作等の待ち時間の限界

原典

Response Times: The 3 Important Limits
- https://www.nngroup.com/articles/response-times-3-important-limits/

VoIP ITU-T(片道遅延)

300ミリ秒以上
- 通話困難
150～300ミリ秒
- 許容範囲
0～150ミリ秒
- 良好

原典

ITU-T G.114

VoIP 総務省(片道遅延)

400ミリ秒未満
- クラスC：VoIPとして使える限界
150ミリ未満
- クラスB：携帯電話と同等
100ミリ秒未満
- クラスA：固定電話と同等

原典

総務省ガイドライン

遠隔運転 (往復遅延)

ソースを明示できる基準なし。ただし、200ミリ秒という表記を良くみかける。これは、時速18kmで約1Mの誤差に相当する。

遠隔手術 (往復遅延)

100ミリ以上
- 操作性が低下
- 手術困難
70ミリ以上
- 誤動作が増加
50ミリ以下
- 理想

原典

手術支援ロボットを用いた遠隔手術のガイドライン策定に向けた実証研究
- https://www.amed.go.jp/content/000111733.pdf

ネットゲーム(往復遅延)

100ミリ秒以下
- 一般プレイの限界
50ミリ秒以下
- 競技プレイ
20ミリ秒以下
- プロフェッショナルゲーマー

原典

各種

音楽のリモート演奏(片道遅延)

20~30ミリ秒
- 実用限界
10~20ミリ秒
- 違和感はあるが可能
10ミリ秒以下
- 理想(プロの認識限界)

原典

各種

人の遅延限界(往復)

まとめ

500ミリ秒
- 人間の一般的な反応時間(片道250ミリ秒)
300～800ミリ秒
- 会話
100ミリ秒
- リモート操作(手術等)
40ミリ秒
- 音楽セッション
20ミリ秒
- 人の認識限界(片道10ミリ秒)

トレーディング

100ミリ秒以下
- 一般、ネットトレーディング
10ミリ秒以下
- アルゴリズムトレーディング
0.1ミリ秒以下
- 高頻度取引

原典

各種

GPUスケジューリング

GPUなどの高価な計算リソースが分散配置されている場合、スケジューラーからGPUまでの遅延が問題となる。そして、一般的なAI処理におけるGPUの処理時間は10ミリ秒程度であるため、1ミリ秒の遅延はGPUプールに対して10%のオーバーヘッドとなり馬鹿にできない。

オールフォトニック網と影響

IOWNに代表されるオールフォトニック網が低遅延コンピューティングに与える影響について考察する：

オールフォトニック網

技術ポイント
- ネットワークの中継地点における遅延(光↔電流変換、バッファリング)を0に近づける技術。
- ただし、距離遅延は無くならない。
モデリング(東京・大阪の実測値から作成)
- 前提
  - 距離：約400km
  - 中継(ホップ)：約10個(だいたいの経験値)
  - 理想遅延(往復)：4ミリ秒(400km/200,000km*2)
    - ファイバーにおける光の伝送速度＝光速の約2/3=200,000km/秒
  - 実遅延(往復)：8ミリ秒程度(pingによる実測値)
- 導出(フォトニック網における遅延短縮）
  - 中継ポイントあたり(片道)：0.2ミリ秒
距離別における効果
- 50km(都道府県内網)、データセンタ間
  - 中継数5(中継往復遅延2ミリ秒）
    - 理想遅延：0.5ミリ秒
    - 想定遅延：2.5ミリ秒
- 100km(隣接都道府県網)、データセンタ間
  - 中継数5(中継往復遅延2ミリ秒）
    - 理想遅延：1ミリ秒
    - 想定遅延：3ミリ秒
- 400km(東京・大阪)、データセンター間
  - 中継数10(中継往復遅延4ミリ秒）
    - 理想遅延：4ミリ秒
    - 実測遅延：8ミリ秒
- 400km(東京・大阪）、一般エンド間
  - 中継数20(中継往復遅延8ミリ秒)
    - 理想遅延：4ミリ秒
    - 実測遅延：12ミリ秒
考察
- 人間が関与する操作(リモート操作等）
  - 人間の認知限界は往復20ミリ秒であるため、中継数20としても中継遅延は8ミリ秒であり、そのフォトニック化による短縮効果は限定的である。
- コンピュータ間の操作(分散コンピューティング)
  - 一般的に、距離が長くなるほど中継ポイント数の割合は減少するため、距離が短い方がフォトニック化の効果が高い。
  - たとえば、県内にある二つのDC(距離50kmと仮定)の理想遅延は0.5ミリ秒であるが、従来網では中継遅延のために2.5ミリ秒まで遅延が拡大する。県内の複数拠点でプロセス間依存がある分散処理を行う場合、フォトニック化の効果を期待できる(プロセス間遅延の縮小効果が大きい)。この場合におけるAIのGPU処理(平均10ミリ秒程度）のスケジューリングについても、遅延が2ミリ秒短くなることはGPUの高効率運用(約2割の効率化）につながる。