トップ 差分 一覧 ソース 検索 ヘルプ RSS ログイン

InfiniBand

InfiniBandについて

InfiniBandでは、HCAの搭載されたホストInfiniBandスイッチを経由して相互に接続させ、ファブリックを構成します。
構成したファブリック内でサブネットマネージャを動作させると自動的にサブネットが形成され、各HCAにLIDが割り当てられてInfiniBandスイッチにフォワーディングテーブルが作られます。
これにより、サブネット内でのLIDルーティングによる非常に遅延の小さな通信が可能になります。

 概要

広帯域

  • ロードマップ
    • SDR - 1レーン2.5Gbps
    • DDR - 1レーン5Gbps, 2006年提供開始
    • QDR - 1レーン10Gbps, 2009年提供開始
    • EDR(1レーン20Gbps) HDR(1レーン40Gbps)へと進化する予定です。
  • レーンを1X, 4X, 8X, 12Xと束ねて使うことができ、一般的に4X接続がHCA(ホストチャネルアダプタ)で採用されています。
  • 上り・下りの信号線は独立しており、FBB(Full Bisectional Bandwidth; 全二重の帯域)を提供します。

低遅延

  • カットスルー(受信したフレームの先頭部分にある送信先アドレスまでを読み込み、ただちに当該ポートにフォワードする方式)によるパケット転送で、Ethernetより一桁以上小さい遅延時間
    • Ethernet スイッチのストアフォワード方式では、送信側の一連のパケットをバッファに蓄えてチェックやフィルタリングを行ってから受信側ポートに送ります。
    • InfiniBand スイッチのカットスルー方式では、パケットの先頭部分のみを見て受信側ポートに即座にパケットを送るので遅延時間が小さくなります。

高信頼性

  • スイッチおよびHCA(ホストインターフェイス)でエラー検出・訂正を行います。

高運用性

  • 自律的にファブリックを探索し、サブネットを構築。設定なしで動作します。
    • 保守が簡素化し、拡張性も高く、高可用性を容易に得られます。
  • 規格化されているQoS維持の機構がスイッチやHCAなどの機器に備わっています。

低CPU負荷

  • RDMA転送により、CPU時間を消費せずメモリ間で直接データ転送を行うことができます。

業界標準

  • 業界団体としてIBTAが設立され、公開の規格書である InfiniBand Architecture (IBA) Specification に基づいて設計されています。

 物理的特徴

  • 1リンクで最大40Gbps(QDR 4X)でのホスト間通信を現時点で既に提供している、最先端の超高速インターコネクトです。
  • 銅ケーブルと光ケーブルとがあります。
    • 銅ケーブルは1mから最大10m程度まであります。1cm前後の太さのあるケーブルです。
    • 光ケーブルは100m程度の長さまで引くことができます。通常、ポートにメディアコンバータを接続して、電気信号を光信号に変換します。
  • 1レーンごとに一対の信号線を持ちます。
    • 銅ケーブルの場合、上りと下りにそれぞれ対線が一組となります。つまり、1レーンにつき4本の銅線を使います。
      • 4Xの場合、16本の銅線を使うこととなります。
    • 光ケーブルの場合、上りと下りにそれぞれ1本の光ファイバーを使います。
    • SDRのとき1レーン2.5Gbps、DDRのとき1レーン5Gbps、QDRのとき1レーン10Gbpsとなります。
  • 1X, 4X, 8X, 12X の組み合わせが規定されています。4Xが最も一般的に使われています。
  • カットスルーによるパケット転送で、ファブリックの遅延時間はEthernetより一桁以上小さくなります。
    • スイッチ通過時140nsの遅延です。
  • FatTree構造のスイッチ/ファブリックです。
    • トポロジーを自由に形成できます(ループを形成してもよい)。
  • 十分な冗長性を確保可能です。

 論理的特徴

  • 10Gbps(4X SDRの場合)のビットレートの上で、8B/10B符号化を行い、最大1GB/sの情報転送能力を持ちます。
  • HCAおよびスイッチにQoS機構が組み込まれています。
    • サービスレベル(SL)に基づき仮想レーン(VL)が割り当てられることで、信号帯域幅の配分を行い、パフォーマンスの最適化が可能です。
    • HCA上で、QP(キューペア)ごとにエラー検出・訂正・フロー制御を行います。
  • メッセージパッシング機構により、CPUへの負荷の少ない通信が行えます。
  • サブネットマネージャにより自動的にトポロジーが解析され、コンフィギュレーションが行われます。
  • RDMA通信を提供し、CPUの負荷を軽減します。

 歴史

高速システムバス規格として設計していた以下の二つのグループが1999年に統合され、System I/Oと名付けられました。

  • Future I/O - Compaq, IBM, Hewlett-Packard
  • Next Generation I/O(ngio) - Intel, Microsoft, Sun

System I/Oは後にInfiniBandに改称され、InfiniBand Trade Association(IBTA)が設立されました。
IBTAによる規格(IBA)のもと、各社はInfiniBand製品を開発し、業界標準の超高速インターコネクト技術としての地位を確立しています。