10GBaseはいまだに高嶺（高値）の花なので
こんにちわ、こんばんわ。かえるのクーの助手の井戸中 聖（いとなか あきら）です。本家Kooのページに１年ぶりくらいに何かかいたら（まだ書いている途中だけど。。。）少しやる気になってきました。
最近は分散コンピューティングに興味があり、少し勉強しようと思っているところです。ところが、ネットワークがちょー高速でないと分散コンピューティングは効果がないことがよ～くわかってしまいました。（またはエッジノードがちょーたくさんあるか。。。）勉強だけなら遅くても問題ないですが、そこはそれ、早くならないとモチベーションを維持できない性格なのは良くわかっているので、おうちネットワーク高速化の構想をしました。
ちなみにインターネットは十分動画をみれる速さなので、こだわりません。
早くしたいのは、「おうちの中」のネットワークです。今は1000BaseTでつないでいます。
調べてみましたが、10GBaseはケーブルこそ安くなってきているものの、NICやスイッチはまだとても高いです。何年か前よりは幾分安くなりましたが、おこずかいで買える値段ではありません。
携帯5Gが普及して、もっと「1000Baseなんて遅くて使ってられない！！」という人が多くなれば普及して安くなるんでしょうが。それにしても400GBase イーサネットが実用なのに、10GBaseが普及（低価格化）しないのは遅すぎる。あと２～３年はかかりそうかな。。。
しかも分散コンピューティングの実験をするには10GBaseでももの足りない。できれば100GBaseくらいほしい。。。
USB4 (40Gbps)に期待できるか？
ご存じのとおり、USBはもともとホスト同士をつなぐ規格ではありません。ですが、データリンクケーブルというものがあり、PC同士をつなぐことが可能です。でもその上に仮想的にTCP/IPをのせる方法は探してもありませんでした。USB4のデータリンクケーブルがでてきても通信プログラムが面倒そうです。
Infinibandの中古品が結構お安く手に入るみたい
Infinibandはデータセンターや空調のがんがんきいたサーバ室でしか見たことがないいわゆる「サーバ御用達」の装置群で、高額であることも知っており、全く眼中にありませんでした。さらに、とにかく「ごつい」し、うるさそうだし、電気くいそうだし。
でも、３世代くらい前の製品なら、40Gbps程度ですが10GBaseのLAN製品よりかなり安価に（もちろん中古！）手に入るようなので、試案中。。。
あ！考えもなしにクリックしてしもーた
Infinibandメーカでは超定番のMellanox社製のConnectX3という製品です。４台くらいで実験したいので、４枚購入してしまいました。（使えるかどうかもわからないのに。。。）定価は知りませんが、価格.comによると１枚６～７万円程度だった模様で、その20分の１程度で買えました（おこずかいの範囲で買えました。）
接続ケーブルがよくわからない
接続ケーブルはQSFP+という規格のものすごくごつそうなケーブルを使うそうなのですが、見た目がQSFPの中古銅線ケーブルも注文しました。40G対応と書いてあったのでQSFP+っぽいのですが、規格の詳細説明がなかったので適合するのかどうかわかりません。さらにQSFPが対向接続ができるのかどうかもしりません。よくそんなので買ったとおもいますが、そういうチャレンジも（おこずかいの範囲のうちならば）良し！としています。お、1本3000円以内で銅線パッシブダイレクトケーブルがある！え！？メーカごとにこれって違うの？？（結局）よくわかりません
場合によっては全部実用できない（技術的なこととか、ドライバのこととか）かもしれませんが、話のネタにはなるような気がしています。
あとはQSFPインターフェースのスイッチの中古品を探します。（これも10GBaseのLANスイッチからくらべるとずっと（中古なら）安いようです。）ただし、自宅で使うとなるとファンの音が洒落にならずうるさい「はず」なので、井戸の底に沈めるか、天井裏においやるかしないといけないかもしれません。（サーバ室は本当に五月蠅くて、寒くて頭がいたくなります。）自宅で動作させるなら、電気代を考えると実験のときだけSwitch をONかなぁ。
IP over InfiniBandでマルチリンクできるのかなぁ
もし１PCで２枚刺し、マルチリンク80Gbps（実効32×2=64GbpsからさらにIP over InfiniBandのオーバヘッドでこれより低くなるとは思いますが。）の実験が成功すれば、今度は中古の２ポート版ConnectX3を探そうと思います。(海外だけどebayで送料抜きでJPY4,000～JPY8,000くらいでありましたねぇ）そうすれはそれを1PCあたり２枚刺して計４ポート160Gbps（実効128Gbps)となり、とっても幸せになれそうです。
さあ、貴方も自宅Infiniband
実験が成功すれば、10GBaseLANだけでなく、自宅でインフィニバンド導入も候補にしてみてください。（到着までしばらくかかるのと、来週から出張なので、報告乞うご期待ということで（汗）。））
（参考)
いまならConnectX-6 HDRで200G そして次は400Gへ、Infinibandの世代交代は早い！
（追記）InfiniBandの説明ページをいろいろみてすこしだけ分かってきました。コネクタ形状、ケーブル（銅線か光かとか＆対応規格)、ケーブルの1Xの通信速度とレーン数（4Xとか12Xとか)、InfiniBandの速度・通信規格（QDRとかFDRとか）、IBスイッチ装置の対応規格、（下位）互換性などをおさえればOKのようです。また、スイッチ装置がなくてもケーブルだけで２台のPCを接続できるようです。
ConnectX3として中古販売している中には 10GbE（10Giga bps Ethernet)にのみ対応しているものや、QDR(InfiniBandで40G) やFDR(InfiniBandで56G)のもの、OEMのものなどいろいろあるようです。ConnectX3ならもちろんFDR版がよいのは間違いないです。ebayなどの出品ではこのあたりの表記が明確でないものがあるので、どこかへのOEM版か、FDR対応版かを写真などで(Model No.の末尾部分など）よく確認したほうがよさそうです。ネットを探すと、OEM版カードであってもファームウェア・アップデート方法の情報はたくさんありました。なんとかなると思います。ちなみにConnectX4系はまだ中古市場にはほとんど出回っていないようです（あってもムチャ高い！）。私の購入したものは届いていないのでまだよくわかりませんが、（たぶん）日本メーカOEM版でFDR対応版のようです。
自宅にInfiniBand導入は、すぐトレンドとなるでしょう。（きっぱり）
さて、急に出張が明日からになりました。とほほ。「コーヴィッド・ナインティーン」が多めのところにいくので対策には気を付けていってきます。ネットで見た範囲ではありますが、新幹線もホテルもがらがらなのがすごいです。（ホテルは空き何室以上とでたりするのでだいたいわかります。私が予約したところは、比較的安価でいつも人気のあるホテルなのですが、明日から月末まで全部が、空き全部○○室以上と同じ数字が並んでます。）
