InfiniBandについて語るスレ

1 ：不明なデバイスさん：2011/05/16(月) 22:25:36.24 ID:uoQmaZZN 〜 最終レス ：不明なデバイスさん：2011/11/24(木) 20:29:36.24 ID:/I0TOwaL

InfiniBand(IB)について語るスレ
普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。
主要ベンダ
http://www.mellanox.com/
http://www.qlogic.com/
規格・管理ソフト等
http://www.openfabrics.org/
使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX
参考
http://www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
http://ja.wikipedia.org/wiki/InfiniBand

2 ：

用語
HCA(HostChannnelAdapter)
　ホストに刺す物理インターフェイス
SM(SubnetManager)
　InfiniBandネットワークでは必須。ないと動かない
IPoIB(IP over IB)
　InfiniBand上でIPネットワークをカプセル化するためのプロトコル
RDS(Reliable Datagram Sockets)
　InfiniBandネイティブでUDPの変わりに使用するプロトコル
SDP(Socket Direct Protocol)
　InfiniBandネイティブでTCPの変わりに使用するプロトコル
SRP(SCSI RDMA Protocol)
　InfiniBand上のSCSIコマンドをカプセル化して使用するためのプロトコル
MPI(Message Passing Interface)
　メモリ分散型の並列計算をサポートするためのライブラリ。

3 ：

必須ソフト等
・P2Pネットワークで組む場合には、OpenSM等のSubnetManagerが必須。
・スイッチを使用する場合でも、SubnetManagerが組み込み出ない場合には
　OpenSM等を動かす必要がある。
・OpenSMはLinux・Windows用が提供されている。
ドライバ等
Windows・Linux
HCAメーカが配布してるパッケージでインストールするのと、
OFEDが配布しているパッケージでインストールするのがある。
メーカ配布のパッケージもOFEDのパッケージが元になってる。
vSphere Server
Mellanoxの場合はメーカの配布しているドライバを使用する。
Solaris・HP-UX・AIX
OSに標準でドライバが入っている。
※注意点
ファームウェアのバージョンによって対応ドライバが変わったりするので注意。

4 ：

IBスレが見あたらなかったので適当にまとめてたててみました。
ebayで探すと安いのは$20くらいからあるので10GbE導入するよりは安そうなんですが
iSCSI用に個人で使ってる人とか居ませんか？
個人じゃない方も大歓迎ですが

5 ：

InfiniBandのベンチ結果
SDR IPoIB
http://blog.systemworks.co.jp/?p=456
DDR iSER
http://blog.systemworks.co.jp/?p=492
色々条件が違うので単純に比較は出来ませんが

6 ：

おうち用に使ってます。
IBって10GbEみたいに繋いで終了じゃないので、そこが取っつきにくいのかな？
あと、HPC関連がメインだったので他の用途だとあんまりつかわれてなかったのが大きいかも
ネタ的にほとんどでてこなかったし

7 ：

10GbE欲しいけど価格から躊躇してる人間としてはちょっと興味がある。
前提知識が全くないんだがiSCSIやるのに何を購入して何をセットアップすりゃいいの？

8 ：

>7
うちでiSCSIテストしたときは、クライアント二台だったんだけど
ハードはカードとケーブルだけでいける。
ソフトとドライバは、カードメーカかOFEDから落とせばおっけー。
OpenSMってソフト動かさないと実際にはIBネットワークには繋がらないので、
そのへん注意ね。
ただ、安いカードだとIPoIBの上でiSCSIが動くのでパフォーマンスがそれなりにおちる。
高いカードだと色々ハード側で処理してくれるのでそんなにパフォーマンス落ちないんだけどね。
で、うちはiSCSIの変わりにSRPってプロトコル使うようにした。
TargetにOpenSolaris使ったらWindowsのinitiatorから繋がらなかったけど、Linuxを使ってやったら繋がった。
ちなみに、OSは何使うんでしょ？

9 ：

InfiniBand興味あるけど、日本語の文献が少ないのがネックだな。
用語集に追加
RDMA(Remote Direct Memory Access)
　リモートDMA。あるPCからリモートのPCへのDMA転送を行うこと
iSER(iSCSI Extensions for RDMA)
　iSCSIのデータ転送をRDMAにて行うことによって速度を向上させる。

10 ：

>>8
TargetはOpenSolarisでInitiatorはLinux(KVM)、ESXiあたりかな。
ひとまずKVMが使えればいいとおもってます。
カードとケーブルか・・・価格帯もピンキリですかね。

11 ：

>>10
その構成だったらOpenSolarisがカード選ぶので、そこを気をつけて。
うちは、全部MellanoxのMHEA28-XTC購入してたんですが、Solarisのドライバが対応してなくてはまりました。
ESXiはMellanoxのIBカードは対応してるので大丈夫。
LinuxもOEFDのソフトがあるディストリだったら大丈夫かと。
メーカ純正のドライバじゃないとまずいって話だったら、RHELかSLSとかになっちゃいますが
カードですが、現行のモデルのものはやっぱり高いです。
ケーブルはCX4(旧)とQSFP(新)の二種類ありますが、値段はそんなに変わらないかと。
自分買ったのはeBayの国際配送してくれる業者から買いましたが、新品カード一枚$50と中古3mケーブル1本$25くらいでした。
新しめのカードだと、IBだけじゃなくて10GbEが喋れたりすのですが、OEM物の安いので$150くらいでしたね。
あと、新しいIB環境のソフトで動かそうとすると、ファームのバージョンによっては動いてくれなかったりするので、
カードのファームとIB環境のソフトは推奨の物を使用するようにした方がよいです。(各ホスト単位の話です)
自分がテストしてみた事ならネタ吐き出してきますので。

12 ：

資料的な物
CISCOのInfiniBandについての説明
http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml
HPのIBでのRDMAプロトコルの説明
http://h50146.www5.hp.com/products/servers/proliant/whitepaper/wp049_060331/p03.html
UbuntuでのInfiniband環境構築
ttp://www.sepia-days.org/20110104.html

13 ：

最近、某通販でMellanox MHGA28-1TCの中古が2万円ちょっとで出ていたので3枚衝動買いした。
Dual port HCAなので3台をcable 3本で直結すればswitchなしでそれぞれ通信できる予定。

14 ：

Cableがまだ届かないので遊べない(-_-;
探した中でHPの10Gbase-CX4用(444477-B22)が安そうだったので購入。
10Gbase-CX4用だったらSDR Infinibandは確実にokなはず、
20GbpsのDDRでも多分動くと思うけど、届いて動作確認できたらまた書き込みマス。

15 ：

おおお、ebayでHCAを個人輸入しようか迷っていたところにタイムリーなスレが。
月末あたりにIYHしちゃいそうだ。

16 ：

結構送料が掛かるから集団IYHしたいなー（チラッチラッ

17 ：

MellanoxのInfiniBandのカードで調べたことの個人的なまとめ
Infinihost
PCI-Xの世代のカード。eBayで$60くらいか
InfiniHost III Ex
PCIe Gen1 世代のDualPortカード。eBayで安いのは$50くらいから
型番は MH*A28
最初の*がEはSDR、GはDDR。
※メモリ付きはSolaris系で動作可。なしは動かず。
InfiniHost III Lx
PCIe Gen1 世代のSinglePortカード。eBayで安いのは$40くらいから
型番は MH*S18 MHES14
最初の*がEはSDR、GはDDR。
※Solaris系では動かず。

18 ：

MellanoxのInfiniBandのカードで調べたことの個人的なまとめ2
ConnectX
PCIe Gen2 対応が入る。eBayで$160くらいから
型番はMH*H**
最初の*がEはSDR、GとRはDDR、JとQはQDR。
RとQはコネクタがQSFPなので注意。それ以外はCX-4の形状。
二番目の*が1は1ポート、2は2ポート
最後の*が8はPCIe Gen1、9はPCIe Gen2。
この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。
ConnectX-2
PCIe Gen2 対応。eBayで$400くらいから
型番はMH*H*9A MH*H*9B MH*H*9C
ConnectXの型番の最後にAだのBだのが付いてたらConnectX-2。
チップのプロセスが変わって省電力・小サイズになってる模様。
型番の-以下三桁の意味
一桁目 Xはメモリなし、1が128M、2が256M、3が512M
二桁目 ブラケットの大きさ SはLowProfile、Tは普通のサイズ
三桁目 RoHSの対応なので（ｒｙ

19 ：

ESXiとoi直結して使いたいんだが、oiなどsolaris系で動くSMてあるのかな？
スイッチは高いしなによりうるさそうで。８ポートぐらいで静かなのあればそれでもまあいいんだけど。

20 ：

>>19
残念ながら今のところSolaris系で動くSMはないみたい
スイッチも安いやつだとSM入ってないのばっかりですわ

21 ：

これIsilonのハブになってるアレのことでつか?

22 ：

>>21
そうでつ。
ちなみにどちらのInfiniband Switchが付いてきました？
うちはシスコだったけど、最近変わったそうなので。

23 ：

TopSpin 120 (CISCOSFS 7000 )はSM付いてるみたい
Voltaireо Grid SwitchTM ISR 9024 は不明
FlextronicsのシリーズはSMはなし
Mellanoxの高いのはSMがオプションでつけれる感じ

24 ：

>>18
これらはsolarisいけるの？
おもしろそうではあるが、自宅はESXiとoiのNFSに全部集約してしまったからSMが鬼門すぎるなあ・・・
8ポートのSM無しスイッチ買って、SM用にlinux1台立ち上げるのが自宅サーバで出来る範囲かな

25 ：

>>24
うちではSolarisでConnectX使ってるけどIBは動いてる
ただSolarisだと、ドライバがIB以外の機能にいまのところ対応してなかったはず。
ごめん、誤解ある書き方だったね。
そういう構成だったらスイッチなくても動くよ。
PC1 -- PC2 -- PC3
PC2にDualポートのカードいるけど。
って繋ぎ方で動く筈。
使ってるOSがうちと一緒だから、週末にでも実験してみるよ。

26 ：

>>22
うちはCiscoでしたよ。

27 ：

http://wikis.sun.com/download/attachments/216507438/David-InfiniBandSolarisDay.pdf
SolarisのInfinibandサポート状況
OpenSMをポーティングしてるって書いてあるね。
ReleaseはTBDになってるけど。

28 ：

> この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。
ってのがわからんけど、物理層が同じだからファーム書き換えると
10GbEになったりIBになったりするってこと？それともシリーズ内に
10GbEのHCAやIBのHCAがあるってだけ？

29 ：

>>28
ドライバで10GbEやIBになる。
2ポートあると、片方はIBでもう一つは10GbEとか出来る。
ただし、対応してるOSが限定されている。
Windows、Linux、ESX(ESXi)しか対応してない。
Solarisは対応準備中だったはず。
http://opensolaris.org/jive/thread.jspa?threadID=132304
ファーム違いで10GbEのみボードもある。

30 ：

あらおもしろい

31 ：

じゃあIBが勝とうが10GbEが勝とうが、勝つのはMellanoxですか。
どっちが勝つか判らんうちから安心して買えると言うのは強いなぁ。

32 ：

さすがにebayでも$20レベルのものはシングルポートか

33 ：

>>31
10GbEは実際に試してないからわからないけど、マニュアル読むと動くみたい。
あと、コネクタの変換アダプタが必要ですが。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=78&menu_section=36
>>32
安いのはシングルポート、IB機能だけになるよ
IBの機能だけでいいのだったら安いので十分。
ConnectXがいい人は、OEMのメーカのやつだと安くでてたりするのでそっちを狙うのもありかな

34 ：

個人で中古のciscoルータやスイッチ買うような人間が、ちょっと手を伸ばしやすいIB スイッチはFlextronocs sdr 8port なのかな。もちろんSubnet Managerは別途手当てとして。

35 ：

>>34
買いやすいのは、言われてるようにFlextronicsのF-X430066ですね。
国内じゃ定価40万位するけど、海外だと$700切るくらい。
F-X430060使ってるけど、1Uサーバのファンが全開で回ってる位の騒音だしてるので
ぶっちゃけ24ポートのはお勧めしないｗ
8ポートのでもファンは付いてるみたいだけど、どの位の音するのかな？
使ってる人いたら是非レポートをｗ

36 ：

>>35
やっぱりそうなのね。
個人で検証したいのでsdrレベルで一式揃えようかと画策してたり。送料とか込みでサーバ抜いて10万ぐらいあれば環境が整うのか。

37 ：

>>35
職場でF-X430066使ってる。
HPの2U鯖(DL380G6)と一緒のラックに入っているが、
特にF-X430066がうるさい感じはしない。
単体で音を聞けば確かに音はするが、
そんなにひどくないように思う。

38 ：

ついでに書くと、QSFPのConnectX-2(MHQH29CのHP向けOEM)とF-X430066を
CX4-QSFPのhybrid cableで繋いで問題なく使えてる。もちろん10Gbpsだけど。
F-X430066は中身MellanoxのInfiniscaleでfirmwareもMellanoxからでているぐらいなので、
見てくれは怪しいけど(?)普通に動く。

39 ：

>>37
家にラック置くとあまりのうるささにびっくりするぜ？
マシンルームだとそこら中でファンが回りまくってるからわからないけど

40 ：

>>37
使ってる人から書き込みが。
意外とうるさくないですか？
F-X430066って小径ファンが三つはいってるので、爆音なのかなとも思ってたんですが。
>>39
1GbEのスイッチがL3 Switchなのでかなり音がするなーと思ってたんですが、
今回入れた、F-X430060は、それをかき消してくれるような存在感ですｗ
ブックマークにあったIB関連の資料
日本語資料
しーごさんところ
http://www.viops.jp/ibday02-BASIC-xsigo.pdf
あるてらさんところ
http://www.altima.co.jp/products/mellanoxtechnologies/mellanox_techinfo.html
MSのHPCでの資料
http://technet.microsoft.com/ja-jp/library/dd391828%28WS.10%29.aspx
英語資料
OpenSMでのルータ設定
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes

41 ：

37です
>>39 , >>40
職場の奴は専用のサーバー室じゃなくて事務所の一角でつかっています。
そのため、極力静かな鯖ということでHPのDL380(+防音ラック)を選んでいたりします。
DL380G6は調べてもらえば分かりますが動作時28dBAの音圧レベルです。
これと比べて大したことないので大きめに見積もってもF-X430066は
30dbA〜35dbAぐらいじゃないでしょうか。
Z800 WorkstationのDVD読み取り中騒音が36dbAという数字で、
確かにDVDが全開で回っているのよりはF-X430066の方がマシと思えます。

42 ：

>>41 続き
音の質からして、F-X430066のfanは割と低回転で回っているようで
メンテナンスで6台の鯖すべてを落とすと、IB switchの音が聞こえてくる
(防音ラックの前後扉開放状態で)という程度です。
爆音というレベルではないですがさすがに静かな自宅に置くとなると
多少耳障りかもしれません。

43 ：

Linuxで使っているので何点か情報提供。
(1)
Redhat Enterprise Linuxの場合、OFED相当のRPM packageが用意されているので
OFEDを別途入れなくてもInfinibandを使うことができる(ちょっと古いけど)。
ただ、RHEL<=5.4はbugがあるのかMPIがちゃんと動かなかった。
RHEL 5.5, 5.6, 6.0ではRHEL付属のpackageで問題なく動いている。
(2)
LinuxでNFS/RDMAを使おうと思っている人は期待しない方がよい。
大きなfileを書き込んだりするとNFS clientが止まってしまう。
OFED 1.5.2以降で安定性の問題からNFS/RDMAが外されてしまっているので、
開発元でも動きが怪しいのは認識されているっぽい。
そのうちまともに使えるようになるといいな。
NFS over IPoIB に関しては安定して動いている(が遅い)。

44 ：

(3)
RHEL 5.6 & 6.0の環境でConnectX-2のfirmwareを2.7.0から2.8.0にしたら
opensmがちゃんと動かない状態になった。
具体的には、rebootしたhostがあってもopensmが状態変更を検知できないのか、
reboot後にlink-upしないままになってしまう。
opensm.confで"force_heavy_sweep TRUE"にするとちゃんと動いているようにみえるが、
これが正しい解なのかはよくわからない。

45 ：

自宅でCisco SFS7000Pと
Mellanox MHGH28-XTCを使用しております。
SFS7000Pのファン交換をやってみましたのでご報告します。
今回採用したファンは以下の物となります。
http://www.ainex.jp/products/cfy-40.htm
交換自体は難しくないのですが、注意点があります。
工場出荷時に搭載されているTopSpinOS2.70だと
ブート時にエラー検出し、LEDが橙点灯となります。
その状態でTopSpinOS2.90に上げたところ、
エラー検出されず、LEDは緑点灯となりました。
以上、ご報告まで！

46 ：

なんという濃い情報スレ。
これはブックマークせざるを得ない。

47 ：

濃すぎる位だなｗ
うちも、ストレージ用に使ってみたいが、
今は先立つものが無い（泣

48 ：

あやうくIB-HBAをいくつかとIBSWを買ってしまいそうになるヤバスレ

49 ：

25です。
週末に25で書いた接続をテストしてみたんですが、カードがまずいのかOSがまずいか
わからないだけど、上手く動かなかった。動かなかったのは、NexentaCore 3.01 と
OpenSM動かしてるLinuxの間。
普段はIB Swichで動かしてるけど、そっちだと問題なしなので、カードとPCを追加で
確保して環境を変えてチャレンジしてみます。
Solaris + ESXi + SMマシンって構成のSwitchless運用の需要がありそうなので、
何とか動かしてみたいんだけど。
別でDebian sid + Windows 2008 R2 のケーブル直接続での、IPoIB・SRP接続
は普通に動いた。
自分が動かした SRP Terget はSCSTだったので標準パッケージになってないから、
自前でビルドしてインストール。
あと、Debian sidの入ってるOFEDのパッケージだと1.4.1と、ちょっと古いのでDebian OEFDの
サイトから、1.5.2のパッケージの元を引っ張ってきて、自前でpackage ビルドしてインストール
したけど、テスト環境のLinuxのDiskが遅いので150MB/sでSRPは頭打ち。
ネット上で見てると、SSDのRAID0で1GB/sとか出てるみたいだけど。

50 ：

14です。
ようやくCX4 cable(HP 444477)届いた。
国内在庫がなかったのか半月ほど入荷に時間がかかった。
これだけかかるならeBay個人輸入の方が安くて良かったかも。
思惑どおり10Gbase-CX4用cableでDDR IB 20Gbpsの通信可能。
まあ、1mの短いやつだからDDRでもokなだけで、
長いとSDR IB 10Gbpsまでしか無理かもしれないけど。
※信号線1対あたりの伝送速度は
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps

51 ：

RDMAのプログラミングってどうやってみんなやってるの？
排他制御関係の文献ってしりませんか？

52 ：

サンプルコード様に頼り切りの世界。
大学のHPC方面の人なら夢で書けるレベルなんだろうな。

53 ：

RDMAはDBやクラスタアプリから利用するものであって
直接叩くものではないと思っていた
ツールキット開発者さんですか？

54 ：

ツールキットは作ってないけど、RDMAのゼロコピー性とか、
リモートのメモリに直接アクセスできる機能は
使えるんじゃないかと思って試行錯誤してますよ。

55 ：

なんぞこれ
http://www.slideshare.net/syoyo/diy-infiniband-networking
てか、ここの住人？

56 ：

>>55
4CPUで済む用途ならIB奢るより4CPUサーバを調達した方が管理運用に手間がかからなそう

57 ：

>>56
DYIだからねw
某テレビ局のCG作成室にもIB転がってたし、
CG屋さんてけっこう高速I/F知ってるみたい

58 ：

組立テスト管理工数に掛かる人件費を限りなくゼロと査定すればIBいいね
マザーCPUもメモリもトータルで安価だし
まるでどっかの原発みたいだなｗ

59 ：

>>54
排他制御どうしてるのですか？直接メモリにアクセスできるのはいいけど
メモリのアドレス勝手に変わってしまうし。かと言って、CASじゃ無理だし
どうすればいいの？

60 ：

>>43
NFS over IPoIBって安定して動いてますか？
NFS/RDMA同様と大容量を送ろうとすると、
NFSclientがハングアップする現象に遭遇しておりますが＞＜；；；

61 ：

LinuxのNFS()

62 ：

このスレ、過疎ってるかと思ったら勢いあってワロタｗｗｗ

63 ：

eBay見てると安いのだと$40とかであるのな
日本でも気軽にこの値段で手に入れば自作マシンで遊びで使えるのに

64 ：

こんないいスレあったのか
自分はMHEA28-1TCを3枚で、Windows Server 2008 R2をiSCSIターゲットにしてESXi動かしてます
やっぱりCOMSTAR使いたい！
QlogicのFCoE CNAもあるんだけど、こっちはこっちで光トランシーバが高い

65 ：

ブロックアクセスだと今はSRPが安定してるね。
パラメータさえ決まれば問題なく動く。
iSERはMellanoxのVSAでないとまともに動かないと思われ。
GlusterFSのRDMAアクセス試してみた人いる？
マニュアル見ると割と簡単に構築できそうだけど。
Lustreは一般ユースでは駄目ぽ、あれは完全に計算クラスタ用途だった。

66 ：

>>60
NFSv4 TCP なら安定して動いています。
環境はx86_64, RHEL5.6 (ただしkernelだけRHEL6の2.6.32-71を使用)、
Mellanox MHQH29C firmware 2.8.0 です。
HPC用途なので数GBの計算結果がまとめて書き出しされたりしていますが、
hang upしたりといったことは起こっていません。

67 ：

>>66
ありがとうございます。
こちらもNFSv4 TCPなんですけどねぇ。
Firmware2.7から2.8にあげるか思案中です。
OSのカーネルもあげてみようかしら。
こちらもHPCで、いくつかのノードから20GB程度のファイルを
複数送信しようとすると、いくつかハングアップって感じです＞＜；；；

68 ：

ESXiのデータストア用にZFSなストレージサーバ組みたいけど、
ZFSとSMを両立するのって難しいのかな。

69 ：

>>68
自分もやってみたんですがSolarisのSMが見当たらないのでどうにもなりませんでした
システムワークスさんのツイートに触発されてSolaris11でSRPターゲットを作り、Hyper-V Serverで接続したときは300MB/sを超えるスピードを出したので
ぜひESXiホストにも使いたいと思ってるんですが

70 ：

>>69
やっぱりSolarisにSMが無いのがネックになりますか、残念です。
ESXiに各種鯖を統合、HDDはSolarisに集約、という具合にして両者をIBで直結させたら
非常にスマートかなぁと妄想してたのですけど。
ESXi単体では難しい各種アラートの処理や、UPSとの連携をSolarisに担当させたりして。
IB使うなら CentOS辺りが無難なのかな。
ただそうなるとRAIDZが…う〜む...

71 ：

IPoIB使うと、InfiniBandの利点の低レイテンシも損なわれたりする？

72 ：

そういったことをこまこまと試したいので手元にブツが欲しいのさ

73 ：

ebayで買った中古のF-X430066のスイッチが届いたんでレポ。
ちなみにかなりうるさい。これは自室に置いておくのは躊躇する。ML115が全開でファンがまわってるときと変わらない。
あと、ファームの更新もi2c経由でしか出来ないのかな。mlxburnで更新しようとしたけど駄目って言われる。

74 ：

常にML115全開並ってのは凄いな。掃除機クラスか。

75 ：

消費電力３０Wとか書いてあるけど、爆音なのか？
分解してファンはずしちゃえ。

76 ：

>>74
確認でML115全開と聞き比べたけど、それよりかは静かだったよ。
リビジョンが何種類かあるので、上の方で書かれてる方のように最近のは静かになってるのかも
>>75
小径ファンが3つ付いてる状態なので、取っ払うのは流石に怖いｗ
暫く運用してみて、温度的にファン交換可能そうなら交換してみるか・・・

77 ：

F-X430066割とコンパクトでいいなぁ…と思ったんだけど
やっぱりSMはない…よね？

78 ：

>>77
残念ながら、SMはついてないですね。

79 ：

MellanoxのサイトにConnectX-3のページがいつの間にか出来てるね。
FDR(56Gbps)のPCIe Gen3対応か・・・。
お値段どのくらいででてくるんだろう

80 ：

人いないなぁ...
eBayで安く手に入るとは言っても さすがにニッチすぎるか、家庭内IB。

81 ：

まだ入手してないしな

82 ：

とりあえず、IPoIB と nfs over rdma を3台くらい
試したいんだけど、どの SW とどの HCA 買えばいいかを
しりたいな
予算全部で10万ぐらい、solaris と linux で試す予定

83 ：

>>82
個人的なお勧めは
SWはF-X430066。
Linux用カードは、基本何でも動くので気にしない。
Solarisはカード選ぶので、MellanoxのConnectX系かInfiniHost III Exのメモリ付きで。
上の構成だとebayの中古で買えば10万はかからないかと。
国内は物が少なすぎて微妙っすね。
うちで動作確認したカード
Windows・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
Linux・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
OpenSolaris・・・MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
ファームのバージョンとかドライバの組み合わせによっては動かない事のがあるので注意

84 ：

乙すぎる。
実質、この人一人でスレ回ってるんじゃなかろうか。

85 ：

ちとスレ違いかもしれんが、海外通販の
コツみたいのはありますか？
ボードはなんとか国内で揃えられたんだが
ケーブルが安く揃えられん・・・

86 ：

国内だとCX4とかQSFPのケーブルは安くはないですね。
自分は中古をebayの業者から購入して、転送サービス使ってカードとケーブルをまとめて日本に発送ってやりました。
個別に買ったのだと、中国から3mのケーブルで一本あたり送料込みで$30くらいでした。
ケーブルがごついので長くなればそのぶん重量が増えるますのでご注意を。

87 ：

とあるスレみてたらInfinibandという言葉が出てきたので何ぞや？
と思い調べてみたら興味を持ちました。
Infiniband環境を構築するにあたり疑問点
・スイッチのSM有無によるメリットデメリット
・非力なPCにDDRやQDRのHCA搭載した場合のデメリット（CPU負荷が高くなりすぎるので他の作業ができなくなるなど）

88 ：

>>87
スイッチにSMある場合のメリットは、SMの専用サーバが不要。
SMサーバのLinuxもしくはWindowsが不要。
SolarisとかESXiみたいにSMが乗っからない環境だけで構築できるのがメリット。
デメリットは、OpenSMだと色々拡張されていってるけど、スイッチのSMだとその機能拡張が
すぐには使えないのがデメリット
非力なPCってのがどのくらいか解らないけど、参考程度に
PC二台でのIPoIB計測結果。
PC1 Xeon X3430 X3420チップセット OpenSolaris 134b
PC2 Athlon X2 5000+ MCP55チップセット Linux Debian OFED 1.5.2
PC1のカードは、ConnectX使用。
PC2のカードは、InfiniHostExとConnectXの二種類で計測
接続はSDRのSW挟んでます。
iperf -w 128k -N での計測結果
PC2がInfiniHostExの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.26 GBytes 1.94 Gbits/sec
PC2がConnectXの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 4.79 GBytes 4.11 Gbits/sec
チューニングは全くしていない状態の結果です。

89 ：

>>88
丁寧な説明ありがとうございます。
一応以下の条件で組んでみようかと思っています。
[台数]　4台
[O　S]　全部Windows
[CPU]　Xeon搭載が1、他はAtomやらZacateの非力自作
[条件]
XeonPCは消費電力高すぎるのでたまにしか使用せず
メイン使用はZacatePC（常時稼動可）、他は未使用時電源断
↑の場合だとスイッチのSM有無はあまり関係なさそうですね？
SM無スイッチ+1ポートHCAx4（1台SM用サーバー化）という構成でお財布と相談してみようと思います。

90 ：

>>89
Windows OnlyだとSM無しの安いSWで十分ですね。
カードサイズがほとんどPCIe x8なので刺さるかご注意を。
MHES14だけがPCIe x4です。

91 ：

>>88
ConnectX同士でつないだときの速度がぱないな
DDRやQDRなら、OpenSM使って間にSW挟まずにConnectX同士を直結した場合は
もっと速くなるんでしょうか？

92 ：

>>91
現在運用中だから、今度サーバ再構成するときにでもConnectX同士でテストしてみるよ。
ただ、うちの環境は遅すぎる気がしてますがｗ

93 ：

FreeBSD CurrentにOFED1.5.3が入ってたのでInfiniBandが動くか試してみたけどダメだった orz
OFED有効にした userland と kernelのコンパイルは通ったけど、ドライバがロードできなかったよ

94 ：

このスレに触発されて買っちゃった・・・
MHGA28-XTC、送料込みで2個 16,000円
ケーブルってSASで使ってたケーブルがそのまま使えるんでしょうか？
SASで使ってたやつはスクリュー型だけどそれはおいて置くとして。

95 ：

>>94
お、どこで買ったの？
結構安くね？

96 ：

>>94
MHGA28がそのお値段なら安いですね。
ケーブルなんですが、SASのケーブルだとDDRではリンクできなかったりするかも。
あと、カード側のラッチの固定部分とスクリューのネジ部分が干渉してつかない可能性が
別の話題ですが、ケーブルついでに、
10GbE-CX4のケーブルとInfiniBandのCX4ケーブルだとこういう違いがあったりします
http://www.gore.com/en_xx/products/cables/copper/networking/cx4/cx4_faqs.html

97 ：

CX4のケーブル買いたいンだけど、海の向こうじゃ半端なく安いな。
goreの5mでも\2000切るんだけど。
んで、送料で\4000取られる・・・3本だと送料\7000とか言われる

98 ：

ならば1000本単位ぐらいで買えば一本あたりの送料は安くなるんじゃね？

99 ：

>>97
スピアネットとかで転送しても安くならない？

100read 1read

1read 100read

TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲