普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。
主要ベンダ
http://www.mellanox.com/
http://www.qlogic.com/
規格・管理ソフト等
http://www.openfabrics.org/
使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX
参考
http://www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
http://ja.wikipedia.org/wiki/InfiniBand
HCA(HostChannnelAdapter)
ホストに刺す物理インターフェイス
SM(SubnetManager)
InfiniBandネットワークでは必須。ないと動かない
IPoIB(IP over IB)
InfiniBand上でIPネットワークをカプセル化するためのプロトコル
RDS(Reliable Datagram Sockets)
InfiniBandネイティブでUDPの変わりに使用するプロトコル
SDP(Socket Direct Protocol)
InfiniBandネイティブでTCPの変わりに使用するプロトコル
SRP(SCSI RDMA Protocol)
InfiniBand上のSCSIコマンドをカプセル化して使用するためのプロトコル
MPI(Message Passing Interface)
メモリ分散型の並列計算をサポートするためのライブラリ。
・P2Pネットワークで組む場合には、OpenSM等のSubnetManagerが必須。
・スイッチを使用する場合でも、SubnetManagerが組み込み出ない場合には
OpenSM等を動かす必要がある。
・OpenSMはLinux・Windows用が提供されている。
ドライバ等
Windows・Linux
HCAメーカが配布してるパッケージでインストールするのと、
OFEDが配布しているパッケージでインストールするのがある。
メーカ配布のパッケージもOFEDのパッケージが元になってる。
vSphere Server
Mellanoxの場合はメーカの配布しているドライバを使用する。
Solaris・HP-UX・AIX
OSに標準でドライバが入っている。
※注意点
ファームウェアのバージョンによって対応ドライバが変わったりするので注意。
ebayで探すと安いのは$20くらいからあるので10GbE導入するよりは安そうなんですが
iSCSI用に個人で使ってる人とか居ませんか？
個人じゃない方も大歓迎ですが
SDR IPoIB
http://blog.systemworks.co.jp/?p=456
DDR iSER
http://blog.systemworks.co.jp/?p=492
色々条件が違うので単純に比較は出来ませんが
IBって10GbEみたいに繋いで終了じゃないので、そこが取っつきにくいのかな？
あと、HPC関連がメインだったので他の用途だとあんまりつかわれてなかったのが大きいかも
ネタ的にほとんどでてこなかったし
前提知識が全くないんだがiSCSIやるのに何を購入して何をセットアップすりゃいいの？
うちでiSCSIテストしたときは、クライアント二台だったんだけど
ハードはカードとケーブルだけでいける。
ソフトとドライバは、カードメーカかOFEDから落とせばおっけー。
OpenSMってソフト動かさないと実際にはIBネットワークには繋がらないので、
そのへん注意ね。
ただ、安いカードだとIPoIBの上でiSCSIが動くのでパフォーマンスがそれなりにおちる。
高いカードだと色々ハード側で処理してくれるのでそんなにパフォーマンス落ちないんだけどね。
で、うちはiSCSIの変わりにSRPってプロトコル使うようにした。
TargetにOpenSolaris使ったらWindowsのinitiatorから繋がらなかったけど、Linuxを使ってやったら繋がった。
ちなみに、OSは何使うんでしょ？
用語集に追加
RDMA(Remote Direct Memory Access)
リモートDMA。あるPCからリモートのPCへのDMA転送を行うこと
iSER(iSCSI Extensions for RDMA)
iSCSIのデータ転送をRDMAにて行うことによって速度を向上させる。
TargetはOpenSolarisでInitiatorはLinux(KVM)、ESXiあたりかな。
ひとまずKVMが使えればいいとおもってます。
カードとケーブルか・・・価格帯もピンキリですかね。
その構成だったらOpenSolarisがカード選ぶので、そこを気をつけて。
うちは、全部MellanoxのMHEA28-XTC購入してたんですが、Solarisのドライバが対応してなくてはまりました。
ESXiはMellanoxのIBカードは対応してるので大丈夫。
LinuxもOEFDのソフトがあるディストリだったら大丈夫かと。
メーカ純正のドライバじゃないとまずいって話だったら、RHELかSLSとかになっちゃいますが
カードですが、現行のモデルのものはやっぱり高いです。
ケーブルはCX4(旧)とQSFP(新)の二種類ありますが、値段はそんなに変わらないかと。
自分買ったのはeBayの国際配送してくれる業者から買いましたが、新品カード一枚$50と中古3mケーブル1本$25くらいでした。
新しめのカードだと、IBだけじゃなくて10GbEが喋れたりすのですが、OEM物の安いので$150くらいでしたね。
あと、新しいIB環境のソフトで動かそうとすると、ファームのバージョンによっては動いてくれなかったりするので、
カードのファームとIB環境のソフトは推奨の物を使用するようにした方がよいです。(各ホスト単位の話です)
自分がテストしてみた事ならネタ吐き出してきますので。
CISCOのInfiniBandについての説明
http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml
HPのIBでのRDMAプロトコルの説明
http://h50146.www5.hp.com/products/servers/proliant/whitepaper/wp049_060331/p03.html
UbuntuでのInfiniband環境構築
ttp://www.sepia-days.org/20110104.html
Dual port HCAなので3台をcable 3本で直結すればswitchなしでそれぞれ通信できる予定。
探した中でHPの10Gbase-CX4用(444477-B22)が安そうだったので購入。
10Gbase-CX4用だったらSDR Infinibandは確実にokなはず、
20GbpsのDDRでも多分動くと思うけど、届いて動作確認できたらまた書き込みマス。
月末あたりにIYHしちゃいそうだ。
Infinihost
PCI-Xの世代のカード。eBayで$60くらいか
InfiniHost III Ex
PCIe Gen1 世代のDualPortカード。eBayで安いのは$50くらいから
型番は MH*A28
最初の*がEはSDR、GはDDR。
※メモリ付きはSolaris系で動作可。なしは動かず。
InfiniHost III Lx
PCIe Gen1 世代のSinglePortカード。eBayで安いのは$40くらいから
型番は MH*S18 MHES14
最初の*がEはSDR、GはDDR。
※Solaris系では動かず。
ConnectX
PCIe Gen2 対応が入る。eBayで$160くらいから
型番はMH*H**
最初の*がEはSDR、GとRはDDR、JとQはQDR。
RとQはコネクタがQSFPなので注意。それ以外はCX-4の形状。
二番目の*が1は1ポート、2は2ポート
最後の*が8はPCIe Gen1、9はPCIe Gen2。
この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。
ConnectX-2
PCIe Gen2 対応。eBayで$400くらいから
型番はMH*H*9A MH*H*9B MH*H*9C
ConnectXの型番の最後にAだのBだのが付いてたらConnectX-2。
チップのプロセスが変わって省電力・小サイズになってる模様。
型番の-以下三桁の意味
一桁目 Xはメモリなし、1が128M、2が256M、3が512M
二桁目 ブラケットの大きさ SはLowProfile、Tは普通のサイズ
三桁目 RoHSの対応なので（ｒｙ
スイッチは高いしなによりうるさそうで。８ポートぐらいで静かなのあればそれでもまあいいんだけど。
残念ながら今のところSolaris系で動くSMはないみたい
スイッチも安いやつだとSM入ってないのばっかりですわ
そうでつ。
ちなみにどちらのInfiniband Switchが付いてきました？
うちはシスコだったけど、最近変わったそうなので。
Voltaireо Grid SwitchTM ISR 9024 は不明
FlextronicsのシリーズはSMはなし
Mellanoxの高いのはSMがオプションでつけれる感じ
これらはsolarisいけるの？
おもしろそうではあるが、自宅はESXiとoiのNFSに全部集約してしまったからSMが鬼門すぎるなあ・・・
8ポートのSM無しスイッチ買って、SM用にlinux1台立ち上げるのが自宅サーバで出来る範囲かな
うちではSolarisでConnectX使ってるけどIBは動いてる
ただSolarisだと、ドライバがIB以外の機能にいまのところ対応してなかったはず。
ごめん、誤解ある書き方だったね。
そういう構成だったらスイッチなくても動くよ。
PC1 -- PC2 -- PC3
PC2にDualポートのカードいるけど。
って繋ぎ方で動く筈。
使ってるOSがうちと一緒だから、週末にでも実験してみるよ。
うちはCiscoでしたよ。
SolarisのInfinibandサポート状況
OpenSMをポーティングしてるって書いてあるね。
ReleaseはTBDになってるけど。
ってのがわからんけど、物理層が同じだからファーム書き換えると
10GbEになったりIBになったりするってこと？それともシリーズ内に
10GbEのHCAやIBのHCAがあるってだけ？
ドライバで10GbEやIBになる。
2ポートあると、片方はIBでもう一つは10GbEとか出来る。
ただし、対応してるOSが限定されている。
Windows、Linux、ESX(ESXi)しか対応してない。
Solarisは対応準備中だったはず。
http://opensolaris.org/jive/thread.jspa?threadID=132304
ファーム違いで10GbEのみボードもある。
どっちが勝つか判らんうちから安心して買えると言うのは強いなぁ。
10GbEは実際に試してないからわからないけど、マニュアル読むと動くみたい。
あと、コネクタの変換アダプタが必要ですが。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=78&menu_section=36
>>32
安いのはシングルポート、IB機能だけになるよ
IBの機能だけでいいのだったら安いので十分。
ConnectXがいい人は、OEMのメーカのやつだと安くでてたりするのでそっちを狙うのもありかな
買いやすいのは、言われてるようにFlextronicsのF-X430066ですね。
国内じゃ定価40万位するけど、海外だと$700切るくらい。
F-X430060使ってるけど、1Uサーバのファンが全開で回ってる位の騒音だしてるので
ぶっちゃけ24ポートのはお勧めしないｗ
8ポートのでもファンは付いてるみたいだけど、どの位の音するのかな？
使ってる人いたら是非レポートをｗ
やっぱりそうなのね。
個人で検証したいのでsdrレベルで一式揃えようかと画策してたり。送料とか込みでサーバ抜いて10万ぐらいあれば環境が整うのか。
職場でF-X430066使ってる。
HPの2U鯖(DL380G6)と一緒のラックに入っているが、
特にF-X430066がうるさい感じはしない。
単体で音を聞けば確かに音はするが、
そんなにひどくないように思う。
CX4-QSFPのhybrid cableで繋いで問題なく使えてる。もちろん10Gbpsだけど。
F-X430066は中身MellanoxのInfiniscaleでfirmwareもMellanoxからでているぐらいなので、
見てくれは怪しいけど(?)普通に動く。
家にラック置くとあまりのうるささにびっくりするぜ？
マシンルームだとそこら中でファンが回りまくってるからわからないけど
使ってる人から書き込みが。
意外とうるさくないですか？
F-X430066って小径ファンが三つはいってるので、爆音なのかなとも思ってたんですが。
>>39
1GbEのスイッチがL3 Switchなのでかなり音がするなーと思ってたんですが、
今回入れた、F-X430060は、それをかき消してくれるような存在感ですｗ
ブックマークにあったIB関連の資料
日本語資料
しーごさんところ
http://www.viops.jp/ibday02-BASIC-xsigo.pdf
あるてらさんところ
http://www.altima.co.jp/products/mellanoxtechnologies/mellanox_techinfo.html
MSのHPCでの資料
http://technet.microsoft.com/ja-jp/library/dd391828%28WS.10%29.aspx
英語資料
OpenSMでのルータ設定
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes
>>39 , >>40
職場の奴は専用のサーバー室じゃなくて事務所の一角でつかっています。
そのため、極力静かな鯖ということでHPのDL380(+防音ラック)を選んでいたりします。
DL380G6は調べてもらえば分かりますが動作時28dBAの音圧レベルです。
これと比べて大したことないので大きめに見積もってもF-X430066は
30dbA〜35dbAぐらいじゃないでしょうか。
Z800 WorkstationのDVD読み取り中騒音が36dbAという数字で、
確かにDVDが全開で回っているのよりはF-X430066の方がマシと思えます。
音の質からして、F-X430066のfanは割と低回転で回っているようで
メンテナンスで6台の鯖すべてを落とすと、IB switchの音が聞こえてくる
(防音ラックの前後扉開放状態で)という程度です。
爆音というレベルではないですがさすがに静かな自宅に置くとなると
多少耳障りかもしれません。
(1)
Redhat Enterprise Linuxの場合、OFED相当のRPM packageが用意されているので
OFEDを別途入れなくてもInfinibandを使うことができる(ちょっと古いけど)。
ただ、RHEL<=5.4はbugがあるのかMPIがちゃんと動かなかった。
RHEL 5.5, 5.6, 6.0ではRHEL付属のpackageで問題なく動いている。
(2)
LinuxでNFS/RDMAを使おうと思っている人は期待しない方がよい。
大きなfileを書き込んだりするとNFS clientが止まってしまう。
OFED 1.5.2以降で安定性の問題からNFS/RDMAが外されてしまっているので、
開発元でも動きが怪しいのは認識されているっぽい。
そのうちまともに使えるようになるといいな。
NFS over IPoIB に関しては安定して動いている(が遅い)。
RHEL 5.6 & 6.0の環境でConnectX-2のfirmwareを2.7.0から2.8.0にしたら
opensmがちゃんと動かない状態になった。
具体的には、rebootしたhostがあってもopensmが状態変更を検知できないのか、
reboot後にlink-upしないままになってしまう。
opensm.confで"force_heavy_sweep TRUE"にするとちゃんと動いているようにみえるが、
これが正しい解なのかはよくわからない。
Mellanox MHGH28-XTCを使用しております。
SFS7000Pのファン交換をやってみましたのでご報告します。
今回採用したファンは以下の物となります。
http://www.ainex.jp/products/cfy-40.htm
交換自体は難しくないのですが、注意点があります。
工場出荷時に搭載されているTopSpinOS2.70だと
ブート時にエラー検出し、LEDが橙点灯となります。
その状態でTopSpinOS2.90に上げたところ、
エラー検出されず、LEDは緑点灯となりました。
以上、ご報告まで！
これはブックマークせざるを得ない。
うちも、ストレージ用に使ってみたいが、
今は先立つものが無い（泣
週末に25で書いた接続をテストしてみたんですが、カードがまずいのかOSがまずいか
わからないだけど、上手く動かなかった。動かなかったのは、NexentaCore 3.01 と
OpenSM動かしてるLinuxの間。
普段はIB Swichで動かしてるけど、そっちだと問題なしなので、カードとPCを追加で
確保して環境を変えてチャレンジしてみます。
Solaris + ESXi + SMマシンって構成のSwitchless運用の需要がありそうなので、
何とか動かしてみたいんだけど。
別でDebian sid + Windows 2008 R2 のケーブル直接続での、IPoIB・SRP接続
は普通に動いた。
自分が動かした SRP Terget はSCSTだったので標準パッケージになってないから、
自前でビルドしてインストール。
あと、Debian sidの入ってるOFEDのパッケージだと1.4.1と、ちょっと古いのでDebian OEFDの
サイトから、1.5.2のパッケージの元を引っ張ってきて、自前でpackage ビルドしてインストール
したけど、テスト環境のLinuxのDiskが遅いので150MB/sでSRPは頭打ち。
ネット上で見てると、SSDのRAID0で1GB/sとか出てるみたいだけど。
ようやくCX4 cable(HP 444477)届いた。
国内在庫がなかったのか半月ほど入荷に時間がかかった。
これだけかかるならeBay個人輸入の方が安くて良かったかも。
思惑どおり10Gbase-CX4用cableでDDR IB 20Gbpsの通信可能。
まあ、1mの短いやつだからDDRでもokなだけで、
長いとSDR IB 10Gbpsまでしか無理かもしれないけど。
※信号線1対あたりの伝送速度は
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
排他制御関係の文献ってしりませんか？
大学のHPC方面の人なら夢で書けるレベルなんだろうな。
直接叩くものではないと思っていた
ツールキット開発者さんですか？
リモートのメモリに直接アクセスできる機能は
使えるんじゃないかと思って試行錯誤してますよ。
http://www.slideshare.net/syoyo/diy-infiniband-networking
てか、ここの住人？
4CPUで済む用途ならIB奢るより4CPUサーバを調達した方が管理運用に手間がかからなそう
DYIだからねw
某テレビ局のCG作成室にもIB転がってたし、
CG屋さんてけっこう高速I/F知ってるみたい
マザーCPUもメモリもトータルで安価だし
まるでどっかの原発みたいだなｗ
排他制御どうしてるのですか？直接メモリにアクセスできるのはいいけど
メモリのアドレス勝手に変わってしまうし。かと言って、CASじゃ無理だし
どうすればいいの？
NFS over IPoIBって安定して動いてますか？
NFS/RDMA同様と大容量を送ろうとすると、
NFSclientがハングアップする現象に遭遇しておりますが＞＜；；；
日本でも気軽にこの値段で手に入れば自作マシンで遊びで使えるのに
自分はMHEA28-1TCを3枚で、Windows Server 2008 R2をiSCSIターゲットにしてESXi動かしてます
やっぱりCOMSTAR使いたい！
QlogicのFCoE CNAもあるんだけど、こっちはこっちで光トランシーバが高い
パラメータさえ決まれば問題なく動く。
iSERはMellanoxのVSAでないとまともに動かないと思われ。
GlusterFSのRDMAアクセス試してみた人いる？
マニュアル見ると割と簡単に構築できそうだけど。
Lustreは一般ユースでは駄目ぽ、あれは完全に計算クラスタ用途だった。
NFSv4 TCP なら安定して動いています。
環境はx86_64, RHEL5.6 (ただしkernelだけRHEL6の2.6.32-71を使用)、
Mellanox MHQH29C firmware 2.8.0 です。
HPC用途なので数GBの計算結果がまとめて書き出しされたりしていますが、
hang upしたりといったことは起こっていません。
ありがとうございます。
こちらもNFSv4 TCPなんですけどねぇ。
Firmware2.7から2.8にあげるか思案中です。
OSのカーネルもあげてみようかしら。
こちらもHPCで、いくつかのノードから20GB程度のファイルを
複数送信しようとすると、いくつかハングアップって感じです＞＜；；；
ZFSとSMを両立するのって難しいのかな。
自分もやってみたんですがSolarisのSMが見当たらないのでどうにもなりませんでした
システムワークスさんのツイートに触発されてSolaris11でSRPターゲットを作り、Hyper-V Serverで接続したときは300MB/sを超えるスピードを出したので
ぜひESXiホストにも使いたいと思ってるんですが
やっぱりSolarisにSMが無いのがネックになりますか、残念です。
ESXiに各種鯖を統合、HDDはSolarisに集約、という具合にして両者をIBで直結させたら
非常にスマートかなぁと妄想してたのですけど。
ESXi単体では難しい各種アラートの処理や、UPSとの連携をSolarisに担当させたりして。
IB使うなら CentOS辺りが無難なのかな。
ただそうなるとRAIDZが…う〜む...
ちなみにかなりうるさい。これは自室に置いておくのは躊躇する。ML115が全開でファンがまわってるときと変わらない。
あと、ファームの更新もi2c経由でしか出来ないのかな。mlxburnで更新しようとしたけど駄目って言われる。
分解してファンはずしちゃえ。
確認でML115全開と聞き比べたけど、それよりかは静かだったよ。
リビジョンが何種類かあるので、上の方で書かれてる方のように最近のは静かになってるのかも
>>75
小径ファンが3つ付いてる状態なので、取っ払うのは流石に怖いｗ
暫く運用してみて、温度的にファン交換可能そうなら交換してみるか・・・
やっぱりSMはない…よね？
残念ながら、SMはついてないですね。
FDR(56Gbps)のPCIe Gen3対応か・・・。
お値段どのくらいででてくるんだろう
eBayで安く手に入るとは言っても さすがにニッチすぎるか、家庭内IB。
試したいんだけど、どの SW とどの HCA 買えばいいかを
しりたいな
予算全部で10万ぐらい、solaris と linux で試す予定
個人的なお勧めは
SWはF-X430066。
Linux用カードは、基本何でも動くので気にしない。
Solarisはカード選ぶので、MellanoxのConnectX系かInfiniHost III Exのメモリ付きで。
上の構成だとebayの中古で買えば10万はかからないかと。
国内は物が少なすぎて微妙っすね。
うちで動作確認したカード
Windows・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
Linux・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
OpenSolaris・・・MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
ファームのバージョンとかドライバの組み合わせによっては動かない事のがあるので注意
実質、この人一人でスレ回ってるんじゃなかろうか。
コツみたいのはありますか？
ボードはなんとか国内で揃えられたんだが
ケーブルが安く揃えられん・・・
自分は中古をebayの業者から購入して、転送サービス使ってカードとケーブルをまとめて日本に発送ってやりました。
個別に買ったのだと、中国から3mのケーブルで一本あたり送料込みで$30くらいでした。
ケーブルがごついので長くなればそのぶん重量が増えるますのでご注意を。
と思い調べてみたら興味を持ちました。
Infiniband環境を構築するにあたり疑問点
・スイッチのSM有無によるメリットデメリット
・非力なPCにDDRやQDRのHCA搭載した場合のデメリット（CPU負荷が高くなりすぎるので他の作業ができなくなるなど）
スイッチにSMある場合のメリットは、SMの専用サーバが不要。
SMサーバのLinuxもしくはWindowsが不要。
SolarisとかESXiみたいにSMが乗っからない環境だけで構築できるのがメリット。
デメリットは、OpenSMだと色々拡張されていってるけど、スイッチのSMだとその機能拡張が
すぐには使えないのがデメリット
非力なPCってのがどのくらいか解らないけど、参考程度に
PC二台でのIPoIB計測結果。
PC1 Xeon X3430 X3420チップセット OpenSolaris 134b
PC2 Athlon X2 5000+ MCP55チップセット Linux Debian OFED 1.5.2
PC1のカードは、ConnectX使用。
PC2のカードは、InfiniHostExとConnectXの二種類で計測
接続はSDRのSW挟んでます。
iperf -w 128k -N での計測結果
PC2がInfiniHostExの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.26 GBytes 1.94 Gbits/sec
PC2がConnectXの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 4.79 GBytes 4.11 Gbits/sec
チューニングは全くしていない状態の結果です。
丁寧な説明ありがとうございます。
一応以下の条件で組んでみようかと思っています。
[台数] 4台
[O S] 全部Windows
[CPU] Xeon搭載が1、他はAtomやらZacateの非力自作
[条件]
XeonPCは消費電力高すぎるのでたまにしか使用せず
メイン使用はZacatePC（常時稼動可）、他は未使用時電源断
↑の場合だとスイッチのSM有無はあまり関係なさそうですね？
SM無スイッチ+1ポートHCAx4（1台SM用サーバー化）という構成でお財布と相談してみようと思います。
Windows OnlyだとSM無しの安いSWで十分ですね。
カードサイズがほとんどPCIe x8なので刺さるかご注意を。
MHES14だけがPCIe x4です。
ConnectX同士でつないだときの速度がぱないな
DDRやQDRなら、OpenSM使って間にSW挟まずにConnectX同士を直結した場合は
もっと速くなるんでしょうか？
現在運用中だから、今度サーバ再構成するときにでもConnectX同士でテストしてみるよ。
ただ、うちの環境は遅すぎる気がしてますがｗ
OFED有効にした userland と kernelのコンパイルは通ったけど、ドライバがロードできなかったよ
MHGA28-XTC、送料込みで2個 16,000円
ケーブルってSASで使ってたケーブルがそのまま使えるんでしょうか？
SASで使ってたやつはスクリュー型だけどそれはおいて置くとして。
お、どこで買ったの？
結構安くね？
MHGA28がそのお値段なら安いですね。
ケーブルなんですが、SASのケーブルだとDDRではリンクできなかったりするかも。
あと、カード側のラッチの固定部分とスクリューのネジ部分が干渉してつかない可能性が
別の話題ですが、ケーブルついでに、
10GbE-CX4のケーブルとInfiniBandのCX4ケーブルだとこういう違いがあったりします
http://www.gore.com/en_xx/products/cables/copper/networking/cx4/cx4_faqs.html
goreの5mでも\2000切るんだけど。
んで、送料で\4000取られる・・・3本だと送料\7000とか言われる
スピアネットとかで転送しても安くならない？
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
どうしてﾎﾞｰﾙﾍﾞｱﾘﾝｸﾞ軸受けHDDは無くならないのか？ (401)
DELL UltraSharp U2410 WUXGA IPSパネル 21台目 (202)
パソコンモニターの光沢液晶を発売禁止にしろ (507)
有料ショップ dostore 総合スレッド8 (500)
Lenovo ThinkServer TS130 (257)
どうしてﾎﾞｰﾙﾍﾞｱﾘﾝｸﾞ軸受けHDDは無くならないのか？ (401)
--log9.info------------------
月刊ジャンプネタバレスレ Vol2 (760)
よくﾈﾀにされる「俺たちの闘いはこれからだ！」って (110)
【少年漫画板限定】少年漫画誌総合スレ (164)
キン肉マンスレの長文マンアンチスレ (333)
【あわ箱】 浪漫三重奏 【別冊マガジン】 (404)
【品川ヒロシ×高橋ヒロシ×鈴木ダイ】ドロップOG (133)
無料で見れるネット立ち読み漫画 どう思うよ (517)
コミックブレイドMASAMUNE ３月号 (282)
バキの食生活を考えるスレ (281)
ジャンプつまらんので集英社破壊 (154)
【尚村透】失楽園 Part1【ガンガンJOKER】 (713)
【石井あゆみ】信長協奏曲 part3【ゲッサン】 (258)
キン肉マン ネタバレスレッド 1万パワー目 (152)
【ガンガン】ブラッディクロス 1滴目【米山シヲ】 (195)
【コロコロ】スーパーマリオくん 第３ステージ (258)
コロコロコミック総合スレッド32月号 (241)
--log55.com------------------
【IRI】イラン男子バレー総合 5【アジア最強】
【USA】アメリカ男子バレー総合 4【バレー発祥の国】
【THA】タイ女子バレー総合 9【微笑みの国】
【V1・カモメ】 岡山シーガルズ81羽 【ウィンディー】
【親善試合】全日本男子Ｐａｒｔ235【ワールドカップ】
【全日本】ユニバ・ジュニア・ユース総合 10【女子】
全日本女子1101
ラグビー日本代表 part 328
