1read 100read
2012年07月データベース87: 数十メガバイトのファイルをどんどん格納できるDB (202)
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▼
XML統合スレッド (391)
MySQL 総合 Part23 (204)
MSDEよりいいDB、ありませんか? (345)
MySQL vs PostgreSQL Part2 (690)
MySQL 5.0 (547)
【M言語】キャシエ・CACHE【MUMPS】 (269)
数十メガバイトのファイルをどんどん格納できるDB
- 1 :05/01/24 〜 最終レス :2012/04/30
- なんてありますか?
- 2 :
- シラネ
- 3 :
- そんだけでかいデータとなると、
もう4th Dimensionしかねぇな。
他のDBじゃ目が回っちまうぜ
- 4 :
- >>4th Dimension
これはやめとけ。つぶしが効かないし、DBファイルやインデックスがすぐ壊れて何度もツールを
かける羽目に陥る。
やるとしたら、ファイルを格納するのではなく、ファイルのパスを格納する仕組みにしたほうがいい。
- 5 :
- >やるとしたら、ファイルを格納するのではなく、ファイルのパスを格納する仕組みにしたほうがいい。
これサイアク。
バックアップとかもやり難いし、検索もままならない。
- 6 :
- 4は仕組みでも何でも無くて、素人がいつも使う手。
さらにそのDBにMDBが使われる場合多し。
4みたいなことするくらいなら氏んだ方が良い。
- 7 :
- そこでFM7ですよ。8TBまでOK。
やったことはないがな。
- 8 :
- 凄い期待してググったらシンセがひっかかった。
冷静になって考えたら、
File Makeのこと?
そんなんただのアプリじゃん。
- 9 :
- WindowsならNTFS
- 10 :
- >>8
YAMAHA のやつか。<FM7
富士通のはひっかからなかった?
>>1
Oracle でいいんじゃないの?
- 11 :
- 今まで格納した一番大きいファイルのサイズとDB名を書くスレ
- 12 :
- MF7=FileMaker Pro 7
- 13 :
- FM-7
富士通の8ビットパソコン^^
- 14 :
- >>1 がBLOBっちゅう単語を知っているかどうかがポイントなのだが
- 15 :
- あーあ、言っちゃった
- 16 :
- >>1
Oracle
Longhornの宣伝文句だったWinFSとほぼ同じ事が出来るぞ。
- 17 :
- 逆に言うと、Oracle以外じゃ無理?
- 18 :
- >>14
Blog?
- 19 :
- >>17
blob使えるとか64bit化されてるDBならそんなこともないだろ。
- 20 :
- でもDBに直接ファイル突っ込むのって、
ファイルに大量アクセスある案件とかだと使えなくないか?
DBのコネクション数がめちゃめちゃ増えそう。
- 21 :
- ファイル書き込みは一瞬で終わらないんだから、
これに対してロールバックが大量に行われたらガクブル
- 22 :
- >>20
そこでキャッシュですよ。
- 23 :
- >>22
cache'だっけか?
詳しく教えれ。
- 24 :
- >>21
BLOB周りは研究してないから細かくはわからんけど、IBやFBなら履歴型アーキテクチャ
のおかげで性能面ではロールバックが大量に発生してもあまり問題なさそうだけどね。
フラグメントは必要になるだろうけど、ほっとけば一応自動でもやるし。
- 25 :
- じゃ、FBにちょっとDelなんかでポトペタ画面足せば、
あっという間に動画ファイルサーバー???
- 26 :
- FBなら問題無いんかもしれないけど、
今までふつーに安定してたRDBのファイルに、
バイナリどんどん入れるって違和感無い?
- 27 :
- 自己レスだが、RDBファイルを別にして、別RDBファイルにカキコとヨミダシをやってくれるファイルサーバーアプリを建てる、
という案はどうでつか?
- 28 :
- 単発質問の糞スレかと思ったら、中身はまともだなw
- 29 :
- 28=糞ス∪∩レ
- 30 :
- DBをファイルサーバーにするアプリ転がって無い?
NTFSがSQL鯖と一体になったような香具師。
- 31 :
- test
- 32 :
- >>30
Oracle iFS
- 33 :
- サンクス,アッタンダネ>>32
イクラ?
- 34 :
- >>33
機材まで含めたら1000万くらい。
- 35 :
- >>34
日本円になおすとどれぐらい?
- 36 :
- >>34
オプソ版iFSとDEルPCの組み合わせで20マソまで価格落ちまつか?
- 37 :
- >>35
平均 \10,000,000
最安 \6,000,000 <- うちが今まで納品した中では最安
>>36
MicrosoftがLonghornでSQLServerと1個のHDD使ってパクリ製品を出そうとしているが
現状のHDDが遅すぎて頓挫報道が大量に出るくらい無理。
オプソであるか知らんがあればOracle代を節約できるだろうが、実用的な速度を出すには
機材には最低でもHDD(10000rpm以上)が8本以上のディスクアレイが必要だと思う。
つまり現状だと安く実現しようにもソフトよりハードが追いついてこない。
- 38 :
- >>37
>実用的な速度を出すには
あ、これってインターネット経由でローカルディスク並みに性能が出る製品?
データ=ファイルが壊れない、壊れても復旧できる製品であれば、性能は要らない。
だからといって、M$のパク利新製品は信頼性ガクブルだし、そんなに激安でも無い。
- 39 :
- 性能要らないと書いたけど、格納ファイル数が何万何十万と増えても性能が劣化しないものが欲しいでつ。
- 40 :
- 少し昔に流行った、オンラインストレージサービスみたいな奴は、
どんなのを使ってたのかねぇ。
- 41 :
- >>40
これから流行るんだと思うけど。
無料メールサービスでも鯖イパーイ立ててたよ。
申し込み時期で鯖名変わってた。
- 42 :
- >>40
下のようなの作ったことある。
ユーザー - アクセスサーバー2台(httpd) - アロケーションサーバー2台(database) - 大量のNFSサーバー
- 43 :
- >>42
その構成のメリットは?
ユーザーから見ると1つに見えるのは良いね。
NFS鯖単位でバックアップできそうだけど、散在してて管理し難そうな。
- 44 :
- >>43
NFSサーバー群が一つの巨大ディレクトリに見える。
- 45 :
- >>43
アプリケーション側からNFS鯖群が一つの巨大ディレクトリに見える。
つまりアロケーション鯖でNFS鯖群で出来てしまう大量のディレクトリをRAID0のごとく1本化。
- 46 :
- 巨大ディレクトリには良いんだろうけど、DBによるデータ管理に比べると雑いな。
- 47 :
- >>45
その用途なら間のDB抜いてNFSv4のpsude file systemだけで行けそう。
といってもpsude file systemをまともにサポートしてる実装が
あるかどうかは知らんけど…
- 48 :
- フォルダのまんまじゃなくてアーカイブ1個で管理しやすくて、かつora以外が良いなー。
oraでも良いんだけど、\10,000,000 はきつくなーぃ?
- 49 :
- これから文書サーバーとかこういう用途が増えそうじゃない?
- 50 :
- >>47
それ以前に、NFSは…。
NFSv2 NFSv3 NFSv4
Linux △ × ×
*BSD .○ ○ △
Solaris ○ ○ ○
Linuxに至っては未だにv2ですら一部変な動作するし、v3は同名を使った変な独自仕様で
他のUNIX環境と混ぜると中途半端に動きやがるし。
*BSD系はSUNからのソース提供を元に移植しているようで互換性は良いが如何せん常に
対応が少々遅れ気味だし。
結局の所、まともに実装しているのはSolarisくらいしかない罠。
- 51 :
- NFSってただのネットワークドライブ割当なんじゃないの?
- 52 :
- >>30
psqlfsとかは違う?
- 53 :
- >>52
イメージ的にはそれなんだけど、それって情報無いけど、、、完成してんの?
- 54 :
- >>52
WinFSみたいだね。
膨大なファイル数だったとしても、実態をアーカイブに纏めてくれるのかな。
- 55 :
- >>1
ftp
- 56 :
- 最近登場したばかりだからまだ完成していないと思う。
WinFSが登場する前にLinuxでpsqlfsとかが安定して動作してくるとかなり面白いことになりそう。
テストできるマシンが手に入ったらためしてみます。
- 57 :
- WinFSってOODBでセッションもガンガン保存するのかと思ってた
- 58 :
- >>57
今までの発表内容からすると
・SQLServerにファイルを突っ込み、バージョン管理もする。
・あらゆるファイルの実体やメタデータを全文検索用にインデックス化し、要約表示。
psqlfs+subversion+namazuあたりをゴッチャにしたような感じかと。
- 59 :
- >>58
なんとしてもディレクトリをLinuxから触られたくないって気持ちが手に取るようにわかるね。(w
- 60 :
- >>59
WinFSが目指すところとか、開発が遅れてる理由はそれだったのか(驚愕
確かに普通に作るんだったら開発自体無問題の筈だし。
60ゲト
- 61 :
- >>60
WinFSが目指すモノ・掲げているモノは現状のOracle製品で全て出来る訳ですが、
遅れている理由は個人向けハードウェア(特にHDD)の性能が全くと言っていいほど
追いつかないからでしょう。
- 62 :
- エクスプローラ含めアプリが用意できてないんじゃないかな。
- 63 :
- >>61
とにかくボラクルは嫌だ
- 64 :
- >>63
Oracleのボッタクリ価格以上の値を付けているハードウェアと同性能のPCが
30万程度で買えるようになったら、オープンソースコミュニティも活発化するでしょう。
- 65 :
- 昔、光ディスクのストレージ(MOジューク)をBLOB領域として使っちゃうシステムで開発やってたけど、
性能うんぬんよりも、MOメディアが途中で死にまくって
「おにいちゃん、BLOBにアクセスできないよぉ」
な状態になってアレだった。
- 66 :
- で、そのシステムはどうなったわけ?
- 67 :
- >>65
ん ?
光ディスク上に DB 作成したってこと ?
自分は アフォ ですって公言してるようなもんだと思うが。
- 68 :
- んー。
昔ジョブスはそういうワークステーションを馬鹿高い値段で販売してたな。
印刷大手の会社で大量に見かけて一体...と思ったことあるが。
- 69 :
- >>68
白黒ディスプレイのヤツ?
- 70 :
- NeXTのことか?
あれはリムーバブルメディアとしてMOを採用してただけだよ。
普通にHDも載せてた。
ありゃ画面のレンダリングがDisplay PostScriptだったから
印刷業界には重宝されたんでないかな。
設計思想はずば抜けていたが、時代とハードが追い付いてなかった例。
- 71 :
- 最初はHDDなしだったよ。
- 72 :
- >自分は アフォ ですって公言してるようなもんだと思うが。
いやいや、なにせ昔の話でさ、今考えるとアフォな話なんだけどさ、
なにせ、容量が容量だったんでRAIDで組むと値段が高いし、
収めるデータは参照の方が多いし、スピードよりも長期保存重視だし、
ハードウェアベンダーもサポートしまっせ、って話だったんで、
んじゃ、やるか、っつー話になったんだ。
(ちなみにMOジューク本体に収める予定だったデータが1TBぐらい、
そのMOに入ってる1TBの管理用の情報が数GB〜数十GBぐらい)
結局ね、運用してみたら最初はまぁなんとか動いていたんだけどね。
最後の方はエラいことになったね。
なんせメディアだけじゃなくて、MOジューク本体が壊れまくって、
毎週ハードウェア保守でDBサーバ止めてたよ。
- 73 :
- 他に類似事例は無いの?
- 74 :
- >>72
> (ちなみにMOジューク本体に収める予定だったデータが1TBぐらい、
ほう、MO で 1TB か...、ハードの型名書いてくれよ。
- 75 :
- >>74
MOジュークって書いてあるやん。阿呆やなぁ…
- 76 :
- 1TBのジュークって何枚ぐらい積めるん?
- 77 :
- つまりタイトルのシステムを作るのに、
MOジュークはダメでつ、
という結論ですね。
- 78 :
- RDBに逝れてもおk?
- 79 :
- ?
- 80 :
- #&9829
- 81 :
- http://page11.auctions.yahoo.co.jp/jp/auction/n35806257
- 82 :
- 解決策は?
- 83 :
- 結局Oracleしかない
数年前と結論が同じとは進歩のねぇ分野だな
- 84 :
- Ora以外のDBじゃだめなの?
- 85 :
- 比較的安くて、ファイルをストアーする製品とか無いですか?
かつ、信頼性があって、破壊されても復旧メソッドもあるやし。
- 86 :
- で、みんなどうするよ?
- 87 :
-
_____ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
/:\.____\ / http://idol.bbspink.com/test/read.cgi/pub/1188877827/l50
|: ̄\(∩( ;゚∀゚) < やーんなにこれーやーんなにこれーーーーーーーーー!
|: |: ̄ ̄ ̄∪:| \ ヤーンやーんやーんなにこれーナニコレーぇぇぇぇぇ!!
\____________
- 88 :
- そんな用途にOracleと言うかRDB使うやつはいない。
そんなんうpロダを自前の鯖で稼動させるだけで十分だろ。
信頼性とか復旧とか心配するなら、二重化しとけ。
- 89 :
- >うpロダ
この中の人は何でできてんだ?
- 90 :
- 大抵は原始的なCSVまたはその派生テキストだろ
ファイルの中身検索する必要ないならせいぜいファイルのリストをRDBに突っ込むくらいで十分だよね
- 91 :
- 検索とか集計とかしないのに、ファイルをドカドカ入れるだけの目的で
RDB使うバカはいないだろうな。
- 92 :
- じゃ、何使うわけ?
素でファイルをハードディスクに入れるのはキチガイだお。
一番ハードが壊れやすい。
- 93 :
- >>92
- 94 :
- とりあえず>>92がキチガイってのはわかった。
- 95 :
- キチガイ言うものがキチガイ。
- 96 :
- つまり>>95が害基地って事か
- 97 :
- >>95の言うことを信じるならそういうことになる。
- 98 :
- ttp://www.akibablog.net/archives/2007/10/hdd-1tb-071012.html
時代はテラバイトなのに、RDBのBLOBにファイル入れたら遅すぎるお><
- 99 :
- rxa6Gn <a href="http://jtxgqectgvce.com/">jtxgqectgvce</a>, [url=http://ebssxqhybwqs.com/]ebssxqhybwqs[/url], [link=http://ggazdosqunca.com/]ggazdosqunca[/link], http://fdeweitvkymx.com/
- 100read 1read
- 1read 100read
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
MySQL 5.0 (547)
Oracle>>>>>>SQLServer (237)
MySQL 5.0 (547)
【富士通】Symfoware【ティムポウェア】 (381)
MySQL vs PostgreSQL Part2 (690)
頼むから正規化しろよ 第二正規形 (283)
--log9.info------------------
自作PC板の天才さん助けて… (392)
【BOINC】自作機パワーでがん解析Ver.67【旧UD】 (512)
【LGA2011】 SandyBridge-E Part16 (1001)
AMD690総合 Part12 (327)
【X79】マザーボード総合 3枚目【LGA2011】 (227)
nVIDIA GeForce FXシリーズ統合スレ Part2 (936)
A・M・D! A・M・D! (265)
ソケ7友の会〜Socket7スレ Part28 (996)
化石マシンの使い道を考える (244)
【PS2エミュ】PCSX2が快適に動くPCを考えるスレ 17 (958)
1000円以下の超超超低価格ビデオカード (526)
【Kentsfield】Q6600ユーザー友の会 #16【Quad】 (817)
GIGABYTE GA-890GPA-UD3H (831)
岩手県自作自治区 18番地 (628)
光学ドライブは外付け一台あれば十分 (554)
【AMD/ATI】HD2xxx/3xxxシリーズ Part2【RADEON】 (233)
--log55.com------------------
ありがとう浜村淳です
【HBCラジオ】気分上昇ワイド ナルミッツ!!!【水野 善公】
オモコロラジオ part7
【AM954+FM90.5】TBSラジオ総合スレッド32【JOKR】
.
【箱根→】静岡放送-SBSRADIO-18【←浜名湖】
【FM802】 中島ヒロト総合スレ Part16
CRKラジオ関西 part13