1read 100read
2013年05月データベース129: 数十メガバイトのファイルをどんどん格納できるDB (202)
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▼
OODB - オブジェクト指向データベース (297)
CSVファイルのスレ (231)
頼むから正規化しろよ 第二正規形 (283)
Firebird関連スレ3 (572)
DBのデータ検証&便利ツールはどんなのをお使い? (291)
SQL質疑応答スレ 13問目 (844)
数十メガバイトのファイルをどんどん格納できるDB
- 1 :05/01/24 〜 最終レス :2012/04/30
- なんてありますか?
- 2 :
- シラネ
- 3 :
- そんだけでかいデータとなると、
もう4th Dimensionしかねぇな。
他のDBじゃ目が回っちまうぜ
- 4 :
- >>4th Dimension
これはやめとけ。つぶしが効かないし、DBファイルやインデックスがすぐ壊れて何度もツールを
かける羽目に陥る。
やるとしたら、ファイルを格納するのではなく、ファイルのパスを格納する仕組みにしたほうがいい。
- 5 :
- >やるとしたら、ファイルを格納するのではなく、ファイルのパスを格納する仕組みにしたほうがいい。
これサイアク。
バックアップとかもやり難いし、検索もままならない。
- 6 :
- 4は仕組みでも何でも無くて、素人がいつも使う手。
さらにそのDBにMDBが使われる場合多し。
4みたいなことするくらいなら氏んだ方が良い。
- 7 :
- そこでFM7ですよ。8TBまでOK。
やったことはないがな。
- 8 :
- 凄い期待してググったらシンセがひっかかった。
冷静になって考えたら、
File Makeのこと?
そんなんただのアプリじゃん。
- 9 :
- WindowsならNTFS
- 10 :
- >>8
YAMAHA のやつか。<FM7
富士通のはひっかからなかった?
>>1
Oracle でいいんじゃないの?
- 11 :
- 今まで格納した一番大きいファイルのサイズとDB名を書くスレ
- 12 :
- MF7=FileMaker Pro 7
- 13 :
- FM-7
富士通の8ビットパソコン^^
- 14 :
- >>1 がBLOBっちゅう単語を知っているかどうかがポイントなのだが
- 15 :
- あーあ、言っちゃった
- 16 :
- >>1
Oracle
Longhornの宣伝文句だったWinFSとほぼ同じ事が出来るぞ。
- 17 :
- 逆に言うと、Oracle以外じゃ無理?
- 18 :
- >>14
Blog?
- 19 :
- >>17
blob使えるとか64bit化されてるDBならそんなこともないだろ。
- 20 :
- でもDBに直接ファイル突っ込むのって、
ファイルに大量アクセスある案件とかだと使えなくないか?
DBのコネクション数がめちゃめちゃ増えそう。
- 21 :
- ファイル書き込みは一瞬で終わらないんだから、
これに対してロールバックが大量に行われたらガクブル
- 22 :
- >>20
そこでキャッシュですよ。
- 23 :
- >>22
cache'だっけか?
詳しく教えれ。
- 24 :
- >>21
BLOB周りは研究してないから細かくはわからんけど、IBやFBなら履歴型アーキテクチャ
のおかげで性能面ではロールバックが大量に発生してもあまり問題なさそうだけどね。
フラグメントは必要になるだろうけど、ほっとけば一応自動でもやるし。
- 25 :
- じゃ、FBにちょっとDelなんかでポトペタ画面足せば、
あっという間に動画ファイルサーバー???
- 26 :
- FBなら問題無いんかもしれないけど、
今までふつーに安定してたRDBのファイルに、
バイナリどんどん入れるって違和感無い?
- 27 :
- 自己レスだが、RDBファイルを別にして、別RDBファイルにカキコとヨミダシをやってくれるファイルサーバーアプリを建てる、
という案はどうでつか?
- 28 :
- 単発質問の糞スレかと思ったら、中身はまともだなw
- 29 :
- 28=糞ス∪∩レ
- 30 :
- DBをファイルサーバーにするアプリ転がって無い?
NTFSがSQL鯖と一体になったような香具師。
- 31 :
- test
- 32 :
- >>30
Oracle iFS
- 33 :
- サンクス,アッタンダネ>>32
イクラ?
- 34 :
- >>33
機材まで含めたら1000万くらい。
- 35 :
- >>34
日本円になおすとどれぐらい?
- 36 :
- >>34
オプソ版iFSとDEルPCの組み合わせで20マソまで価格落ちまつか?
- 37 :
- >>35
平均 \10,000,000
最安 \6,000,000 <- うちが今まで納品した中では最安
>>36
MicrosoftがLonghornでSQLServerと1個のHDD使ってパクリ製品を出そうとしているが
現状のHDDが遅すぎて頓挫報道が大量に出るくらい無理。
オプソであるか知らんがあればOracle代を節約できるだろうが、実用的な速度を出すには
機材には最低でもHDD(10000rpm以上)が8本以上のディスクアレイが必要だと思う。
つまり現状だと安く実現しようにもソフトよりハードが追いついてこない。
- 38 :
- >>37
>実用的な速度を出すには
あ、これってインターネット経由でローカルディスク並みに性能が出る製品?
データ=ファイルが壊れない、壊れても復旧できる製品であれば、性能は要らない。
だからといって、M$のパク利新製品は信頼性ガクブルだし、そんなに激安でも無い。
- 39 :
- 性能要らないと書いたけど、格納ファイル数が何万何十万と増えても性能が劣化しないものが欲しいでつ。
- 40 :
- 少し昔に流行った、オンラインストレージサービスみたいな奴は、
どんなのを使ってたのかねぇ。
- 41 :
- >>40
これから流行るんだと思うけど。
無料メールサービスでも鯖イパーイ立ててたよ。
申し込み時期で鯖名変わってた。
- 42 :
- >>40
下のようなの作ったことある。
ユーザー - アクセスサーバー2台(httpd) - アロケーションサーバー2台(database) - 大量のNFSサーバー
- 43 :
- >>42
その構成のメリットは?
ユーザーから見ると1つに見えるのは良いね。
NFS鯖単位でバックアップできそうだけど、散在してて管理し難そうな。
- 44 :
- >>43
NFSサーバー群が一つの巨大ディレクトリに見える。
- 45 :
- >>43
アプリケーション側からNFS鯖群が一つの巨大ディレクトリに見える。
つまりアロケーション鯖でNFS鯖群で出来てしまう大量のディレクトリをRAID0のごとく1本化。
- 46 :
- 巨大ディレクトリには良いんだろうけど、DBによるデータ管理に比べると雑いな。
- 47 :
- >>45
その用途なら間のDB抜いてNFSv4のpsude file systemだけで行けそう。
といってもpsude file systemをまともにサポートしてる実装が
あるかどうかは知らんけど…
- 48 :
- フォルダのまんまじゃなくてアーカイブ1個で管理しやすくて、かつora以外が良いなー。
oraでも良いんだけど、\10,000,000 はきつくなーぃ?
- 49 :
- これから文書サーバーとかこういう用途が増えそうじゃない?
- 50 :
- >>47
それ以前に、NFSは…。
NFSv2 NFSv3 NFSv4
Linux △ × ×
*BSD .○ ○ △
Solaris ○ ○ ○
Linuxに至っては未だにv2ですら一部変な動作するし、v3は同名を使った変な独自仕様で
他のUNIX環境と混ぜると中途半端に動きやがるし。
*BSD系はSUNからのソース提供を元に移植しているようで互換性は良いが如何せん常に
対応が少々遅れ気味だし。
結局の所、まともに実装しているのはSolarisくらいしかない罠。
- 51 :
- NFSってただのネットワークドライブ割当なんじゃないの?
- 52 :
- >>30
psqlfsとかは違う?
- 53 :
- >>52
イメージ的にはそれなんだけど、それって情報無いけど、、、完成してんの?
- 54 :
- >>52
WinFSみたいだね。
膨大なファイル数だったとしても、実態をアーカイブに纏めてくれるのかな。
- 55 :
- >>1
ftp
- 56 :
- 最近登場したばかりだからまだ完成していないと思う。
WinFSが登場する前にLinuxでpsqlfsとかが安定して動作してくるとかなり面白いことになりそう。
テストできるマシンが手に入ったらためしてみます。
- 57 :
- WinFSってOODBでセッションもガンガン保存するのかと思ってた
- 58 :
- >>57
今までの発表内容からすると
・SQLServerにファイルを突っ込み、バージョン管理もする。
・あらゆるファイルの実体やメタデータを全文検索用にインデックス化し、要約表示。
psqlfs+subversion+namazuあたりをゴッチャにしたような感じかと。
- 59 :
- >>58
なんとしてもディレクトリをLinuxから触られたくないって気持ちが手に取るようにわかるね。(w
- 60 :
- >>59
WinFSが目指すところとか、開発が遅れてる理由はそれだったのか(驚愕
確かに普通に作るんだったら開発自体無問題の筈だし。
60ゲト
- 61 :
- >>60
WinFSが目指すモノ・掲げているモノは現状のOracle製品で全て出来る訳ですが、
遅れている理由は個人向けハードウェア(特にHDD)の性能が全くと言っていいほど
追いつかないからでしょう。
- 62 :
- エクスプローラ含めアプリが用意できてないんじゃないかな。
- 63 :
- >>61
とにかくボラクルは嫌だ
- 64 :
- >>63
Oracleのボッタクリ価格以上の値を付けているハードウェアと同性能のPCが
30万程度で買えるようになったら、オープンソースコミュニティも活発化するでしょう。
- 65 :
- 昔、光ディスクのストレージ(MOジューク)をBLOB領域として使っちゃうシステムで開発やってたけど、
性能うんぬんよりも、MOメディアが途中で死にまくって
「おにいちゃん、BLOBにアクセスできないよぉ」
な状態になってアレだった。
- 66 :
- で、そのシステムはどうなったわけ?
- 67 :
- >>65
ん ?
光ディスク上に DB 作成したってこと ?
自分は アフォ ですって公言してるようなもんだと思うが。
- 68 :
- んー。
昔ジョブスはそういうワークステーションを馬鹿高い値段で販売してたな。
印刷大手の会社で大量に見かけて一体...と思ったことあるが。
- 69 :
- >>68
白黒ディスプレイのヤツ?
- 70 :
- NeXTのことか?
あれはリムーバブルメディアとしてMOを採用してただけだよ。
普通にHDも載せてた。
ありゃ画面のレンダリングがDisplay PostScriptだったから
印刷業界には重宝されたんでないかな。
設計思想はずば抜けていたが、時代とハードが追い付いてなかった例。
- 71 :
- 最初はHDDなしだったよ。
- 72 :
- >自分は アフォ ですって公言してるようなもんだと思うが。
いやいや、なにせ昔の話でさ、今考えるとアフォな話なんだけどさ、
なにせ、容量が容量だったんでRAIDで組むと値段が高いし、
収めるデータは参照の方が多いし、スピードよりも長期保存重視だし、
ハードウェアベンダーもサポートしまっせ、って話だったんで、
んじゃ、やるか、っつー話になったんだ。
(ちなみにMOジューク本体に収める予定だったデータが1TBぐらい、
そのMOに入ってる1TBの管理用の情報が数GB〜数十GBぐらい)
結局ね、運用してみたら最初はまぁなんとか動いていたんだけどね。
最後の方はエラいことになったね。
なんせメディアだけじゃなくて、MOジューク本体が壊れまくって、
毎週ハードウェア保守でDBサーバ止めてたよ。
- 73 :
- 他に類似事例は無いの?
- 74 :
- >>72
> (ちなみにMOジューク本体に収める予定だったデータが1TBぐらい、
ほう、MO で 1TB か...、ハードの型名書いてくれよ。
- 75 :
- >>74
MOジュークって書いてあるやん。阿呆やなぁ…
- 76 :
- 1TBのジュークって何枚ぐらい積めるん?
- 77 :
- つまりタイトルのシステムを作るのに、
MOジュークはダメでつ、
という結論ですね。
- 78 :
- RDBに逝れてもおk?
- 79 :
- ?
- 80 :
- #&9829
- 81 :
- http://page11.auctions.yahoo.co.jp/jp/auction/n35806257
- 82 :
- 解決策は?
- 83 :
- 結局Oracleしかない
数年前と結論が同じとは進歩のねぇ分野だな
- 84 :
- Ora以外のDBじゃだめなの?
- 85 :
- 比較的安くて、ファイルをストアーする製品とか無いですか?
かつ、信頼性があって、破壊されても復旧メソッドもあるやし。
- 86 :
- で、みんなどうするよ?
- 87 :
-
_____ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
/:\.____\ / http://idol.bbspink.com/test/read.cgi/pub/1188877827/l50
|: ̄\(∩( ;゚∀゚) < やーんなにこれーやーんなにこれーーーーーーーーー!
|: |: ̄ ̄ ̄∪:| \ ヤーンやーんやーんなにこれーナニコレーぇぇぇぇぇ!!
\____________
- 88 :
- そんな用途にOracleと言うかRDB使うやつはいない。
そんなんうpロダを自前の鯖で稼動させるだけで十分だろ。
信頼性とか復旧とか心配するなら、二重化しとけ。
- 89 :
- >うpロダ
この中の人は何でできてんだ?
- 90 :
- 大抵は原始的なCSVまたはその派生テキストだろ
ファイルの中身検索する必要ないならせいぜいファイルのリストをRDBに突っ込むくらいで十分だよね
- 91 :
- 検索とか集計とかしないのに、ファイルをドカドカ入れるだけの目的で
RDB使うバカはいないだろうな。
- 92 :
- じゃ、何使うわけ?
素でファイルをハードディスクに入れるのはキチガイだお。
一番ハードが壊れやすい。
- 93 :
- >>92
- 94 :
- とりあえず>>92がキチガイってのはわかった。
- 95 :
- キチガイ言うものがキチガイ。
- 96 :
- つまり>>95が害基地って事か
- 97 :
- >>95の言うことを信じるならそういうことになる。
- 98 :
- ttp://www.akibablog.net/archives/2007/10/hdd-1tb-071012.html
時代はテラバイトなのに、RDBのBLOBにファイル入れたら遅すぎるお><
- 99 :
- rxa6Gn <a href="http://jtxgqectgvce.com/">jtxgqectgvce</a>, [url=http://ebssxqhybwqs.com/]ebssxqhybwqs[/url], [link=http://ggazdosqunca.com/]ggazdosqunca[/link], http://fdeweitvkymx.com/
- 100read 1read
- 1read 100read
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
デフォルト名無しネームを決めるスレ (498)
数十メガバイトのファイルをどんどん格納できるDB (202)
数十メガバイトのファイルをどんどん格納できるDB (202)
dbMAGICを超えるDBMSは未来永劫現れない。 (225)
Microsoft SQL Server 総合スレ 9 (929)
【新型】SQLServer2005【またか】 (265)
--log9.info------------------
【デジっ仔】アグネスデジタル 6【4世代目デビュー】 (822)
ウオッカ>>>>>ダスカが永遠に確定した件出張所2 (677)
タップダンスシチーと産駒たちを応援するスレ 6頭目 (613)
イヤダイヤダをイヤイヤ供養するスレ18(´・д・`)ナノー (276)
ここだけ二十年前のスレ2 (208)
デュランダル産駒応援スレ Part 3 (411)
みのり姫 (563)
佐久間許さない!11 (440)
池崎騎手、今週久々に2鞍をプレゼントされる (333)
【小さな競馬場】益田競馬総合スレ8【大きな志】 (415)
メイショウボーラー産駒応援スレ (592)
マンハッタンカフェ産駒応援スレ11 (389)
ヒシミラクル&産駒応援スレ2 (314)
【It's A Green Dream】佐賀競馬をマターリ Part3 (948)
競馬エイト (388)
【恥も知らずに】宮田比呂志 Part17【アゲイン】 (565)
--log55.com------------------
桜井誠、都知事選に出馬表明「都知事になったら記者クラブを潰します」「メディアはテロリスト(ANTIFA)との濃厚接触者」 [Felis silvestris catus★]
賭けマージャン“黒川杯”「路上ダメ」…警察官の注意で検察庁前から日比谷公園に移動、ゲーム途中の解散で賭け成立せず [クロ★]
「黒人の命守れ」大阪でデモ行進「日本にも人種差別」 ネット「北朝鮮に拉致された日本人を救えというデモは絶対にしない人たち [Felis silvestris catus★]
【坂上忍】賭け麻雀“テンピンはセーフ”に「そんなの蛭子さんだって絶対知らなかったはず」 [クロ★]
【大阪・吉村知事】高須氏らの大村知事リコール運動に「応援してます」投稿…「公人の発言として目を疑いました」疑問の声相次ぐ [クロ★]
【ラサール石井】都庁赤くし満員電車そのまま 小池知事は「何もやってない」 [クロ★]
【最優先課題?】何が「断腸の思い」か…安倍首相が横田滋さん・早紀江さんにとった冷淡対応! 直訴の手紙を無視、公務と嘘ついて… [プルート★]
【ミンスサポの同胞】防弾少年団「私たちは人種差別・暴力に反対します」 ネット「日本人を侮辱し日本を侮辱したBTSが何言ってんだ? [Felis silvestris catus★]