1read 100read
2013年02月UNIX282: ジャーナリングファイルシステム (309)
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▼
emacs-w3m (Part 2) (633)
Unix技術者のネットワークの知識 (245)
■Solaris9 ってどうよ?■ (248)
日本で5の指に入るくらい凄腕のハッカー (606)
Theo de Raadt (237)
デーモン君のアスキーアート募集!! (762)
ジャーナリングファイルシステム
1 :2001/01/14 〜 最終レス :2012/05/26 いまやるとしたら、みなさんどうします? すごく困ってるんですけど。
2 : Linux なら ReiserFS http://www.namesys.com/ JFS for Linux http://oss.software.ibm.com/developerworks/opensource/jfs/index.html XFS for Linux http://oss.sgi.com/projects/xfs/
3 : Linux 2.2.18 + ReiserFS で運用していますが、大きなトラブルは 今のところないです。 ただ Quota に対応していない(2.4 向けにはpatch がありますが) のがネックです。また NFS を使う場合にも patch が必要です。
4 : 上記三つで一番有望なのはどれ?
5 : >>2 ext3 を追加。URL は知らん。 >>4 現時点で一番ユーザーが多いのは ReiserFS だと思う。 で、そのまんまなし崩しで ReiserFS のまま逝く、に1兆mips
6 : ext3 ftp://ftp.uk.linux.org/pub/linux/sct/fs/jfs/ LinLogFS http://www.complang.tuwien.ac.at/czezatke/lfs.html tux2 http://innominate.org/~phillips/ snapFS http://www.linuxcare.com.au/projects/snapfs/
7 : IBMのヤツは、1.0が出ている。 OpenAFS: http://www.openafs.org/ あとさ、LinuxのJFは、2.4でその機能を実装する際の基本骨格だけ、と聞いたが。 実際どうなのかな。 FreeBSDはもう実装しているの? カーネルが落ちてさえも、ログが残るって話だけど。
8 : もっと使ってる人の意見を 聞きたいな。
9 : >>7 LFS使え。ってまだまだ不安定らしいけど。 MetaDataだけじゃなくて、ApplicationDataも残るらしいぞ。 #私の書き込みは BSD Magazine の受け売りです。
10 : 以前ReiserFSを使ってみたんですが、ある日突然起動に失敗して それっきりです。fsckが要らないってのが売りだったような気がするんですが、 起動スクリプトを書き換えてなかったので、fsckしろと繰り返すだけ のループに陥りました。ReiserFSを使う場合、この辺を書き換える 必要があると思うのですが、どうなのでしょうか。fsckの代わりに 専用ユーティリティがあったように記憶してるんですが。 わたしはその一件以来使っていないのですが。
11 : >>10 /etc/fstab の最後のフィールドを 0 にしていなかったとか ではないですか? 一応 reiserfsck というプログラムがありますが、デバッグ 用途だったと思います。 ところで、3 で書き忘れたのですが、ReiserFS でごくまれに ディレクトリの読み出しにやや時間がかかることがあります (どういう時に発生するのか不明)。
12 : >>11 >etc/fstab の最後のフィールドを 0 にしていなかったとか ではありませんでした。それなら話は早かったのですが、、、
13 : 普通は/まではReiserFSにはしないんですかね。 ちょっと早計だったのかなあ。
14 : # あまりよく理解してない俺がこんなこと書くのは恐れ多いのだが… >>7 , >>9 システムクラッシュ時にMetadataが破壊されるのを防ぐ手段の一つが Journaling. で、最近の*BSDに実装されているもう一つの手段がSoft Updates. JournalingはMetadataの更新ログを取っておくことでクラッシュ後の ファイルシステムの復旧に役立てようってアプローチで、 Soft UpdatesはMetadataの更新順序を操作することで いつクラッシュしてもファイルシステムに致命的なダメージが残らない ようにしようってアプローチ。 Journalingにはfsckが不要になるっていう副産物があるのだが、 Soft Updatesにはそれがない。でも、最近FreeBSD-currentに実装されつつある snapshotsという機能と組み合わせると、Soft Updatesでも高速rebootが 可能になる。 詳しくは以下のサイトが参考になると思う。 http://www.ece.cmu.edu/~ganger/papers/CSE-TR-254-95/ http://www.mckusick.com/softdep/ Soft Updatesを使うとFFSのままでJournalingのような効果が実現できるのが長所。 でも、HDDの容量がテラの域にまで達しようかという現在、ファイルシステムの 再設計が必要な時期に来ていると思う。 LFSってのはNetBSDの次期ファイルシステムの候補で、ファイルシステムそのものを ログ化してしまおうってもの。でも、まだかなり不安定なようなので、 FFS+Soft Updatesをベースに64ビット化などの拡張を行なったファイルシステムが 先に現れるかもしれない。 # って、こんなもんでよろしいでしょうか? >*BSDの先輩方 # 間違いがあったらツッコミお願いします。
15 : >>6 のLinLogFSってのがLinux用のLFS?
16 : >>10 ==12==13 俺はDebianなんだけど、Debianではrootファイルシステムは 強制的にfsckにかけるようになってるので、それで引っかかった。 grep fsck /etc/init.d/* とかやってみ。
17 : Solarisなら7から対応してます。 /etc/vfstabのマウントオプションのところに loggingと入れるだけでOK。 特に問題なく動いてます。
18 : >>16 なるほど。 再度挑戦する時に調べてみます。
19 : >> 14 64bit化ってなんでしょ? Linux以外のほぼ全てのUNIXは、とっくの昔に64bit対応してたんだけど。 open64 系のシステムコールのことかな? BSD系だとあれ使わなくても元から64bitアクセスできるので問題ないんよ。
20 : kernel 2.4.1-pre4 で ReiserFSが取り込まれました。
21 : みんな勇気あるね。私はびびりなので新しいものには手が出せません。
22 : IBM, SGIの立場は?
23 : >>17 し、しらんかった・・・。 >>20 マンセー!
24 : >>20 Windowsから読み込みができるようにならないと /home には使いたくないんだけど、 http://uranus.it.swin.edu.au/~jn/linux/Explore2fs.htm http://www.yipton.demon.co.uk/content.html#FSDEXT2 http://www.it.fht-esslingen.de/~zimmerma/software/ltools/ltools.html みたいなtoolsのResiser版ってどこかにない?
25 : >>24 ext3つかったら?
26 : >>25 遅くなりそうだからイヤです。
27 : >>20 では、kernel 2.4.1からはパッチ当てなくてよくなるんですね。 私はpre系を試す勇気はないです。 (2.4.1-pre6なんかはファイル名に'dontuse-'ってprefixが…) >>24 そのうち誰か作るとおもいますけどね。
28 : >>19 俺が言ってるのはファイルシステムについて。 http://www.jp.FreeBSD.org/cgi/cvsweb.cgi/src/sys/ufs/ffs/fs.h?rev=1.17 ここのあちこちに使われている int32_t のことを言ってる。 FAQにも同じ話があった。 http://www.jp.FreeBSD.org/www.FreeBSD.org/ja/FAQ/install.html#Q1.27. まあ、HDDの容量やその使われ方がFFSの設計された時期とは比べものになんない程 変わってきているので、単純に int64_t に書き換えるだけじゃなくて、 ファイルシステムの再設計もやるべきなんだろうねって言ってるだけ。
29 : age
30 : SGI XFS Pre-Release 0.9 http://oss.sgi.com/projects/xfs/prerelease.html
31 : 結局どれ使えばいいんだろ。 Debianでapt一発でなんとかなんない?
32 : age
33 : >>31 Debianって聞いた話だと、Cライブラリをマシンを動かしながら アップグレードできるんでしょ? なら、ファイルシステムもやりかねないな。 そうならすごすぎる
34 : >Debianって聞いた話だと、Cライブラリをマシンを動かしながら >アップグレードできるんでしょ? それってRedhat系ではできないことなの? 要するにコンパイルしなおす羽目になるもの(バイナリ)を 同時にダウンロードしてインストールすればいいだけのような。
35 : >34 やったことない。 GnoRPMでは、glibcはアップグレード対象外になっているけど・・
36 : >>34 おれは何度もしてる。 glibcアップグレードした後は shutdown 時に umount できないような
37 : あげ
38 : ReiserFSってdump/restoreで問題ないの?
39 : 手元の 2.2.19 + ReiserFS-3.5.32 には以下のツールがついている。 ただ自分は mkreiserfs しか使ったこと無し。 dumpreiserfs mkreiserfs reiserfsck resize_reiserfs
40 : decのAdvfsって性能はどうでしょうか?
41 : LFS age。 現状 NetBSD-current LFS はまだ mmap() 周辺が痛い感じ。 mmap() がなければそこそこ使える…と思う。
42 : SGI XFSアゲ
43 : > LFS age。 mmap on LFS が壊れたのは UBC のせい (原因も分かっているけど, 直すのが かなり手間なのでまだ直ってない) なので, LFS を真面目に使うなら UBC 統合直前の -current が良いかもしれない.
44 : Solaris の UFS logging がなにも考えずにできて一番楽…。
45 : IBMのJFS1.0が2.2.x系にも対応しててカーネルパッチになってたんでビルドしてみた。 誰か問題起きた人いる? 骨格はもともとIBMが使ってたロジックだろうからデータが壊れたりしないかなとは思ってるんだけど、心配。
46 : IBMのJFS1.0が2.2.x系にも対応しててカーネルパッチになってたんでビルドしてみた。 誰か問題起きた人いる? 骨格はもともとIBMが使ってたロジックだろうからデータが壊れたりしないかなとは思ってるんだけど、心配。
47 : ごめん。ごめんよ・・・ そんな豚無くても・・・
48 : >>46 jfs FS を mount したまま電源きって再起動してみ。 filesystem dirty と表示されて、mkfs するまで二度とその fs をマウントできなくなるから。
49 : IBM JFS や SGI XFS とかだと書き込みだけでなくて 読み出しのスピードが上がっているの? 古典的な UNIX FS の系列だとディレクトリ内のファイル数が 増加すると ls のスピードも落ちるみたいなんだけど。 >>46 それって OS/2 とか AIX でもなるの? JFS for Linux だけならまだいいんだけど。
50 : >>46 は >>48 の間違い 鬱堕氏脳
51 : >>49 の下 大丈夫だよ。以前AIXがあったけど、停電でも耐えたから。
52 : >>51 まだきっとJFS for Linuxって、AIX上のJFSほどの信頼性はないと思う。 File Systemのコードって、VFSやVMの影響を結構受けるからね。 個人的にkernel-2.4.3でReiserFSを使ってるけど、一度kernel-2.4系 でmountしたvolumeを2.2系でmountしようとした時に、Filesystemが 腐ることがある他は、特に問題は出てないみたい。ただ、kernel-2.4上だと ext2fsの方が倍速いと聞いた時はへこんだ。
53 : >>48 開発中だから仕方ないんだろうが、jfsの意味ねえなあ(w
54 : >>52 ext2fsはそもそも反則技使ってるようなもんだから、まともなfsと比較 するのも... # 物理メモリあるだけ全部使って遅延書き込みすりゃ、そりゃ爆速に # なるわな。
55 : >>54 その反則もある意味嬉しい事もあるんだがな。 FreeBSDは物理メモリいっぱいつかうなんて 設定ないの?
56 : AIX, OS/2 のんは問題ないですよん。 Linux のはログのリプレイまわりがまだ実装されてないだけ。
57 : あと、JFS for Linux は JFS for OS/2(オープンソース)のコードを もとにしてポーティング作業されています。AIX for JFS のコードじゃないです。 # まぁ OS/2 のは AIX のを基にしてるから、結果的に AIX のも入ってるだろうけど。
58 : Solaris8ならdefaultでufs loggingが使えるようになった。 やっと人並に。。。 mount optionにloggingを指定するだけでOK。 これで10数分もfsckにつきあわなくて良くなった。
59 : >>48 うぁあ、bad superblock といわれてマウントできん・・・ これじゃ使い者にならんがな
60 : >>55 ないねー。 まぁあんな危なっかしいモードなんてあっても(俺は)嬉しくないけど。
61 : >>58 細かいことだけど、loggingはSolaris7の11/99あたりから標準だよん。
62 : fsync はジャーナリングなファイルシステムのほうが はやいのでせうか。 OracleやPostgreSQLのデータファイルの置き場所のファイルシステム って悩んだりもするのですが。 1. raw -> これってRAIDと愛称わるいしなぁ。 2. ufs -> ふつーすぎる? 3. ufs logging -> 2と比べてどなのかな?? 4. veritas file system -> 2と比べてどなのかな??
63 : >>62 UFS logging は、log とるぶん write は遅くなるよ。
64 : VxFS は performance は UFS よか出るってことになっているし、 将来 FibreChannel なんかを使いたいときにもよさそうだけど、 ちと高い。
65 : >>62 3で運用してるけど、問題になってないな。 更新量が少ないシステムだけどね。 ところでrawとRAIDの相性が悪いってどういうことなんでしょ?
66 : >>63 ,64,65 ありがと。 rawとRAIDうんぬんというのは、RAIDあたりまえだったり、 SANつかったりするこのごろだと、果たしてディスクの生のI/Oを 触りたがるrawみたいなものの役割は終わってるのじゃないかという 意図で書きました。
67 : >>66 生のI/Oって言うけど、本当に玉を直接ドライブするわけじゃないし・・・。 DBの場合だとカーネルバッファを経由させないことが第一の目的だと 思ってるので、RAWはまだ使われていくと思う。 # もしかして考え方古い?
68 : >>63 ベンチマークしているけど、パフォーマンスの劣化は無視できるほどだよ。 むしろ、VxFSの方が癖があって、ある一定の条件下では深刻な劣化を 起こすけどね。
69 : >>62 >raw -> これってRAIDと愛称わるいしなぁ どこのRAID使ってるの? うちでは問題になったことないよ。 むしろ、ufsにDB置くこと自体が珍しい位。
70 : もっとも、最近ではDBが気を利かせて、カーネルのバッファを バイパスしてくれるからufsでも問題ないのだろうけどね。 そこが信用できない場合でも、Solaris辺りならforcedirectio オプションを指定しておけば、バッファリングは解除される。 ジャーナリングの話題じゃないな。
71 : >>70 raw device の利点は buffer よりも、DB が disk の geometory を直接 把握できるので、data の最適配置を行えること。でも、RAID だと OS からは hardware 本来の geometory は見えなくなるので、意味が薄くなる のだ。 って、完全に journaling fs から外れたなぁ。
72 : >>68 ある一定の条件下って、小さい file が大量にあって、それを fseek していったりする場合?
73 : >>71 RAIDの上にさらに論理ボリュームマネージャなんかをつかってたり するとさらに薄くなっていくような。 LVMでDBなんて動かすななんて怒んないでちょーだいね。 emc2の手がけたのとか、富士通の手がけたのとかで、最近そういうのが あったんで。(みんなヤッテルモン!論理だけど)
74 : >>73 んまぁ、LVM で管理すると、特に FibreChannel で SAN なんかの 環境を組んでいるような場合は面白そうだから、ありといえばあり なのかも。 そういうものがないのに LVM で管理というのは、単なる performance bottle neck にしかならないだろうけど…。
75 : >>74 ボトルネックだけど、バックアップとるのはラクチンだそうです。
76 : 完全に journaling fs から外れるので、とりあえず sage。 >>75 う〜ん、backup はきちんと backup software + DB module でやった ほうが精神衛生上はいいなぁ。online backup もしたいし。
77 : >>73 DB、特にOracle使う時は、VxVM使うのは常識だぞ。LVMの機能は知らんが VxVMと同じならば必須と思われ。 Oracle DBをrawで扱うなら、2GB毎に切らないとならない。64bitならば その制限は無いことになっているが、やはりパフォーマンス上、2GBで 切るのが常道。 RAIDが何10GBもある場合、Solarisだとpartition数の制限から2GB単位に 切ってしまうと16GBしか活用できぬ。 VxVMで2GB以下のVolumeを作成しないとな。
78 : >>73 DB、特にOracle使う時は、VxVM使うのは常識だぞ。LVMの機能は知らんが VxVMと同じならば必須と思われ。 Oracle DBをrawで扱うなら、2GB毎に切らないとならない。64bitならば その制限は無いことになっているが、やはりパフォーマンス上、2GBで 切るのが常道。 RAIDが何10GBもある場合、Solarisだとpartition数の制限から2GB単位に 切ってしまうと16GBしか活用できぬ。 VxVMで2GB以下のVolumeを作成しないとな。
79 : ごめん、2つもはいってしまった
80 : >>43 UBC その他の新作ドライバも捨て難いので最新 -current でごーごー ;_; 私は厨房なんでこのへんは治ることを祈ることぐらいしかできない。 巨大ボリュームになると fsck にかかる時間が無視できないから LFS に期待大なのね。
81 : じゃーなるあげ
82 : lfs_cleanerd がデフラグなんかもやってくれると嬉しいな。
83 : LFSあげ。 セグメント境界==ストライプ境界ができる日はいつかな…。
84 : UBCパッチの報告がありましたね…。 LFS復活の日は近い? 期待あげ
85 : age
86 : age
87 : あげ
88 : FreeBSD Press に Usenix のジャーナリングと soft update を 比較した論文の翻訳が出ているのであげ
89 : >>14 Metadataってなんですか?教えていただけませんか。
90 : >>89 データ(この場合はファイルの中身)を管理するためのデータ。 superblockとか、ファイルインデクス、占有マップなど。 (ディレクトリエントリも含まれることがある)
91 : June 28, 2001: IBM is pleased to announce the v 1.0.0 release of the open source Journaled File System (JFS), a high-performance, and scalable file system for Linux. http://oss.software.ibm.com/jfs
92 : ReiserFS 使ってるよん。 Debian だけど残念ながら、apt でFS変換っつーのは無いね。 ext3 は既存の ext2 からバージョンアップできるらしいが、ReiserFS は無理みたい。 んで、ReiserFS はやっぱ読み込みが速いよ。ext2 はシーク音が 「ゴガガガガ、グフッ」って感じだったけど、「ジジジジジ」って いかにもヘッドが振れてない感じがするんだよね。 逆に書き込みは遅くなったが。
93 : まったくヴァカはRば?
94 : reiserfsは不具合あるみたいですね xfsが完璧そうで期待age
95 : んー、おれは JFS に期待してるんだけど。 もちろんXFSにもReiserFSにもがんばって欲しい。
96 : >>94 どんな?
97 : http://www.cyborg.ne.jp/~sympow/xpic/1uzmai/mai02e.jpg
98 : >>97 板違い。
99 : >>55 >>60 あるよ?FFFSで非同期モードでマウントしたらクリチカルな操作をしても 遅延モードのままバッファリングするからext2fsと勝負できる位には 速くなるっす。怖いんで使わないけど。LFSとかにもあるかどうかは 不明。UPS買ったら非同期モードにしようと決心してもう1年近くに なるなぁ。早く買わなきゃ…。
100read 1read
1read 100read TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
ノートにSolaris8!! (379)
KDE/Qt (728)
X.Orgって、どうよ? (290)
フォント向上委員会 (869)
ProFTPDについて語るスレ 2 (583)
デーモン君のアスキーアート募集!! (762)
--log9.info------------------
借金持ちのスロッターの集い14 (479)
万枚出した機種と展開書いてけ (278)
不二子100億$の女神 part7 (489)
【撤去でも】キングハナハナ part10【関係ねえ】 (938)
あなたがパチスロやめた理由 第一位 (405)
【real】20スロ、ガラガラ。ざまー【オワコン】2 (460)
引き強ならコンマ77を出してみろよ★7 (831)
(´・ω・`)と(・ω・) むかつくから使うな (240)
押忍!! 豪炎高校應援団 Part18 (371)
【スター】2027 リヴァイズ2 ★深海3m目 (270)
【依存症】スロットやめようぜw N64人目【脱出?】 (218)
↑と↓のスレタイを合体させるスレ★2 (206)
灼眼のシャナ ヘカテーファンクラブ (376)
どんな質問にもマジレスするスレ NO.63 (338)
そんな台あったなって機種(5号機)挙げた奴が優勝 (521)
期待値2k枚の秘宝の天井ペナ仕込みが美味いらしい2 (403)
--log55.com------------------
【183/281/283/261】北の特急PART52【785/789】
最後の「国鉄型車両」
首都圏の鉄道は関西の猿真似ばっかりやん
【2031年春開業】なにわ筋線62【おおさか東線北梅田延伸】
【兵庫岡山ローカル区間】JR各線・第三セクター各線スレ
山陰新幹線(構想)を語ろう Part2
糞東日本よ、18きっぷユーザーの苦しみがわかるか!?
何で有楽町に西武有楽町線がないの?東京メトロ副都心線は渋谷⇔和光市でいいじゃん