1read 100read
2012年2月UNIX79: ジャーナリングファイルシステム (308)
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▼
【日本語】M+ フォント【フリー】 part6 (295)
雑談スレだよもんもんもん☆もんだよだよもん!{33} (216)
エディタ作ったよ!見てみて! (228)
私は感動した!!ありがとうUNIXの皆さん!2006夏〜 (751)
SSH その7 (577)
ニャース・ΜL キテガイリスト 28人目 (639)
ジャーナリングファイルシステム
1 :01/01/14 〜 最終レス :12/01/23 いまやるとしたら、みなさんどうします? すごく困ってるんですけど。
2 : Linux なら ReiserFS http://www.namesys.com/ JFS for Linux http://oss.software.ibm.com/developerworks/opensource/jfs/index.html XFS for Linux http://oss.sgi.com/projects/xfs/
3 : Linux 2.2.18 + ReiserFS で運用していますが、大きなトラブルは 今のところないです。 ただ Quota に対応していない(2.4 向けにはpatch がありますが) のがネックです。また NFS を使う場合にも patch が必要です。
4 : 上記三つで一番有望なのはどれ?
5 : >>2 ext3 を追加。URL は知らん。 >>4 現時点で一番ユーザーが多いのは ReiserFS だと思う。 で、そのまんまなし崩しで ReiserFS のままく、に1兆mips
6 : ext3 ftp://ftp.uk.linux.org/pub/linux/sct/fs/jfs/ LinLogFS http://www.complang.tuwien.ac.at/czezatke/lfs.html tux2 http://innominate.org/~phillips/ snapFS http://www.linuxcare.com.au/projects/snapfs/
7 : IBMのヤツは、1.0が出ている。 OpenAFS: http://www.openafs.org/ あとさ、LinuxのJFは、2.4でその機能を実装する際の基本骨格だけ、と聞いたが。 実際どうなのかな。 FreeBSDはもう実装しているの? カーネルが落ちてさえも、ログが残るって話だけど。
8 : もっと使ってる人の意見を 聞きたいな。
9 : >>7 LFS使え。ってまだまだ不安定らしいけど。 MetaDataだけじゃなくて、ApplicationDataも残るらしいぞ。 #私の書き込みは BSD Magazine の受け売りです。
10 : 以前ReiserFSを使ってみたんですが、ある日突然起動に失敗して それっきりです。fsckが要らないってのが売りだったような気がするんですが、 起動スクリプトを書き換えてなかったので、fsckしろと繰り返すだけ のループに陥りました。ReiserFSを使う場合、この辺を書き換える 必要があると思うのですが、どうなのでしょうか。fsckの代わりに 専用ユーティリティがあったように記憶してるんですが。 わたしはその一件以来使っていないのですが。
11 : >>10 /etc/fstab の最後のフィールドを 0 にしていなかったとか ではないですか? 一応 reiserfsck というプログラムがありますが、デバッグ 用途だったと思います。 ところで、3 で書き忘れたのですが、ReiserFS でごくまれに ディレクトリの読み出しにやや時間がかかることがあります (どういう時に発生するのか不明)。
12 : >>11 >etc/fstab の最後のフィールドを 0 にしていなかったとか ではありませんでした。それなら話は早かったのですが、、、
13 : 普通は/まではReiserFSにはしないんですかね。 ちょっと早計だったのかなあ。
14 : # あまりよく理解してない俺がこんなこと書くのは恐れ多いのだが… >>7 , >>9 システムクラッシュ時にMetadataが破壊されるのを防ぐ手段の一つが Journaling. で、最近の*BSDに実装されているもう一つの手段がSoft Updates. JournalingはMetadataの更新ログを取っておくことでクラッシュ後の ファイルシステムの復旧に役立てようってアプローチで、 Soft UpdatesはMetadataの更新順序を操作することで いつクラッシュしてもファイルシステムに致命的なダメージが残らない ようにしようってアプローチ。 Journalingにはfsckが不要になるっていう副産物があるのだが、 Soft Updatesにはそれがない。でも、最近FreeBSD-currentに実装されつつある snapshotsという機能と組み合わせると、Soft Updatesでも高速rebootが 可能になる。 詳しくは以下のサイトが参考になると思う。 http://www.ece.cmu.edu/~ganger/papers/CSE-TR-254-95/ http://www.mckusick.com/softdep/ Soft Updatesを使うとFFSのままでJournalingのような効果が実現できるのが長所。 でも、HDDの容量がテラの域にまで達しようかという現在、ファイルシステムの 再設計が必要な時期に来ていると思う。 LFSってのはNetBSDの次期ファイルシステムの候補で、ファイルシステムそのものを ログ化してしまおうってもの。でも、まだかなり不安定なようなので、 FFS+Soft Updatesをベースに64ビット化などの拡張を行なったファイルシステムが 先に現れるかもしれない。 # って、こんなもんでよろしいでしょうか? >*BSDの先輩方 # 間違いがあったらツッコミお願いします。
15 : >>6 のLinLogFSってのがLinux用のLFS?
16 : >>10 ==12==13 俺はDebianなんだけど、Debianではrootファイルシステムは 強制的にfsckにかけるようになってるので、それで引っかかった。 grep fsck /etc/init.d/* とかやってみ。
17 : Solarisなら7から対応してます。 /etc/vfstabのマウントオプションのところに loggingと入れるだけでOK。 特に問題なく動いてます。
18 : >>16 なるほど。 再度挑戦する時に調べてみます。
19 : >> 14 64bit化ってなんでしょ? Linux以外のほぼ全てのUNIXは、とっくの昔に64bit対応してたんだけど。 open64 系のシステムコールのことかな? BSD系だとあれ使わなくても元から64bitアクセスできるので問題ないんよ。
20 : kernel 2.4.1-pre4 で ReiserFSが取り込まれました。
21 : みんな勇気あるね。私はびびりなので新しいものには手が出せません。
22 : IBM, SGIの立場は?
23 : >>17 し、しらんかった・・・。 >>20 マンセー!
24 : >>20 Windowsから読み込みができるようにならないと /home には使いたくないんだけど、 http://uranus.it.swin.edu.au/~jn/linux/Explore2fs.htm http://www.yipton.demon.co.uk/content.html#FSDEXT2 http://www.it.fht-esslingen.de/~zimmerma/software/ltools/ltools.html みたいなtoolsのResiser版ってどこかにない?
25 : >>24 ext3つかったら?
26 : >>25 遅くなりそうだからイヤです。
27 : >>20 では、kernel 2.4.1からはパッチ当てなくてよくなるんですね。 私はpre系を試す勇気はないです。 (2.4.1-pre6なんかはファイル名に'dontuse-'ってprefixが…) >>24 そのうち誰か作るとおもいますけどね。
28 : >>19 俺が言ってるのはファイルシステムについて。 http://www.jp.FreeBSD.org/cgi/cvsweb.cgi/src/sys/ufs/ffs/fs.h?rev=1.17 ここのあちこちに使われている int32_t のことを言ってる。 FAQにも同じ話があった。 http://www.jp.FreeBSD.org/www.FreeBSD.org/ja/FAQ/install.html#Q1.27. まあ、HDDの容量やその使われ方がFFSの設計された時期とは比べものになんない程 変わってきているので、単純に int64_t に書き換えるだけじゃなくて、 ファイルシステムの再設計もやるべきなんだろうねって言ってるだけ。
29 : age
30 : SGI XFS Pre-Release 0.9 http://oss.sgi.com/projects/xfs/prerelease.html
31 : 結局どれ使えばいいんだろ。 Debianでapt一発でなんとかなんない?
32 : age
33 : >>31 Debianって聞いた話だと、Cライブラリをマシンを動かしながら アップグレードできるんでしょ? なら、ファイルシステムもやりかねないな。 そうならすごすぎる
34 : >Debianって聞いた話だと、Cライブラリをマシンを動かしながら >アップグレードできるんでしょ? それってRedhat系ではできないことなの? 要するにコンパイルしなおす羽目になるもの(バイナリ)を 同時にダウンロードしてインストールすればいいだけのような。
35 : >34 やったことない。 GnoRPMでは、glibcはアップグレード対象外になっているけど・・
36 : >>34 おれは何度もしてる。 glibcアップグレードした後は shutdown 時に umount できないような
37 : あげ
38 : ReiserFSってdump/restoreで問題ないの?
39 : 手元の 2.2.19 + ReiserFS-3.5.32 には以下のツールがついている。 ただ自分は mkreiserfs しか使ったこと無し。 dumpreiserfs mkreiserfs reiserfsck resize_reiserfs
40 : decのAdvfsって性能はどうでしょうか?
41 : LFS age。 現状 NetBSD-current LFS はまだ mmap() 周辺が痛い感じ。 mmap() がなければそこそこ使える…と思う。
42 : SGI XFSアゲ
43 : > LFS age。 mmap on LFS が壊れたのは UBC のせい (原因も分かっているけど, 直すのが かなり手間なのでまだ直ってない) なので, LFS を真面目に使うなら UBC 統合直前の -current が良いかもしれない.
44 : Solaris の UFS logging がなにも考えずにできて一番楽…。
45 : IBMのJFS1.0が2.2.x系にも対応しててカーネルパッチになってたんでビルドしてみた。 誰か問題起きた人いる? 骨格はもともとIBMが使ってたロジックだろうからデータが壊れたりしないかなとは思ってるんだけど、心配。
46 : IBMのJFS1.0が2.2.x系にも対応しててカーネルパッチになってたんでビルドしてみた。 誰か問題起きた人いる? 骨格はもともとIBMが使ってたロジックだろうからデータが壊れたりしないかなとは思ってるんだけど、心配。
47 : ごめん。ごめんよ・・・ そんな豚無くても・・・
48 : >>46 jfs FS を mount したまま電源きって再起動してみ。 filesystem dirty と表示されて、mkfs するまで二度とその fs をマウントできなくなるから。
49 : IBM JFS や SGI XFS とかだと書き込みだけでなくて 読み出しのスピードが上がっているの? 古典的な UNIX FS の系列だとディレクトリ内のファイル数が 増加すると ls のスピードも落ちるみたいなんだけど。 >>46 それって OS/2 とか AIX でもなるの? JFS for Linux だけならまだいいんだけど。
50 : >>46 は >>48 の間違い 鬱堕氏脳
51 : >>49 の下 大丈夫だよ。以前AIXがあったけど、停電でも耐えたから。
52 : >>51 まだきっとJFS for Linuxって、AIX上のJFSほどの信頼性はないと思う。 File Systemのコードって、VFSやVMの影響を結構受けるからね。 個人的にkernel-2.4.3でReiserFSを使ってるけど、一度kernel-2.4系 でmountしたvolumeを2.2系でmountしようとした時に、Filesystemが 腐ることがある他は、特に問題は出てないみたい。ただ、kernel-2.4上だと ext2fsの方が倍速いと聞いた時はへこんだ。
53 : >>48 開発中だから仕方ないんだろうが、jfsの意味ねえなあ(w
54 : >>52 ext2fsはそもそも反則技使ってるようなもんだから、まともなfsと比較 するのも... # 物理メモリあるだけ全部使って遅延書き込みすりゃ、そりゃ爆速に # なるわな。
55 : >>54 その反則もある意味嬉しい事もあるんだがな。 FreeBSDは物理メモリいっぱいつかうなんて 設定ないの?
56 : AIX, OS/2 のんは問題ないですよん。 Linux のはログのリプレイまわりがまだ実装されてないだけ。
57 : あと、JFS for Linux は JFS for OS/2(オープンソース)のコードを もとにしてポーティング作業されています。AIX for JFS のコードじゃないです。 # まぁ OS/2 のは AIX のを基にしてるから、結果的に AIX のも入ってるだろうけど。
58 : Solaris8ならdefaultでufs loggingが使えるようになった。 やっと人並に。。。 mount optionにloggingを指定するだけでOK。 これで10数分もfsckにつきあわなくて良くなった。
59 : >>48 うぁあ、bad superblock といわれてマウントできん・・・ これじゃ使い者にならんがな
60 : >>55 ないねー。 まぁあんな危なっかしいモードなんてあっても(俺は)嬉しくないけど。
61 : >>58 細かいことだけど、loggingはSolaris7の11/99あたりから標準だよん。
62 : fsync はジャーナリングなファイルシステムのほうが はやいのでせうか。 OracleやPostgreSQLのデータファイルの置き場所のファイルシステム って悩んだりもするのですが。 1. raw -> これってRAIDと愛称わるいしなぁ。 2. ufs -> ふつーすぎる? 3. ufs logging -> 2と比べてどなのかな?? 4. veritas file system -> 2と比べてどなのかな??
63 : >>62 UFS logging は、log とるぶん write は遅くなるよ。
64 : VxFS は performance は UFS よか出るってことになっているし、 将来 FibreChannel なんかを使いたいときにもよさそうだけど、 ちと高い。
65 : >>62 3で運用してるけど、問題になってないな。 更新量が少ないシステムだけどね。 ところでrawとRAIDの相性が悪いってどういうことなんでしょ?
66 : >>63 ,64,65 ありがと。 rawとRAIDうんぬんというのは、RAIDあたりまえだったり、 SANつかったりするこのごろだと、果たしてディスクの生のI/Oを 触りたがるrawみたいなものの役割は終わってるのじゃないかという 意図で書きました。
67 : >>66 生のI/Oって言うけど、本当に玉を直接ドライブするわけじゃないし・・・。 DBの場合だとカーネルバッファを経由させないことが第一の目的だと 思ってるので、RAWはまだ使われていくと思う。 # もしかして考え方古い?
68 : >>63 ベンチマークしているけど、パフォーマンスの劣化は無視できるほどだよ。 むしろ、VxFSの方が癖があって、ある一定の条件下では深刻な劣化を 起こすけどね。
69 : >>62 >raw -> これってRAIDと愛称わるいしなぁ どこのRAID使ってるの? うちでは問題になったことないよ。 むしろ、ufsにDB置くこと自体が珍しい位。
70 : もっとも、最近ではDBが気を利かせて、カーネルのバッファを バイパスしてくれるからufsでも問題ないのだろうけどね。 そこが信用できない場合でも、Solaris辺りならforcedirectio オプションを指定しておけば、バッファリングは解除される。 ジャーナリングの話題じゃないな。
71 : >>70 raw device の利点は buffer よりも、DB が disk の geometory を直接 把握できるので、data の最適配置を行えること。でも、RAID だと OS からは hardware 本来の geometory は見えなくなるので、意味が薄くなる のだ。 って、完全に journaling fs から外れたなぁ。
72 : >>68 ある一定の条件下って、小さい file が大量にあって、それを fseek していったりする場合?
73 : >>71 RAIDの上にさらに論理ボリュームマネージャなんかをつかってたり するとさらに薄くなっていくような。 LVMでDBなんて動かすななんて怒んないでちょーだいね。 emc2の手がけたのとか、富士通の手がけたのとかで、最近そういうのが あったんで。(みんなヤッテルモン!論理だけど)
74 : >>73 んまぁ、LVM で管理すると、特に FibreChannel で SAN なんかの 環境を組んでいるような場合は面白そうだから、ありといえばあり なのかも。 そういうものがないのに LVM で管理というのは、単なる performance bottle neck にしかならないだろうけど…。
75 : >>74 ボトルネックだけど、バックアップとるのはラクチンだそうです。
76 : 完全に journaling fs から外れるので、とりあえず sage。 >>75 う〜ん、backup はきちんと backup software + DB module でやった ほうが精神衛生上はいいなぁ。online backup もしたいし。
77 : >>73 DB、特にOracle使う時は、VxVM使うのは常識だぞ。LVMの機能は知らんが VxVMと同じならば必須と思われ。 Oracle DBをrawで扱うなら、2GB毎に切らないとならない。64bitならば その制限は無いことになっているが、やはりパフォーマンス上、2GBで 切るのが常道。 RAIDが何10GBもある場合、Solarisだとpartition数の制限から2GB単位に 切ってしまうと16GBしか活用できぬ。 VxVMで2GB以下のVolumeを作成しないとな。
78 : >>73 DB、特にOracle使う時は、VxVM使うのは常識だぞ。LVMの機能は知らんが VxVMと同じならば必須と思われ。 Oracle DBをrawで扱うなら、2GB毎に切らないとならない。64bitならば その制限は無いことになっているが、やはりパフォーマンス上、2GBで 切るのが常道。 RAIDが何10GBもある場合、Solarisだとpartition数の制限から2GB単位に 切ってしまうと16GBしか活用できぬ。 VxVMで2GB以下のVolumeを作成しないとな。
79 : ごめん、2つもはいってしまった
80 : >>43 UBC その他の新作ドライバも捨て難いので最新 -current でごーごー ;_; 私は厨房なんでこのへんは治ることを祈ることぐらいしかできない。 巨大ボリュームになると fsck にかかる時間が無視できないから LFS に期待大なのね。
81 : じゃーなるあげ
82 : lfs_cleanerd がデフラグなんかもやってくれると嬉しいな。
83 : LFSあげ。 セグメント境界==ストライプ境界ができる日はいつかな…。
84 : UBCパッチの報告がありましたね…。 LFS復活の日は近い? 期待あげ
85 : age
86 : age
87 : あげ
88 : FreeBSD Press に Usenix のジャーナリングと soft update を 比較した論文の翻訳が出ているのであげ
89 : >>14 Metadataってなんですか?教えていただけませんか。
90 : >>89 データ(この場合はファイルの中身)を管理するためのデータ。 superblockとか、ファイルインデクス、占有マップなど。 (ディレクトリエントリも含まれることがある)
91 : June 28, 2001: IBM is pleased to announce the v 1.0.0 release of the open source Journaled File System (JFS), a high-performance, and scalable file system for Linux. http://oss.software.ibm.com/jfs
92 : ReiserFS 使ってるよん。 Debian だけど残念ながら、apt でFS変換っつーのは無いね。 ext3 は既存の ext2 からバージョンアップできるらしいが、ReiserFS は無理みたい。 んで、ReiserFS はやっぱ読み込みが速いよ。ext2 はシーク音が 「ゴガガガガ、グフッ」って感じだったけど、「ジジジジジ」って いかにもヘッドが振れてない感じがするんだよね。 逆に書き込みは遅くなったが。
93 : まったくヴァカはば?
94 : reiserfsは不具合あるみたいですね xfsが完璧そうで期待age
95 : んー、おれは JFS に期待してるんだけど。 もちろんXFSにもReiserFSにもがんばって欲しい。
96 : >>94 どんな?
97 : http://www.cyborg.ne.jp/~sympow/xpic/1uzmai/mai02e.jpg
98 : >>97 板違い。
99 : >>55 >>60 あるよ?FFFSで非同期モードでマウントしたらクリチカルな操作をしても 遅延モードのままバッファリングするからext2fsと勝負できる位には 速くなるっす。怖いんで使わないけど。LFSとかにもあるかどうかは 不明。UPS買ったら非同期モードにしようと決心してもう1年近くに なるなぁ。早く買わなきゃ…。
100read 1read 1read 100read
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
■Solaris9 ってどうよ?■ (245)
*BSDニュース@2ch その5 (568)
OpenBSDユーザーコーナー Part8 (231)
Sun Microsystes最期の霊山 (658)
初心者もOK! FreeBSD質問スレッド その112 (798)
FreeBSDの最後を見届けるスレ (391)
--log9.info------------------
人前で初めて眼鏡かけるのが恥ずかしい (242)
饂飩外院 (799)
【激安コンタクト】 ネオサイトってどう? 【荒江光学】 (243)
弐萬圓堂の愚痴 (415)
〜 TART Optical part4 〜 (449)
〓SoftBank ソフトバンク通信3社の社員集まれ! 13 (849)
ソフトバンク通信3社の女子社員あつまれ (445)
ドイツテレコムだけど、文句ある? (285)
★マイライン関連ニュース速報★ (467)
非通知でも番号が表示される電話機 (237)
5月のデッドヒート (286)
日本テレコムVS日本テレコム電話販売VSインボイス (247)
NTTコム 506506センタ 第24センタ目 (570)
ソフトバンクテレコムの社員集まれ!其の22 (970)
【おとく・メタル】直収総合スレ【CHOKKA・NTT】 (618)
秘密の番号「122」 (487)
--log55.com------------------
日本人男性は中国人女性のこと、どう思てるあるか
不潔低能性悪の土人チャンコロを罵倒するスレ!A
ここまで言われてもまだ日中友好なんて言うわけか
シナ人は世界中の笑い者
チャンコロの家来
偉大な中華人民共和国への服従は世界への誉れだ 2
日中同盟を考える為のスレ
中国の本当の狙いは