1read 100read
2013年17Linux43: ファイルシステム総合スレ その16 (331)
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▼
Linux板ニュース速報22 (449)
ja_JP.UTF-8 (376)
【無料】日本でのシェアは世界の半分0.56%【Linux】 (117)
僕らの3大ディストリビューションを決めるスレ (224)
Linux用パーツという中古ブランドを確立したい (151)
【自家製】MythTV Part.3【HDDビデオ】 (706)
ファイルシステム総合スレ その16
1 :2013/03/15 〜 最終レス :2013/09/23 ●前スレ ファイルシステム総合スレ その15 http://engawa.2ch.net/test/read.cgi/linux/1341012960/l50 ●関連スレ ジャーナリングファイルシステム http://toro.2ch.net/test/read.cgi/unix/979408065/ OpenSolaris/Illumos (OpenIndiana, etc.) 6 http://toro.2ch.net/test/read.cgi/unix/1337411922/ FS関連スレ http://kohada.2ch.net/test/read.cgi/os/1137387538/l50 過去スレ、関連リンクは >>2-10 あたりで。
2 : ●過去スレ 01 http://pc.2ch.net/test/read.cgi/linux/1006743807/ 02 http://pc5.2ch.net/test/read.cgi/linux/1063025258/ 03 http://pc8.2ch.net/test/read.cgi/linux/1101495293/ 04 http://pc8.2ch.net/test/read.cgi/linux/1136695633/ 05 http://pc8.2ch.net/test/read.cgi/linux/1152348695/ 06 http://pc11.2ch.net/test/read.cgi/linux/1164457481/ 07 http://pc11.2ch.net/test/read.cgi/linux/1173530292/ 08 http://pc11.2ch.net/test/read.cgi/linux/1190788761/ 09 http://pc11.2ch.net/test/read.cgi/linux/1225001916/ 10 http://pc11.2ch.net/test/read.cgi/linux/1238673446/ 11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/ 12 http://hibari.2ch.net/test/read.cgi/linux/1256639505/ 13 http://engawa.2ch.net/test/read.cgi/linux/1311812102/ 14 http://engawa.2ch.net/test/read.cgi/linux/1326613113/ 15 http://engawa.2ch.net/test/read.cgi/linux/1341012960/ ●関連リンク 1 ext4 ttp://www.bullopensource.org/ext4/ reiserfs/reiser4 ttp://www.namesys.com/ (リンク切れ) xfs ttp://oss.sgi.com/projects/xfs/ jfs ttp://jfs.sourceforge.net/ nfs ttp://nfs.sourceforge.net/ ntfs ttp://www.linux-ntfs.org/doku.php fuse ttp://fuse.sourceforge.net/ btrfs ttp://btrfs.wiki.kernel.org/index.php/Main_Page NILFS2 (NTT) ttp://www.nilfs.org/ja/ zfs ttp://zfsonlinux.org/ ttp://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome
3 : ●関連リンク 2 en:List of file systems ttp://en.wikipedia.org/wiki/List_of_file_systems Linuxファイルシステム技術解説 ttp://www.atmarkit.co.jp/flinux/index/indexfiles/linuxfsindex.html Linuxの次世代ファイルシステムは「バターFS」!? ttp://www.atmarkit.co.jp/news/200807/10/btrfs.html Linux ジャーナリング・ファイルシステムの徹底調査 ttp://www.ibm.com/developerworks/jp/linux/library/l-journaling-filesystems/?ca=drs-jp Linux フラッシュ・ファイルシステムの徹底調査 ttp://www.ibm.com/developerworks/jp/linux/library/l-flash-filesystems/?ca=drs-jp Linux filesystem benchmark 2008/1-2 ttp://www.t2-project.org/zine/1/ ttp://www.t2-project.org/zine/4/ Filesystem Specifications - Links & Whitepapers ttp://www.forensics.nl/filesystems Linuxファイルシステムベンチマーク ext3,ext4,JFS,ReiserFS,XFS,NILFS2 ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-01.html ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html [Phoronix] Benchmarking ZFS On FreeBSD vs. EXT4 & Btrfs On Linux ttp://www.phoronix.com/scan.php?page=article&item=zfs_ext4_btrfs ● リンク切れ File Systems in Linux ttp://www.linux.org/lessons/advanced/x1254.html
4 : ● 関連リンク3 (SSD関連) LinuxサーバーにSSDを使うための情報メモ ttp://oopsops.hatenablog.com/entry/2012/05/24/164941 Linux+SSDのファイルシステムベンチマーク ttp://smackerelofopinion.blogspot.jp/2012/06/intel-ssd-520-goodness.html ttp://hesonogoma.com/SSD/Intel_SSD-330-Series_120GB_Benchmark.html ttp://hesonogoma.com/SSD/Silicon-Power_SSD-T10-128GB_Benchmark.html
5 : おつ
6 : いちおつ
7 : 「リンク切れ」フラグ以外に次のページがリンク切れになってるな 差し替え候補も挙げておく ntfs ttp://www.linux-ntfs.org/doku.php ↓ ttp://sourceforge.jp/projects/sfnet_linux-ntfs/ zfs ttp://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome ↓ 「リンク切れ」フラグ
8 : 設計思想の移り変わりはおもしろいものがあるな 2000年前半はBSDのsoftupdateが羨ましがられてたけど今はdelayed allocationだもんな 瞬電でデータ飛ぶと思うんだが
9 : fdatasync()で永続化が保障されているなら問題無い
10 : fdatasync()
11 : 2000年前に空目した。。 ここだけ西暦4000年スレに迷い込んだのかと思った
12 : 石板云々の話に戻ったのかと
13 : >>1 11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/ 12 http://hibari.2ch.net/test/read.cgi/linux/1256639505/ ↓ 11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/ 12 http://hibari.2ch.net/test/read.cgi/linux/1281277564/ 2年くらいそのまんまだけど次立てるときは覚えてたら直しといてねー
14 : ZFS LinuxとKVMを組み合わせて使っている人はいませんか? KVMを使う事になって、ZFSのファイルシステムに/var/lib/libvirtを 確保したところ、仮想イメージを読み込めないというエラーに なってしまった。 qemu-kvm: -drive file=/var/lib/libvirt/images/Cent63.qcow2, if=none,id=drive-virtio-disk0,format=qcow2,cache=none: could not open disk image /var/lib/libvirt/images/Cent63.qcow2: Invalid argument Shellからは/var/lib/libvirt/images/Cent63.qcow2は見えているのだが、 KVMからはアクセスできないようです。dedupをonに設定しているのが問題かもしれない。
15 : ぱーみっしょんというおちは?
16 : >15 それは無いです。libvertdが起動すると、EXT4では仮想イメージの ファイルオーナーがQEMUに変わるのですが、ZFSの場合は rootですから、libvertdの起動の時に何かコケてるのかも。 Zvolで使う例はありますが、これだとPCで作った 仮想イメージの利用が難しいので、すなおにEXT4のディスクに データを置く事にしました。
17 : ちゃんと上位ディレクトリまでアクセス可能にしてあるの? それと所有者はあらかじめ変更しておくのが普通じゃね?
18 : アクセス拒否ならpermission deniedだろ
19 : これと関係あるか分からんけどAppArmorでハマった事あるな ログとかstraceとかしてみれば?
20 : >>18 そりゃそうだw エラー見落としてたわ >>16 cache=noneじゃなくてwritebackまたはwritethroughにしたら動かないかな?
21 : ZFSはO_DIRECTサポートしていないね
22 : コメントありがとう御座います。 早速、ZFSの検証しようと朝アクセスしたら、なんとディスクにBADセクタが 出てしまい。HDDの交換が必要となりました。直したらcache=を確認してみます。 AppArmorの話からselinuxを確認しましたが、selinuxがONで動かないと いう恥ずかしい設定でもなく、disabledになってました。
23 : http://news.mynavi.jp/news/2013/03/22/146/index.html Phoronixに、近々リリースが予定されているLinuxカーネル3.9において、 Ext4、Btrfs、XFS、F2FSの4つのファイルシステムのベンチマークを実施した結果が掲載された。 ハードディスクとSSDの双方に対してベンチマークが実施されており参考になる。
24 : Phoronixのベンチマークが参考になるとか冗談だろ
25 : 週末ディスクを修復して、ZFS+KVMの構築を再開しました。 やはり、ZFSのファイルシステム上ではエラーが出るので、 Zvolで100Gのデバイスを作り、ext4で初期化してから、 /var/lib/libvirdにマウントして使う事にしました。 KVMからファイルシステムext4内のディスクイメージを 参照しますので、別システムからのデータの移行が容易で、 利用したかったZFSの圧縮や重複排除の恩恵も受けているように 見えます。
26 : dedup はアカン
27 : 重複排除は意味無いと何度言ったら
28 : dedup=ででゅっぷ? ext4=えくすとふぉー? zvol=ずぶぉる?
29 : 重複排除ってそんな意味無いんか? ほぼ一緒の仮想マシンイメージをたくさん動かしているとか、そういうケースだと かなり節約してくれそうな妄想があったんだが(唐突な想定をしてみる
30 : ZFSのは負荷高いから使うなって言われてる
31 : squashfsはええで。重複排除してしかも圧縮してくれる
32 : 読み込み専用だけどな。
33 : 個人利用レベルなら追加のディスク買えでFA 趣味実験ならご自由に
34 : Linuxでも同じことが起こるんですか? peta.okechan.net/blog/archives/1789
35 : そらまあ起き得る問題もあるだろうね。 Solarisを使っていてもこんなこともある。 http://ftp-admin.blogspot.jp/2011/11/solaris-10-0811-u10.html
36 : dedupはWindows Server 2012方式の方が嬉しいとき多いなぁ
37 : ZFS on Linux 0.61正式リリース ttps://groups.google.com/a/zfsonlinux.org/d/topic/zfs-announce/ZXADhyOwFfA/discussion >ZoL is ready for wide scale deployment on everything from desktops to super computers. だそうだ
38 : ライセンスでどうせマージされないんでしょ?
39 : CentOS/Redhatのyum レポジトリーへのリンクがあるのね。 Releases: 6.x、x86_64のみですが、今時32ビットでZFSを やる人はいないでしょう。 コンパイルする手間が無くなって良かった。正直なところSPLとZFSの Develop環境のバージョンを合わせてコンパイルするのが面倒だったのだ。
40 : おおパッケージとかかなりうれしいわヽ(´ー`)ノ
41 : > 40 yum install zfsでインストールが出来ますが、開発環境の インストールまではyumで面倒見てくれないので、zfsのインストール前に yum groupinstall "Development tools"を実行します。 "Development tools"が無くてもインストールは成功するので、 ちょっと判り難いです。この場合のyumのメッセージで、 .... Loading new spl-0.6.1 DKMS files... First Installation: checking all kernels... Building only for 2.6.32-358.2.1.el6.x86_64 Module build for the currently running kernel was skipped since the kernel source for this kernel does not seem to be installed. .... と、一応表示しているので、これが出たら、開発環境のインストールを 調べて下さい。
42 : flashcache他SSDcacheもこのスレでいいでしょうか? ダメならスレ立てしますが、需要少なすぎるからすぐ落ちそうで・・・
43 : >>37 お、ついにstable出たのか。これはめでたい。
44 : zfsonlinux.org使っている人感想教えて
45 : >>44 まぁ、普通。問題なく使えているが、ZFSを無理に使う 理由が見いだせない。 ディスクを簡単に増設したり、領域を切り出したり確かに便利ですが、 日常の利用でそのような場面がどれだけあるか。サーバー向けの ファイルシステムですね。と言ってもLinux業界では実績が無いので、 今後採用される見込みもなく。このままフェードアウトと思う。 さくら失敗の悪評がやっぱり大きいと思いますよ。
46 : >>45 > さくら失敗の悪評がやっぱり大きいと思いますよ。 Oracleがやらかしたのは事実だがLinuxじゃないし。 なんかイミフ。
47 : zfsというかストレージシステムがまずかったんでしょ OracleというかSunというかベンダーが出してるカタログスペックを元に採用したらうまく性能が出なかったって言う まあzfsに問題がないかはわからんけど
48 : >>45 ありがとう すべてのデータとメタデータのチェックサム機能をlinuxで利用できればパフォーマンスは問わないから FreeBSDとかillumosより便利そうだ
49 : FreeBSDでは結構トラブってる模様。 https://www.allbsd.org/~hrs/diary/ じゃあSolarisならノートラブルかというとそうでもないようで。 http://ftp-admin.blogspot.jp/2011/11/solaris-10-0811-u10.html 国内最大規模のanonymous ftpサーバー提供してる人たちだから トラブルにあう可能性も高いんだろうけど。
50 : >>48 若いときの苦労は買ってまでしたいというなら、 止めはしないが、素直にFreeBSDとかSolarisを使っていた方が無難。 SANやNASで使うならなおさらで、Linuxじゃ無くてもね。 私ですか? KVMのストレージに管理に使ってみたが、FreeBSDで SANサーバを作ってKVMからアクセスした方が良かったかも。
51 : 現状ではbtrfsより遥かにマシってのがなんとも
52 : >>49 最近の FreeBSD ではだいぶ安定しているみたいだけど ttp://lists.allbsd.org/pipermail/freebsd-ja/2012-December/000010.html ttp://people.allbsd.org/~hrs/FreeBSD/sato-FBSD20121207.pdf まとめ ・9系の ZFS は、デフォルト設定でもそこそこ動きます ・開発者が使っているマシンも ZFS に移行しているので、 安定性の心配は(昨年に比べると)だいぶなくなりました
53 : >>49 OSのアップグレードにはまっただけで、ZFSではまったわけではありません。
54 : たぶん>>49 にとっては酸っぱいブドウなんですよ
55 : 結論として、ZFSはFreeBSDで使うべき。Linxuでは止めとけ。 でOK?
56 : Linuxでやめておけと言うよりはFreeBSDやSolarisではzfsはやめておけって情報しかないな
57 : つまりZFS使うのはやめておけと
58 : JAISTでは2008年に組んだファイルサーバーで4年間ZFSを使ってきましたが何ら問題ありません。 ZFS on LinuxはLLNLがやっているので、LLNL内で使うようになるでしょう。 ユーザー規模はとんでもなく大きいしお金もあるので、ほかが採用しなくてもZFS on Linuxは成熟していくはずです。
59 : >>57 なるほど。Linuxでのファイルシステムは、btrfsが正式リリースされるのを 待ちつつEXT4やXFSでお茶を濁し、穴馬のEXT5の出来が素晴らしくてウマー!!と なるのを期待するのが正解という事ですな。
60 : >>59 どんだけ深読みしないといけないだwww
61 : >>59 Linuxでのファイルシステムは、btrfsが正式リリースされるのを 待ちつつEXT4やXFSでお茶を濁し、穴馬のEXT5の出来が素晴らしくてウマー!!となるのを期待している所を大外からdralgonfly BSDのHAMMERが差しきるのが正解
62 : >>44 L2ARCとZILにSSD入れてRAID-Z使ってるけど、いい感じだよ
63 : SUNが元気だったらZFSも一気に仕上がったんだろうか。 SUN時代にZFS基金とか募ってたら1000円くらい出してもよかったのに。 世界中から金巻き上げていっきに完成させて、今後百年みんなでその恩恵にあずかればよかったのに。
64 : >>63 さくらのデータセンターで信用失ったから、どっちにしろ無理だったと思う
65 : kfujieda兄貴おっすおっす!
66 : 個人的な意見としてはストレージ鯖でRAIDZで使うのにいい感じ だからLinuxでは無理に使う必要ないかなと
67 : ZFS on Linux は商用サービスで使っていますよ。LSI の HBA に SAS Expander 付きの JBOD と組み合せて。 FreeBSDはHBAのドライバがネックで使いませんでした。
68 : 俺はあえてbtrfsに挑むぜっ 大事なデータはバックアップするけど バックアップ先もあえてbtffsでっ
69 : >>62 タワー型のPCにHDD4本とSSDを突っ込んで、ファイルサーバを作ったのですが、 安物のSSD(2.5インチSTA)なので、調子が悪いです。構成はこんな感じ HDDは全て3.5インチSTAです。 HDD1 システム+SWAP 500G HDD2 バックアップ 1T HDD3、HDD4 Zpool 500+500G SSD log cache 40G (4Gと36Gに分割) どんなSSDを使っているか教えて頂けると助かります。
70 : >>67 FreeBSDやillumosは対応してるHBAやNICがLinuxと比べてかなり少ないからなぁ
71 : >>69 Plextor M2P 128GBだよ
72 : >>62 感想ありがと 俺も使ってみるわ
73 : おっとzfsonlinux.orgはR28ベースだから暗号化に対応していないっぽいな なにか良い代替法がある?
74 : そうそう、R28以降ソースが公開されないのも問題だよなあ。 FreeBSDだったらGEOMで別途暗号化できるようだけど。
75 : >>71 参考になりました。 今使っている40GのSSDは書き込みが特に遅い様です。 もう少し速いモデルに変えてみます。
76 : zfsの暗号化は面倒だけどluksと組み合わせるしかないようだな
77 : そういうレイヤーが何層も挟まるのが面倒でZFSが人気出たんだろうに結局先祖返りするのか
78 : >>70 基本メジャーな物で揃えちゃうから、 あまりBSDで苦労したことは無いな。 HighPointとかその辺の安物SATAとかで揃えると、色々苦労するかもしれないが。 HBAはLSI系、RAIDもLSI系/ARECA/アダプ辺り。 NICはIntelのみかな、BroadcomはWindows/Linux位までならOKだけど、 それ以外、フリー系のOSにはめっぽう弱い。 >>77 FreeBSDは元々、VFSとデバイスの間にGEOMが必ず入るから、暗号化への対応は 簡単だったはず。ファイルシステムに左右されない仕組みだから。 FreeNASの暗号化もこいつ使って、ZFS自体には手を入れて無いと思われ。 この仕組みのおかげで、本家が暗号化対応する前から、FreeBSDでは ZFSの暗号化が出来た。 ZFS自体への組み込みはillumosの開発次第だろうけど、 出来るのかねぇ。
79 : >>78 > ZFS自体への組み込みはillumosの開発次第だろうけど、 > 出来るのかねぇ。 JoyentやDelphixといった企業もillumosには参加してるから、 個人レベルでは難しくても、企業が暗号化を必要とすれば実装されるかと
80 : >>78 LSASAS2008 とか LSISAS2308 とかの対応微妙じゃない?
81 : >>78 お大尽様だな。 カニ(Realtek)の愛用者に謝罪した方が良い。
82 : >>80 2308は見てないが、2008は純正ドライバ出てたはずだが。 公式でも配布ソース配布されてるし、それを元に本体にも取り込まれてる。 9-RELEASE以外は調べてない。 illumos系では、OpenIndianaで2008使ってるけど、これも問題無いなぁ。 >>81 蟹はまぁなんだ・・・食うの面d(ry 元々、FreeBSDを2.0.5とかから使ってるんで、 DEC/3COM/Intel以外はアウトオブ眼中で育ってきてたってのもあるw
83 : >>82 http://www.freebsd.org/cgi/man.cgi?query=mps&apropos=0&sektion=0&manpath=FreeBSD+9.1-RELEASE&arch=default&format=html This driver has a couple of known shortcomings: +o No userland utility available (e.g. mptutil(8)). +o The driver probes devices sequentially. If your system has a large number of devices, the probe will take a while. 2008 / 2308 共にドライバはあるんだけど、ユーザーランドツールが無い。 故障したディスクを特定する方法が無いんだよ。 あと、書き込みのエラー処理も微妙だったはず。(LSIのドライバのドキュメントにあった)
84 : >>81 蟹NICにオンボSATA+RocketRAID 640とかいう貧乏人からすればLinuxでZFS動くのはもの凄くありがたいです。
85 : Linux ファイルシステムにおけるバグ傾向 http://green-rabbit.sakura.ne.jp/note/2013/04/07/189/
86 : >>85 その人の感想と同じ感想
87 : number of bugsの縦軸の単位ちがうのな ext3が少なくbtrfsが圧倒的だな 時間経過でバグが減ってないのはリリース時にバスタブ曲線の底を移動と考えればまあ妥当じゃね?
88 : >>85 着眼点は面白いけど それを測る物差しがパッチの数と種類って1秒でゆとり論文ってわかるだろ
89 : Linux のカーネル自身がバージョンアップしているから、バスタブ曲線の底って考えるのが正しいかは疑問かな。 個人的な感想としては、カーネルの進化により、新機能の追加とバグが定常的に出ているってイメージだわ。 何のベストアワードペーパーなのかは知らんが、それでも、「比較的枯れていると思われるファイルシステム でも定期的にヤバめなバグが出ている」(からバックアップは大事だよ)って事を説明するには有用な資料だと思う。
90 : > 比較的枯れていると考えられているファイルシステムと安定していないと考えられている Btrfs で割合がほぼ同じことに注目. バグをパッチ適用数の割合で考えてFS間を比較している考察が痛いな…
91 : 統計については詳しくないが、比較していいもの?ってのは正直思った。 ただ、比較しづらい物を比較しようとしているわけで、分析としては悪くない/これ以上いいものが無い ともいえるのでは?
92 : "A Study of Linux File System Evolution"ってタイトルなんだし もうちょっとファイルシステムの機能とか性能とか実装手法についてサーベイして欲しかったという気がする ぶっちゃけバグの数とかパッチの数とか割とどーでもいい
93 : パッチ数を測ってもバグがもたらす問題は全くわからん論文をドヤ顔で示されてもな
94 : ファイルシステムの開発実装ってめっちゃ地味で根気のいる作業だから、 OSSのコミュニティーでは、開発辛いんじゃね?ってのは、昔からちょこちょこ言われてた気はする。 構想と初期実装までは結構がんばるけど、後よろしく!ってイメージが。 通常のプログラムなら、バグっても、処理落ちるだけだけど、 ファイルシステムだと最悪、データぶっ飛ぶから、 新しい物を誰も使いたがらない=いつまでたってもバグ残ったまま、 メンテに飽きて、新しい機能実装>新規バグ追加。 1つのファイルシステム開発だけで、KERNEL開発と同じぐらいのリソース ぶち込まないと、駄目なんじゃないかと思ってみたり。
95 : にしちゃいっぱいあるよなFS 一本化してまともなのを一つ作ってほしい
96 : ZFSは在りし日のSunが人・金・時間を贅沢にぶち込んだおかげだしな。
97 : ヘタすると、ハンス・ライザーが出獄する頃まで、ずっとこんなグダグダが続いていたりして。
98 : 獄中で労役として開発させればいいのにな
99 : >>98 それじゃー懲役にならないだろw
100read 1read
1read 100read TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
キツいスペックのPCで頑張ってる人の為のスレ 15 (679)
雑談スレッドだよもん (181)
【初心者】LINUXって何なの?【厨房】 (303)
sidux - Debian Sid 安定化プロジェクト (790)
Linuxメーリングリスト スレッド 20 (479)
エンコードソフト ffmpeg のスレ (605)
--log9.info------------------
国際怖い (152)
よい串ください!! (336)
初心者でわからないんです…; (621)
WinMXのプロキシ設定ってIP漏れないの? (124)
俺の携帯電話ハッキングされてる (281)
Jetchatの裏技で勝ちたいです。 (237)
(^^; この顔文字の意味がわかりません。 (158)
★メアドから個人情報ってどこまでわかるの??★ (105)
ヤフチャでIP抜く方法 (103)
調 べ て も ら え ま す か ? (195)
xxx SPEED TEST xxx (179)
【完全な】 真の匿名で書き込む方法 【名無し】 (142)
LANカードとケーブル、どこのメーカーがいい? (188)
♥串♥ (153)
なぁなぁホントにチャットの奴ハッキング (102)
★MAMEって★ (137)
--log55.com------------------
【1人目】妊活・子作り中の人のスレ24【限定】
50代のリアルクローズ・美容スレ Part10
【派遣の】派遣会社について13【品格】
【のんびり】ドラクエウォークを楽しむ奥様 8レベル目【歩こう】
【全てが】コストコ好きな奥様本スレ189【特大】
【全てが】コストコ好きな奥様本スレ189【特大】 [ワッチョイ付]
【アンチ禁止】野球の好きな奥様 140球目【蔑称禁止】
【児童に排泄介助】乙武 洋匡121【強制猥褻・買春・脱税疑惑】