1read 100read
2013年02月同人ノウハウ266: 同人サイトのロボ避けアク解について 4 (489)
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▼
遅筆な絵描き集まれ〜\(^o^)/ (623)
〜イベント搬入〜 3箱目 (690)
◇◇◇グッズ製作15◇◇◇ (299)
有名絵描き、漫画家って(いわゆる)高学歴が多い (212)
閉鎖・休止中サイト管理人が色々と語るすれ10 (800)
【狂言deオンリー中止】空折結婚式ニラニラスレ157【TB】 (456)
同人サイトのロボ避けアク解について 4
1 :2009/05/06 〜 最終レス :2013/02/04 一般人や版元に見つかると、何かとマズーなことが多い同人サイト運営。 なるべくひっそり楽しむために、.htaccessやrobots.txt等を用いた 検索避け・アクセス解析・アクセス制限などについて語り合いましょう。 robotx.txtや.htaccessを使いたいなら有料池 ■同人OK鯖総合スレまとめ ttp://f43.aaa.livedoor.jp/~sils/ 関連リンク ■ロボテキについて(※英文) ttp://www.robotstxt.org/wc/norobots.html ■.htaccessテンプレ ttp://www.ii-park.net/~nanashi/htaccess2.html ■ドットHTアクセス メーカー ttp://html-time.com/tool/htaccess_maker.htm ■裏サイトオーナーのためのSmall Tips ttp://sp999.oheya.jp/tips/ ■禿げしくガイシュツでうんざりしている質問のFAQ (2ch web制作管理板 ロボット型検索エンジンスレFAQ集より) ttp://f3.aaa.livedoor.jp/~zwgxodue/gaishutu.html ■ちょっとまったFC2ブックマーク(問題と対処) ttp://www.geocities.jp/no_no_bookmark/ ■PHPであれこれ。(FC2ソーシャルブックマークに関してのスクリプト) ttp://www.geocities.jp/moyashi_de_go/ 前スレ http://changi.2ch.net/test/read.cgi/doujin/1196876804/
2 : >>1 乙〜
3 : >>1 お疲れ様でした。
4 : >>1 乙なんてなんたらかんたら 最近無自覚にPathtraqインストールしてアクセスしてた人がいた 前スレのおかげで弾けてたよありがとう
5 : 乙だけどここのリンク先もう役に立たないみたい ■.htaccessテンプレ ttp://www.ii-park.net/~nanashi/htaccess2.html ■裏サイトオーナーのためのSmall Tips ttp://sp999.oheya.jp/tips/
6 : >>1 乙です
7 : 百度R
8 : >>1 おつです!
9 : 一乙
10 : >>1 乙 今日は秘密やが重い。
11 : 1乙 ■同人OK鯖総合スレまとめ これはもう情報が古すぎて テンプレからは外した方がいいかもしれないとオモ
12 : すみません lint避けるにはどう書けばいいのでしょう?
13 : deny from lint
14 : PCサイトだけど携帯で閲覧できるなら別にいいか、と放置してたんだけど とある携帯訪問者が、その人の携帯のみではうちのサイトが閲覧できないらしく PCサイト変換サイトから来るんだけど、そのサイトからくると いつも一緒にグーグルボットを連れてくる 最初は気のせいか?って思ってたけど、変換サイトの後に絶対くっついてる グーグルボット弾いてるから入ってくることはないんだけど 毎回毎回なのでウザくて仕方ないのでその変換サイト弾いたよ 別の変換サイト使ってくれ
15 : >>14 それ、Google Wireless Transcoder? 自分もうざいと思ってた。 IPがコロコロ変わるからUAで弾けばいいのかな、 でもせっかくの閲覧者がなあ…とか悩み中。
16 : 携帯でアクセスするようなのはDQNだからイラネ
17 : >>15 いや、クローラーなんだ crawl-66-249-73-162.googlebot.com
18 : 海外IPを全部弾いてる 鯖の生ログで、エラーログの方には99.153.216.189だの99.31.233.154だの 海外IPが乗っているのに、アクセスログの方を同じIPで検索しても引っかからない 通常は403返した時もアクセスログに乗るはずなのに これは一体どう考えればいいんだ?
19 : >>17 ごめん pc変換サイトがグーグルワイヤレスなの?って意味ですた
20 : >>19 いや、ぐるっぽとかいうサイト
21 : Deny from 74.125.0.0/16 って 74.125.74.154 も含まれるよね? Google Wireless Transcoder弾こうと思って自分でアクセスしてみたら 74.125.0.0/16で弾けなくて74.125.74.154だと弾ける。なんでだ?
22 : 何かこんなんができてた 原寸画像検索 ttp://k52.org/gensun/ キーワード検索は可・画像は不可にしたいんだけど 今のサイトはMETAタグしか使えなくて それだとYahooの画像検索は拒否できないようで……引っ越すかなぁ
23 : こんなホストからアクセスあった button-kokan.com ぐぐったらここ? ttp://www.aboutus.org/Button-kokan.com バナーエクスチェンジなんていらないんですけど
24 : s53.coreserver.jpからアクセスがあるんだが ぐぐってもWebサービスも何も引っかからない もちろんリンクを貼られているわけでもない(アカウント名.s53.coreserver.jpになってない) レン鯖から直接アクセスされるなんてことがあるのか?
25 : それたぶんGENOチェッカー GENOウィルスのせいで携帯からアクセス増えたけど 弾いてるから申し訳ない感じだ。 自分も聞きたい事があるのに、規制されて 携帯からで思うように投稿できない。早くても来年5月って酷い…
26 : 日本以外のアクセスを弾きたい時ってどう記述すればいいのかな まとめサイト便利だったのに無くなってて困ってる… 逆に日本だけ許可するようにこんな感じ? order deny,allow allow from jp deny from all
27 : >>24 だが >>25 >それたぶんGENOチェッカー マジでか、ビビって悪禁しちまった ウチも携帯弾いてるから悪いことしたな >>26 日本IPのみallowにしたらいい リスト公開してるサイトあったよ
28 : >>26 order allow,deny allow from .jp deny from env=shutout うちはこう書いてる .jpでも弾きたいところをenv=shutoutで指定して更に弾く .jpじゃない日本のISP(YBBとか)はallow fromで許可を出す というやりかた
29 : 「各国アクセス許可/拒否リスト」でぐぐると、allow記述済みのリスト出てくるよ。 自分は定期的にチェックして、IP羅列してる。 28も書いてるけど、弾きたいIPが追記できる 「Order Allow,Deny」 の方がいい。
30 : レストン!ぐぐってくる
31 : 28だけどenv=shutoutじゃないと弾けないみたいに書いてしまった deny fromでIPやリファを追記しても弾けます、ごめん 上でも出てたGENOチェッカーだけど 弾いているのにサイトをチェッカーにかけると安全度0%と出る… あてにしないほうがいいと言われてるけど本当にあてにしないほうがいい
32 : アクセス解析をみたら、HTML Ggtというのがありました。 ググってみたのですが、メソッドがどうとか記述に関することのようで、 具体的に誰が何をしたらこう出るのかがわかりませんでした これはロボットなのでしょうか?
33 : >>32 ttp://www.geocities.jp/mieki256jp/software/m256morehtmlgeteasyedit.html コレのことかなーと思ってるけど確かめてない
34 : >>22 これ、はてな使ってるようだからはてな弾けば済む話じゃね つか、METAしか使えないような鯖使ってるんじゃいろいろ諦めるしかないぞ 引っ越しな
35 : はてなは弾いてる 使ってるのはYahoo画像検索のようだけど
36 : 何かmsnbotが毎日特定の単語(凄い一般的な英単語)の検索結果ページから来るぽ 良く分からん
37 : あー、ロボスレも脳板に飛ばされたのか
38 : ロボ避けしてまでサイトやろうという心境がよくわからない
39 : 発信したいのと目立ちたいのは違うのよ
40 : 特定の同士にのみ見てほしいのよ。 心理的にも自己防衛の意味でも、よい子に猥褻な物を見せてしまわないためにも。
41 : 自意識過剰と選民意識の現れ こういうことに拘るのは大体が女
42 : スルー検定実施中! バカ高い検定量は検定協会会長の懐に入ります! みんな、どしどし応募してね!
43 : よりにもよって脳板かよ… 自治厨どうしよーもねーな 早速おかしなの湧いてるし リファラに塩のファイルマネージャーからのアクセスが残ってた 誤爆かなーとは思うがファイルマネージャーで誤爆して行くって どんな状況なのよ?で気になってしまう…
44 : まぁロボ避けはノウハウ系でも仕方ない気はするな 閲覧者含めて盛り上がる話題じゃないし サイト運営している人間ならではのスレだし 今回の管理人関係は全て飛ばすってやり方はどうかと思うが >>43 ジオでサイト作ってる人が リンクページとかを編集中にリンク踏んだとか? またはリファラ誤爆じゃね
45 : 検索したら板移動してたー もう意味分からん 同人ノウハウのスレを全部同人板に移動した方がいんじゃねID出るんだし ID出ると都合の悪い自演厨が申請しまくってるのか? 閑話休題 あの性質の悪いネイバーがまた来るってようっとおしい ネイバー日本再進出、15日から検索サービスへ(韓国経済危機、前に撤退したのに・・) ttp://ameblo.jp/dol-souraku/entry-10276059598.html
46 : なにそれこわい
47 : 消えたと思ってたら移転か
48 : 早速きてたよ、ネバー。 http://j2k.naver.com/j2j.php/korean/ 速攻弾いたが、よく考えると日本以外のIP弾いてたよww
49 : すまん、>>45 のサイト見てネイバーっていうのが韓国のサーチだっていうのは 分かったんだが何か問題でもあるのか?性質が悪いって何かやったのか?
50 : >>49 ロボテキを無視する IPやらホスト指定して弾いてもIP変えリファラ変え しつこくしつこくクロールしようとする ロボットの中では「性質が悪い」事でとても有名 yetibot@naver.comが未だにクロールしていて性質が悪い事でも有名だから 日本から出て行っていたとは知らなんだ つか来るなよもう NAVERの後にできた Baiduspaider=百度もロボテキ無視するので嫌われている
51 : 2006年の記事だが、こんな前から狙ってたんだな Naverが日本再上陸か? ttp://slashdot.jp/it/06/08/09/0752259.shtml >ここで思い出すのがNAVERの 強力すぎる迷惑ロボット なのだが、このblogのコメントにもあるように >8月3日から急にUserAgentが「Mozilla/5.0 (compatible; NaverBot/1.0; nhnbot@naver.com)」となっている >アクセスが手元のサイトでは1000アクセス/日ほど来ている。 >この程度ならまだいいが、前科があるだけに怖いところだ。
52 : >>50 良く分かった、ありがとう。 ロボ避けしてるサイトにとってはかなり迷惑なサーチなんだな
53 : うちも来てた ずいぶん前から弾く設定したままだから拾われなかったが… Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) 検索したら5月の記事でアクセス頻度がハンパねぇ、って事で 弾いてる人がいたから行儀は良くなっていない模様
54 : NaverBot ttp://ja.wikipedia.org/wiki/NaverBot >主な指摘 > * 秒間隔で次々リクエストを行うため、DoS攻撃のようにサーバーを不安定にさせる。 > * 全てのディレクトリに対し、default.htm, default.html, home.php等インデックスに使われそうな名前のページを、ページの有無を確認せずにリクエストする。 > * セッションを識別せず、同じURLに対してセッションだけ変えて何度もリクエストを行う。 > * サイト管理者が用意するrobots.txt(クローラのアクセスを制御するファイル)を読み込みながらも無視。あるいは、robots.txtを短時間に何度も読み込む。 > * HTMLのMETAエンティティを使ったロボットのアクセス制御を無視する。 > * HTTPリクエストのUserAgentフィールドを次々に変える。変名はNABOT/5.0、nhnbot、minibot(NaverRobot)、dloader(NaverBot)、 nabot、Cowbot、NaverBot-1.0+(NHN+Corp.+/++82-2-3011-1954+ /+nhnbot@naver.com) >等さまざまな名前が確認されている。また、robots.txtへのアクセス時にGoogleのクローラGooglebotに似たGoogleBotというユーザーエージェント名を用いたことも確認されている。
55 : こういうUAがあったんだが Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB5; YTB720; .NET CLR 1.1.4322; niconico) 最後のniconicoってあのニコニコか?なんでUAに? ググったがUAにniconicoがついてしまう理由が分からなかった。 画像の持ち出しとかされたら恐いんだが…。niconico来た人いる?
56 : たぶんニコニコ版IE8のことじゃないかな
57 : >>56 そんなのがあるのか! 特に気にする必要なさそうで良かった。ありがとう。
58 : Bingになってから画像が引っ掛かるようになった気がする……
59 : 今日こんなのが来てたんだけど一体なんなんだろう Mozilla/5.0 (000000000; 0; 00000 000 00 0; 00000) DDDDDDDDDDDDDDDDD DDDDDDD DDDD DDDDDD DDDDDDDDDDDD IPは国内のメジャーなプロバだし、リンク元は自ジャンル幸と至って普通なんだけど、 こんなUA初めて見たんでびっくりしたんだ ぐぐってもどこかのアク解結果しか出て来ないしすげー怖い
60 : 自分で適当に打ったんじゃないの
61 : >>59 うちにも同じのきてたよ 偽装UAなんだろうけど、目立ち過ぎて偽装しないほうがまだマシだ まったく同じUAってことは UA偽装ツールかブラウザの機能にデフォであるUAなのかもしれないね
62 : >>60-61 あー偽装か!てんぱっててそこに考えが至らなかったありがとう安心しました 確かに悪目立ちして偽装する意味ないよなこれ…
63 : 偽装するならメジャーなUAにしとかないと意味ないよね FireFoxのUser Agent Switcherは主なブラウザをリストから選べて便利だ マカーな自分には手放せないw
64 : お隣の国の政府機関ドメインからアクセスがあった 何か怖い
65 : >>64 うわ・・・それはこわい・・・
66 : IE8ですら弾かれるサイトもあるからIE7に偽装してるが タダなものは最新でないと気が済まないのでちょっとイラッとする FLASH使いまくりの企業サイトのくせして……
67 : こんなのが来てた。 MicroAd/1.0 (http://www.microad.jp/) 来るだけなら別に構わないんだけど、自サイトは今はまだ、 どこからもリンクが貼られていない状態。 これ以外のロボが来たことは一度もない。 にも関わらず、トップでもない下の階層にいきなり来た。 しかも管理用の、自分以外にはアクセスしないページ。 なにそれこわい。 まさか、自分のブラウザから情報が漏れてるとかじゃ ないだろうな…
68 : .htaccessで学校とかからのアクセスを弾きたいんだけど 調べたらドメインで弾くとサーバーの負担が大きいとあった 弾いてる人はどうやってるの?
69 : k
70 : ゴメン失敗。 >>68 deny from .go.jp deny from .lg.jp deny from .ac.jp deny from .ed.jp deny from .ad.jp などはとりあえずドメインで弾いちゃってる。 IPを何千行も羅列するよりは負担小さいんじゃない?と勝手に思い込んでるけどどうなんだろ。
71 : >>70 自分もそれでやってる IP個別に弾いてたら何千行になってさすがにやばそうだし
72 : >>68 うちは>>70 +IPで弾いてる 逆引きできないところも結構多いから、結局はIP羅列になるよ 役所や企業も弾いてるから行数は3000近いけど、自分の体感ではそれほど重くはない
73 : ありがとう あんまりサーバー負担とか気にしなくても平気みたいだね ドメインで弾くことにする 3000近く弾くとか大変そうだ
74 : メチャクチャ妖しいアクセスがあった IPは『222.73.173.11』でUAは『Mozilla/4.0』 以下、解析に残っていたアクセスログ。もちろん全部404 /admin/edit/admin_login.asp /admin/edit/urlradmin_login.asp /admin/editor/vwcyadmin_login.asp /admin/editor/admin_login.asp /admin/eWeb/rpdaadmin_login.asp /admin/eWebEditor/admin_login.asp /admin/eWebEditor/ikabadmin_login.asp /admin/eWebEditor/admin_login.asp /admin/omljupfile_flash.asp /admin/htmledit/admin_login.asp /admin/htmledit/kejvadmin_login.asp /admin/SouthidcEditor/admin_login.asp /admin/SouthidcEditor/viukadmin_login.asp /admin/upfile_flash.asp /admin/webeditor/tufaadmin_login.asp /admin/webeditor/admin_login.asp /admin/WebEdit/admin_login.asp /admin/WebEdit/hlifadmin_login.asp /admins/upfile_flash.asp /admins/tfaiupfile_flash.asp
75 : 続き /asp_bin/webeditor/admin_login.asp /asp_bin/webeditor/wazpadmin_login.asp /azgjUserReg.asp /CmsEditor/ydruadmin_login.asp /CmsEditor/admin_login.asp /edit/admin_login.asp /edit/whlnadmin_login.asp /editor/admin_login.asp /editor/ljhnadmin_login.asp /eWeb/admin_login.asp /eWeb/dvycadmin_login.asp /eWebEditor/rfsiadmin_login.asp /eWebEditor/admin_login.asp /ewindoweditor/admin_login.asp /ewindoweditor/ydmpadmin_login.asp /htmledit/admin_login.asp /htmledit/woxjadmin_login.asp /htmleditor/admin_login.asp /htmleditor/jhtxadmin_login.asp /include/tigzupfile_flash.asp /include/upfile_flash.asp
76 : これで最後 /manage/edit/admin_login.asp /manage/edit/gjfuadmin_login.asp /manage/editor/admin_login.asp /manage/eWebEditor/admin_login.asp /manage/eWebEditor/iywyadmin_login.asp /manage/webeditor/kvbjadmin_login.asp /manage/webeditor/admin_login.asp /newsadmin/ubb/msniadmin_login.asp /newsadmin/ubb/admin_login.asp /UserReg.asp /upfile_flash.asp /webeditor/msffadmin_login.asp /webeditor/admin_login.asp /WebEdit/admin_login.asp /WebEdit/riceadmin_login.asp /WebEdit/admin_login.asp /zgwlupfile_flash.asp
77 : >>67 ブログやブログパーツについてる広告を表示するためのbotだから心配ない
78 : 今日リファラ見てたら ttp://www.google.com/gwt/nってのが出てきたんですが、これなんでしょうかね? GWTでググってもJRAを変換するためのツールキットというのが出てきただけなんですが 生憎うちはJAVAもjavascriptも使っていないサイト構成です ド僻地サイトなのでなんでこんなものがかかったのかちっとも不明です
79 : >>78 それはGoogle Wireless Transcoderだよ PCサイトを携帯用に変換するサービス
80 : 火狐で「http:// 」が含まれるUAがあった。 ttp://www.teesoft.info/ ここのAutoPagerというアドオンを入れると Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; ja-JP-mac; rv:1.9.0.11) Gecko/2009060214 Firefox/3.0.11 AutoPager/0.5.2.2 (ttp://www.teesoft.info/) こんなUAになる。メジャーなアドオンみたいで、何人かいた。 今までhttp:// を含むUAは弾いていたのに、どうしたものかな…
81 : うわー、マジで? うちもhttp:// を含むUAは弾いている 解除しといた方がいいのかなぁ
82 : >>79 ぐるっぽとかファイルシークみたいなものか 安心したよ。どうもありがとう!!
83 : >>80-81 見れないとなったら1クリックでオフにできるからそのままでいいと思う
84 : >>83 普通に考えたら、アドオンで弾かれてるなんて思わないんじゃないかな? うちにきた1人はブラウザ変更したけど、後は去ったよ。 とりあえず解除して、ロボの方を様子見しようと思う。
85 : torproxy.net?を弾きたいんだけど どういう記述にしたら良いのかな… 自サイトは絵と写メ日記しかないんでなんだけど 無理矢理魚拓取れるってのもイヤなんで…
86 : >>85 それ自体を知らなかったけど、調べたら恐ろしいものだね。 単体のサービスの他に、火狐の定番アドオンにも入っていて驚愕した。 リファラとIPで弾いてみたけど、効果があるんだかないんだか…
87 : 初歩的な質問ですいません。 >>86 の方等が、リファラやIPで弾く等の対処をする時に どうやってtorproxy.net等のリファラやIPを調べているんでしょうか。 自分も弾きたいのですが、いつも調べ方が分からずはじけずにいます
88 : ここは初心者スレじゃないし、調べてもわからんのなら なんでも同人系スレに聞くんじゃなくて該当板の初心者スレに行きなよ
89 : >>88 スレチな質問すいませんでした。 該当スレ探してきます。ありがとうございました。
90 : 思うにIPを検索してるだけで、IPを知る方法を検索してないんだと… torproxy.net 91.121.0.0/16 tor-proxy.net 188.40.0.0/16 でいいのかな?検索したらURLが2種出てきたけど。
91 : フランスとドイツか 海外全部弾いててよかった
92 : 確かに 日本オンリーにしてると、いろいろ助かるな
93 : うちのサイトのindexはphpなんだが index.htmlにアクセスして、404を出す人がいる。 404(index.html)を出した後、1秒で正式なURL(index.php)にアクセスしなおす。 ちなみにサイトURLは ttp://hoge.jp という感じで、わざわざindexとか表示してない。 最初スパム系のロボかと思ってログを見ると、普通に閲覧してる日もよくある。 よろずサイトなのに同じジャンルしか見ないし、ゲームで遊んでいるのでロボではないと思う。 ただ404を出すときは、index.htmlとindex.phpにしかアクセスしない。 よくあるので気味が悪いんだが、セキュリティソフトの先読みだったり スクリプトだったりするのかな?
94 : 更新チェッカじゃね?
95 : 更新チェッカが ttp://hoge.jp にアクセスしたときに indexファイル探してるんだとオモ 多分優先順位が index.html >>>> index.php になってて htmlで404出てからphpファイルにアクセスしてるんじゃね?
96 : なるほど目鱗だ!ありがと。 しかし注意書きしかないindexだけチェックされても、1年以上更新されてない…
97 : >>96 更新チェッカーをブクマ代わりにしてるんでしょ チェックはついでみたいな
98 : >>77 遅くなったけどレスありがとう。 とりあえず心配なさそうだけど、しばらく様子を見たところ、 どうやらブラウザから情報が漏れてるのは確定のようで、 気持ち悪くて仕方ない。 こいつが来るようになったのがFirefoxを3.5にしてからなんだけど、 やっぱり何か関係あるんだろうか。 本体のせいなのかアドオンのせいなのか…
99 : >>98 アメーバブログなんかをやってるサイバーエージェント発らしいけど その辺のサービス利用してるとかないのかい?
100read 1read
1read 100read TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
同人友達に('A`)となるとき88 (720)
俺にやる気を出させるスレ (307)
マイナージャンル・カプ・キャラを語るスレ 24 (331)
原稿を描く(書く)時の、あなたのRルは? (539)
在日で同人活動してる人いる? (319)
はじめてのどうじんし 9 (692)
--log9.info------------------
【ニャンコロ観察日記】樹るう 8猫目【ぼくの奥さん】 (325)
【D・キッサン】共鳴せよ!私立轟高校図書委員会 2【どろ高】 (629)
カネコマサル2 「ふら・ふろ」「百花印(仮)」 (263)
【お願い神サマ!】守姫武士 (556)
【ぱわーおぶすまいる】ウロ (879)
「イチロー!」の未影を語ろう (805)
【でもそれは】◆スケッチブック 柴田まさ5◆【言わないのだ】 (830)
【数学女子】安田まさえ (546)
初心者もお気軽に…質問スレ@4コマ漫画板 (693)
男が4コマ雑誌なんか買って恥ずかしくないの? (304)
TEST (371)
【まじん☆プラナ】 nino その4 (343)
4コマ単行本・コミックス情報スッドレ (305)
【教艦ASTRO】 蕃納葱 【その3】 (214)
【ハッピーカムカム】かたぎりあつこ (803)
【とびだせ】小笠原朋子を語ろう!四坪目【ゆなさな】 (974)
--log55.com------------------
フレッシュ屋外大撮影会 【私服専用】Part.29
フレッシュ屋外大撮影会 【水着専用】Part.33
☆元高3京大工C判☆人類史上最高のアニメ漫画作・写真家 松田武敏44歳 を語る☆Lantis☆2編目
【酒】晩酌画像を晒し合おうぜ 18杯目【肴】
G ス タ (旧 ガーネット撮影会) その6
サンバイベント情報104
【撮影会へ】大人数低価格撮影会 Part.44【行こう】
フレッシュ少人数撮影会&スタジオ撮影会 Part.73