解析を見ていて思ったこと

朝っぱらから寝てばかりもいられないので、以前から気になってたことを書いてみるテスト。

当サイト(敢えてサイトと呼ばせていただきます)にもアクセス解析を仕込んであります。いや、訪問してくれた人の足跡を見てどうこうしようってんではありません、他に色々と知っておきたいこと、というか知ることで他所で役立つのではないか思うことがあるからです。それは何かというとロボットのアクセス。

ロボットのアクセスまでを解析できるスクリプトというのはとても少なくて、レンタルではオイラの知る限り1つだけ。これも大分前にサービス終了となってしまったので現状ではレンタル解析でロボットのアクセスまで取得できるのは皆無ではないでしょうか?(知ってる人がいましたら教えてください)
で、自己設置型と呼ばれる自分でサーバーに設置して動かすタイプでもロボットまで見られるのは僅かでして、オイラはその中の一つであるw3Analyzerを使わせていただいています。

アクセス解析はもう何年も前から忍者を使っていて、使い慣れているせいかレンタルではこれが一番だと思っています(FC2はトラブル大杉・xreaはグラフが見難い)。でも忍者ではロボットのアクセスまで取得できないのでw3Analyzerと併用となるわけです(当サイトでは忍者は使ってませんが)

でね、以前から気になっていたことってのがこのロボットのアクセス、要するに巡回なわけですよ。

例えば前々回の記事、9/29に書いた運動会とかの話ね。あの記事を書き終わってアップしたのが9/29の03:52:22AMでした。この更新に対するロボットのアクセスをログを見ながら列記してみます。

03:52:34 libwww-perl/5.65
更新から僅か12秒後に詳細不明なロボットがアクセスしてきました。僅か12秒後でっせ、奥さん!
このロボットは一度アクセスしただけでお帰りになったようで、次にやってくるのは同日の夕方です。過去の例を見ても同じような動きです。

03:56:01 Ask.jp BlogCrawler
更新から約3分半後、今度はAsk.jpのクローラー(ロボット)がやってきます。BlogCrawlerということはブログ検索用でしょうか?web検索用のロボットは別にあるみたい。
このロボットはその後、30分置きに3回訪問しています。過去の更新でもやはり同じようなアクセスの仕方です。

03:56:24 BlogRanking/RSS checker
Ask.jpから間をおかずにやってきたのは有名なブログランキングサイトのロボットです。当サイトはランキングなどには一切登録していませんが、ブログ検索を提供しているランキングサイトがRSSを読みに来るんですなぁ。
このロボットは殆どの場合1度アクセスするだけで帰って行きます(稀に2回来ますが)

03:58:46 YahooFeedSeeker/2.0
これはご存じ、Yahoo!のオンラインフィードリーダーMY Yahooのロボットです。アクセス回数は1回のみ。

03:59:14 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
更新から約7分が経過したところでやってきました、お馴染みのGoogleです。多くの人が待ちわびるGoogleです。この直後からAM5時52分までに24回もアクセスしています。全部の記事を読み込んでいったのでしょうか?残念なことにそこまでは把握できません。
ちなみにこのGoogleのクローラー、先月1ヶ月で2006回もお越しになりました。お願いですからオイラの別のサイトにも頻繁に来てください、キャッシュが更新されてないんですけど><

と、沢山来てますがここまではまだ3時台、更新から10分も経っていません。

04:01:25 Java/1.5.0_06
詳細は分かりませんがこれもたぶんロボットなはず。更新する度にやってきます。

04:37:16 Accelatech RSSCrawler/0.4
押っ取り刀でやってきたのはアクセラナビのクローラー。こんなサイトもクローラーを走らせてるんだねぇ。

04:52:53 Technoratibot/0.7
これはご存じの方も多いはず、Technoratiのクローラーです。

取り敢えず掲載できるのはこれくらい。掲載できないもの(ロボットなのか判別不能・IPを晒すことになる)がもう少しあったりします。百度などのスパムまがいのアクセスをしてくるロボットはアクセス自体を弾いてあるので解析ログには残ってません。

ご覧の通り当サイトは更新頻度も多くはありませんし、多数の読者を抱えているわけではありません。完全なる弱小サイトです。事実Yahooのロボットには見放されていまして、月に2~3回しか来てくれませんし。
ランキングにも参加していませんしPINGも一切飛ばしていません。TBもしていませんし被リンク数もごく僅かです。
そんな当サイトが記事を更新しただけでもこれだけのロボットがアクセスしてくるんですな。

どう思います?怖いと思いません?やたらなことは書けないなと思いません?
FC2ブログやseesaaなどではブログの閲覧をパスワードで制限することが可能です。パスを知ってる人しか記事を見ることが出来ないようにすることができます。でもいくらパスで制限してもロボットにRSSフィードを読まれてしまったら記事を検索されてしまうわけですな。大まかな概要は知られてしまうわけです。
当サイトの場合はレン鯖に自己設置してますから、その気になればrobot.txtや.htaccessによりロボットの巡回を遮断することができます。ですがレンタルブログでrobot.txtや.htaccessを弄れるところはオイラが知る限りありません。
ブログサービスによってはRSSファイルを隠したり出力しなかったりなんてことが出来るのかもしれませんが(できるのか?)、果たしてそこまで考慮して使用している人がいるのやら。

ブログに不適切なことを書いて会社を解雇されたなんて話はいまや頻繁に聞かれる時代になりました。mixiのようなSNSの内部で悪さをすると、外部にまで風評が漏れたりするのが普通です。
コッソリ書いていたはずが実は広く世間に知れ渡っていたってことも十分にあり得るわけですなぁ。

WEB2.0だの3.0だの、RSSだのなんだのと便利な時代になりました。ですが便利になればなるほど不自由になっていきますなぁ。オイラが雑記を書き始めた頃には存在しなかった気苦労が、現在では記事を書く度に付きまとっています。「多くの人に読んで貰いたい」そう思ってブログを書いている人にはロボットの巡回は有り難いのかもしれません。が、オイラのようにそれを望んでいない人の中には「ブログ検索なんかに引っ掛かって欲しくない」って人もいるはずです。だけどそのための手段は不慣れな人にはハードルが高いし、ブログ検索サイトがその情報を提供してくれているわけでもありませんし。ロボットが招かざる客であっても追い返すことが出来ずにいる人だっているわけですなぁ。

とまぁ、自サイトへのロボットのアクセスを見ていてずっと気になっていたわけですよ。人に見せる気がない文章はそれこそチラシの裏に書くべきなんでしょうか。

さて、これからこの記事をUPするわけですが、果たして何秒後に最初のロボットがやってくるのやら。

タイトルとURLをコピーしました