クローラのエラー情報

2011-10-15
Google AdSenseの管理画面でちょいちょいクローラのエラー情報なんてのが表示されるんですが、それほど真剣にAdSenseに取組んでいる訳でもないので、今まであまり真剣に見た事は無かったんですが、ふと気になって今日その詳細を見てみました。

するとブロックされているのは、全てGoogleのキャッシュで、ブロックの理由はRobots.txtファイルとなっています。Googleのrobots.txtをこちらで編集出来るわけないのにエラーと言われたって困ってしまいます。
そこで、以下のように入力してrobots.txtの中身を確認してみました。

http://webcache.googleusercontent.com/robots.txt

すると、ぎっしりと細かく色々と書き込まれていましたが、
何はともあれ頭の2行がいきなり次のように書かれていました。

User-agent: *
Disallow: /search

これは全てのサーチエンジンに対して、searchディレクトリ以下をインデックスさせないという意味です。Googleで検索してキャッシュをクリックして表示されるページのURLは以下から始まっています。

http://webcache.googleusercontent.com/search

つまりGoogleのキャッシュは全てのサーチエンジンに対してインデックスさせない設定になっているわけですから、Googleに対してもクロールエラーになるのは当たり前だと思うのですが、それをわざわざ、使用者にエラー情報として表示するのは何か意味があるのでしょうか?通常は使用者としては混乱をきたすだけのような気がします。

もしかしたら僕の解釈が間違っているのかもしれませんが、どういう意図でGoogleのキャッシュページのクローラーのエラー情報をわざわざ表示させているのか不思議です。

もし、ご存知の方がいらっしゃったら、教えて下さいな。


スポンサーサイト
tag :
コメント:
このコメントは管理人のみ閲覧できます
[2011/10/26 00:42] | # | [edit]












管理者にだけ表示を許可する
トラックバック:
トラックバック URL:

http://yamuralife.blog.fc2.com/tb.php/581-d10dd4dc

<< topページへこのページの先頭へ >>