「robots.txtファイルにアクセスできません」と表示されたら | サラリーマンの副業奮闘記

「robots.txtファイルにアクセスできません」と表示されたら | サラリーマンの副業奮闘記 記事一覧

「robots.txtファイルにアクセスできません」と表示されたら

 まいど吉田屋です。


「robots.txtファイルにアクセスできません」


いったい何のことか、さっぱり分りませんよね?


私が新しくサイトを立ち上げたとき、
実際にGoogleから表示されたメッセージです。


これ、ほっといたらダメです。


いつまでたっても、インデックスされません。(涙


直し方は、実は、もの凄く簡単でした。


 

サイトを新しく立ち上げたら、
「Googleウェブマスターツール」にちゃんと登録してますか?


Googleにサイトマップを送信することで、
サイトのインデックスを促進することができます。


ここで言うサイトマップとは、xmlファイルのことです。


サイトマップにも、sitemap.xmlと、
サイトマップ.htmlの2種類があります。


どちらもそのサイトにどんなページがあるかを、
リストにして表示するものですが、
教える相手が違います。


sitemap.xmlは、検索エンジンに教えるためのもの。
サイトマップ.htmlは、読者さんに教えるためのものです。


ですから、「Googleウェブマスターツール」には、
sitemap.xmlを送信してくださいね。


インデックスというのは、
Googleなどの検索エンジンが、
クローラーと呼ばれるロボットプログラムを使って、
サイトの情報をデータベースに登録することです。


検索語が入力された場合、
Googleは実際に世界中のサイトを探しにいくわけではなくて、
このデータベース内を探します。


ということは、インデックスされていなければ、
検索されてもヒットすることはありませんから、
インターネット上に存在していないのと同じことになります。


そこで、新しくサイトを立ち上げたら、
まずやらなければいけないことは、
できるだけ早く、インデックスさせることなんですね。


そのために役立つのが、
この「Googleウェブマスターツール」です。


サイトマップを送信することによって、
インデックスが保証されるわけではありませんが、
クローラーの処理を改善することができると、
Google自身が明記しています。



ウェブマスターツールに登録することによって、
全ての情報をGoogleに握られてしまうことを
危惧する意見もあるようです。


Googleのアルゴリズムを欺き、
不当に検索上位に表示させようとする人にとっては、
Googleは”敵”なのかもしれません。


しかし、読者さんにできるだけ有益な情報を発信したい、
と考えている人にとっては、
Googleは同じ目的を持つパートナーです。


なので、ウェブマスターツールに登録することは、
Googleがはっきりと書いているように、
デメリットになることはない、と私は考えています。



さて、「Googleウェブマスターツール」に登録することは、
それ以外にも大きなメリットがあります。


サイトがなかなかインデックスされなかったり、
検索結果が突然圏外に飛ばされてしまったりしたとき、
対策に必要な情報を、Googleから得ることができます。



ご存知でしたか?


Googleって、意外に親切だったりします。(笑


先日、Googleが公式ブログで公開している、
検索順位が急落したときの対応策を、
こちらにまとめました。



主な対応策は次の3つです。


1) 「品質に関するガイドライン」に違反しない。

2) ウェブマスターツールのメッセージを確認する。

3) 「robots.txtファイルにアクセスできません」と表示させない。


今回は、
「robots.txtファイルにアクセスできません」と表示されたときの
具体的な直し方を、ご紹介します。




Googleウェブマスターツールの「ダッシュボード」にある、
「クロールエラー」に”アクセスできません”と
表示されることがあります。


クロールエラー


これは、クローラーがあなたのサイトにアクセスできなかった、
というメッセージですから、原因を取り除かない限り、
サイトがインデックスされません。


「クロールエラー」の下にある「詳細」をクリックしてください。


すると、「クロールエラー」の「ウェブ」の「詳細」に、
クローラーが見つけた問題が具体的に表示されています。


クローラーがURLにアクセスできない原因には、
次のような種類があります。


・5XXエラー

・DNSの問題

・robots.txtファイルにアクセスできません

・ネットワークにアクセスできません

・接続できませんでした

・応答がありませんでした

・応答が途切れました

・接続が拒否されました

・ヘッダーが途切れました


それぞれの詳しい内容については、
こちらのページを参照してください。



3番目の「robots.txtファイルにアクセスできません」以外は、
サーバーや回線の問題と考えられる場合が多いので、
ある意味、どうしようもない原因です。


まずは、しばらくほっておいて、
問題が解決されるのを待つしかないでしょう。


しかし、「robots.txtファイルにアクセスできません」
というエラーは、自分で直すことができます。


robots.txtファイルとは、
クローラーのサイトへのアクセスを制限するものです。


サイトの特定のページをインデックスしたくないとき、
使います。


普通は、サイトの全ページをインデックスして欲しいわけですが、
その場合、robots.txtファイルは不要です。


ここで注意しなければいけないことは、
「robots.txtファイルにアクセスできません」というエラーは、
robots.txtファイルがない、という意味ではないということです。


robots.txtファイルがなくても、
クローラーは、正常にサイトをクロールしてくれます。


「robots.txtファイルにアクセスできません」と表示されたときは、
robots.txtファイルに何らかの問題がある、
と考えた方がいいです。


直し方です。


Googleウェブマスターツールの
「サイト設定」-「クローラのアクセス」-「robots.txtを生成」
をクリックします。


「1.デフォルトのクローラのアクセスを選択」で、
「すべてを許可」を選択します。


3にある「ダウンロード」ボタンをクリックし、
robots.txtファイルを保存します。


立上げたばかりのサイトで、ブロックするページがなければ、
robots.txtファイルの中身は、次のようになっているはずです。


User-agent: *
Allow: /


無料ブログでは、クローラーのアクセス頻度を指定する、
「Crawl-delay」パラメータが設定されていることもあります。


しかし、無料ブログではrobots.txtファイルをいじれませんし、
そもそもエラーが起こることもないでしょう。


さて、そのrobots.txtファイルをサイトの最上位の
ディレクトリにFTPソフトを使ってアップロードします。


「robots.txtのテスト」タブをクリックし、
一番下にある「テスト」ボタンをクリックします。


「ステータス」に”200(成功)”と表示されればOKです。


成功


これで、クローラーがアクセスできない障害は、
取り除くことができましたので、
あとはインデックスされるのを待つだけです。


comments(6)trackbacks(0)|2011.07.16 Saturday | category:├ SEO
このブログで人気のある記事を読む

ブログパーツ
このブログで人気のある記事を読む

コメント








   

こんばんわ。
のんたです。


グーグルのウェブマスターツールは良いですよね。


僕も使ってます。
吉田屋さんみたいに使いこなせてる気はしませんが。。。



記事、とっても参考になりました。それではまた遊びにきます。



応援。


のんた 2011/07/16 11:23 PM

のんたさん、いらっしゃい。

ウェブマスターツールは、今回ご紹介した以外にも、
沢山の機能が揃っています。

少しずつ、ご紹介していきますので、
お楽しみに〜

あっ
無料レポート第二弾、公開おめでとうございます。

楽天アフィリエイトをやっている、
もしくはこれからやろうとしている方には、
是非、読んでおいて欲しい王道レポートですね。

吉田屋 2011/07/17 12:26 AM

吉田屋さん、こんばんは。
いつも、ありがとうございます。

Doです。

いくら良い記事を書いても、
インデックスされなきゃ何の意味も
ないですよね。

サイトを立ち上げた時に
確か登録したハズ・・・!
自信がないので、
さっそく確認へ行ってきます!(汗)



今日も元気だ!応援だぁぁぁ!

今日も元気だ!Do入魂!アフィリエイト魂!@Do 2011/07/17 10:26 PM

Doさん、いらっしゃい。

ウェブマスターツールは、
サイトを立ち上げた後もいろいろ使える
機能が揃っています。

是非、有効に使ってみてくださいね。

なんと言っても、Google本家のツールですから。

吉田屋 2011/07/18 12:35 AM

初めまして、nyannko’レポート日記のnekoと申します(∩_∩)ゞ。

検索して寄らせて頂きました。

同じテンプレを使って
同じっ設定でブログを3つ楽しんでいるのですが
このブログだけ、どういうわけかPageRankが急に上がったり下がったり

挙げ句、上記のようなエラーで困っていました(><; )!

とても丁寧な記事なので
一つ一つ挑戦してみましたが

さて、そのrobots.txtファイルをサイトの最上位の
ディレクトリにFTPソフトを使ってアップロードします。


個々の部分がよく理解できず
断念しちゃいました(笑)
もう少し勉強してからまた挑戦してみます☆彡

レポート日記@neko 2011/07/25 6:06 PM

nekoさん、いらっしゃい。

申し訳ありませんっ!
ちょっと、はしょり過ぎましたね。(汗

単純に言うと、そのサイトの
「index..html」ある場所に、
「rotobts.txt」ファイルをアップロードします。

そのアップロードするFTPソフトとして、
一番有名なのは、FFFTPでしょうか。

私はFirefoxのアドオン、FireFTPを使ってます。

後で、サイトにお邪魔しますね。

吉田屋 2011/07/25 10:51 PM

トラックバック
この記事のトラックバックURL:

月間アーカイブ



(最近の記事一覧)
Copyright © 2018  「robots.txtファイルにアクセスできません」と表示されたら | サラリーマンの副業奮闘記 All Rights Reserved.
当サイトのテキストや画像等すべての転載転用・商用販売を固く禁じます
Designed by SEOテンプレートKAETEN X