Googleの検索結果から特定のページを削除する方法

| コメント(0) | トラックバック(0)


このエントリーをはてなブックマークに追加
基本的に、ウェブマスターは提供しているウェブのコンテンツは、すべて検索エンジンにインデックスして貰いたいと考えているわけですが、稀に、インデックスして貰いたくないコンテンツをばっちり検索結果に表示して貰っちゃうことがあります。

Googleの検索結果からの削除方法について記します。

クローラに削除対象である旨を伝える


Googleのクローラに、削除対象である旨を伝える必要があります。この方法が3種類。

  • ページ自体をウェブ上から削除する(クローラに対して404か410が返るようにする)
  • robots.txtでクローラのアクセスをブロックする
  • NOINDEXメタタグでクローラのアクセスをブロックする

通常は、ページ自体を削除すればよいでしょう。
テンプレートエンジンなどの利用で、同一フォーマットで多数のページを生成しており、削除したいページだけを削除できないといった場合は、robots.txtでURLを指定してあげることになります。
レンタルサーバを借りているなどで、robotx.txtのあるrootディレクトリにアクセス出来ない場合は、NO INDEX メタタグの記述をすることになります。

通常は、この状態のままにしておけば、クローラが次回アクセスした際に、最新の情報に更新されますので、インデックスからも削除されることになります。

しかし、時には、急いで消したいといったこともあるでしょうし、クローラノ巡回頻度の低いページだと、数週間、数カ月そのまま放置されるなんてこともないとは言い切れません。

速やかに削除する方法

Googleウェブマスターツールには、URLの削除という機能があります。
至急削除したい場合は、URLの削除ツールを使うように、Googleもアナウンスしています。

ウェブマスターツール - サイト設定 - クローラのアクセス - URLの削除

単純に、検索結果から削除したいページのURLを入力するだけです。

ここで勘違いしてはいけないのが、上述の3つの状態(404or410、robots.txでのブロック、NOINDEX メタタグでのブロック)になっていないUURLを削除申請しても、削除されないということです。勘違いしてはいけません。勘違いしてました。

ようするにこのツールは、クローラに対して、存在しないページである、あるいはクローラのアクセスを求めていませんといった意思表示を適切に行っているページについて、次回のクロールを早めるだけのツールであり、結果として、検索結果からの削除のタイミングも早くなるのですが、このツールを使うだけで、どのような状態にあるページも削除できるといった類のものではないということです。

上記3つの状態にないURLに対して削除申請をかけると、以下のようなエラーメッセージが出ます。

リクエストは、Google によるこのページのインデックス登録やアーカイブをブロックする適切な robots.txt ファイルまたはメタ タグを、ウェブマスターが適用していないことが原因で拒否されました。
そのサイトのウェブマスターにお問い合わせいただくか、ウェブページ削除リクエスト ツールから別の削除オプションを選択してください。

ウェブマスター以外が削除申請をする方法

「ウェブマスターにお問い合わせいただくか」とあるように、当該ページのウェブマスターではない人が、削除申請することもできるようです。

以下のページにアクセスし、Googleアカウントにログインすれば、申請できます。


もちろん、ウェブマスターでない以上、robots.txtやNOINDEXメタタグの設定は出来ませんので、実際に削除が実行されるのは、ページ自体がウェブ上に存在しない状態のURLに限られます。

削除対象にする方法は、具体的には、以下のページに書いてあります。

コンテンツを Google のインデックスからの削除対象にする 
Google ウェブマスター ツールの URL 削除リクエスト ツールを使用してコンテンツを削除するには、最初に次の基準を満たす必要があります。ページまたはイメージを削除する場合は、次のいずれかを実行してください。
……以下略……


robots.txtの記述内容の実行テスト

なお、ウェブマスターツールには、robots.txtの記述内容が、適切に、意図したURLに対して行われているかをテストする機能があるようでした。実際に使ってみましたが、便利ですね。

ウェブマスターツール - サイト設定 - クローラのアクセス - robots.txtのテスト

実際にrobots.txtに記載しようとしている内容を1つ目のフォームに入力し、削除したいページのURLを次のフォーム(URL テストする URL とユーザーエージェントを指定してください。)に入力。

USER-AGENTを選びテストボタンをクリックすると、入力したURLそれぞれに対して、


許可済み
行 6: Disallow: URLによってブロックされています

などのように、クローラのアクセスを許可しているか、ブロックされているか、ブロックされている場合は、robots.txtのどの記述によってブロックされているか、を表示してくれます。これで、間違ってディレクトリ全体をブロックしてしまった、なんてポンミスはなくなります。


なお、削除ツール使用後、実際に削除がなされるのか、なされるのであれば、どの程度の時間で削除が実施されるのか、はまだ未確認です。後日追記します。

2011.2.8 追記 その後、実際に削除リクエストページから、削除テストしてみましたが、7,8時間後にばっちり削除されていました。URLで検索しても検索結果は返ってこない状態。全てのケースで削除がきちんと実施されるのか分かりませんが、とりあえず、ある程度使えそうですね。

トラックバック(0)

トラックバックURL: http://www.enjoy-com.com/mt/mt5/mt-tb.cgi/784

コメントする

        

人気エントリー