robots.txt|検索ロボットへの指示

検索ロボットに検索してくれと指示を行うよりも、検索されたくないものを指定していく。無駄に生成されるリンクや関連性の低いサイトへのリンクを行った場合でも、ロボットへの適切な指示を行うことが肝要。

robots.txt

https://support.google.com/webmasters/answer/156449?hl=ja
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

すべてのロボットを拒否

特定のディレクトリのみ拒否

特定のページのみ拒否

pngファイルのみ拒否

ワイルドカード使用可、大文字小文字は判別される、空白と空行などは無視される。文字列の末尾を指定するには「$」を付与する。

ロボットテキストのテンプレート

検索インデックス対象はサイトマップで指定しておく
http://www.sitemaps.org/
http://www.sitemaps.org/ja/protocol.html
サイトマップのテンプレート

meta robots

https://support.google.com/webmasters/answer/93710

ページをインデックスさせない

ページはインデックスさせるがページ内のリンクの参照を拒否

コメントを残す