robots.txt|検索ロボットへの指示

検索ロボットに検索してくれと指示を行うよりも、検索されたくないものを指定していく。無駄に生成されるリンクや関連性の低いサイトへのリンクを行った場合でも、ロボットへの適切な指示を行うことが肝要。 robots.txt ht […]