2014年6月12日

ドメインとったら、ちゃんと robots.txt を置こう!

そうです。
Google の Web マスターツールに登録したら、アラートをいただきました。

Webサービス作ったら、検索エンジンの事もしっかりとしないとダメですよね。

エラーページだけデータの取得から除外したかったので、

# See http://www.robotstxt.org/robotstxt.html .
User-agent: *
Disallow: /401.html
Disallow: /404.html
Disallow: /422.html
Disallow: /500.html

とだけ書かれた、 robots.txt をhttp://cocuu.net/robots.txt に設置しました。