ベンチャー企業の執行役員がゲームやカメラなど、いろいろ書いていきます。

ログ日記

wordpress

WordPress使用サイトでのrobots.txtの設定(2016年6月時点)

更新日:

robots.txtとはGoogleなどのロボット型検索エンジンに対する命令を記述するファイルのことです。ロボット型検索エンジンが見なくてもいいファイルを指示したりするために使用するのですが、動的にファイルを作成するCMSを使用しているホームページでは必須とも言える設定です。

2015年ごろまでは下記のファイルのようにWordPressのホームページではrobots.txtを指定するのが一般的でしたが、最近(2016年6月時点)では指定方法に変化が見られました。
[html] User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads
Disallow: /*?*
Disallow: /*?
[/html] 【2015年ごろまでのrobots.txt】

ところがこの設定をしていると最近ではGooglenoモバイルフレンドリーテストでうまくいかないことがあるため変更したほうがよさそうです。理由はこの記事の最後に書きますがとりあえず、上記のようにrobots.txtを指定しているのであれば下記のように指定をしたほうがよさそうです。

[html] User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
[/html] 【2016年6月時点の推奨robots.txt】

このrobots.txtは最近のWordPressでは仮想robots.txtとして書かれている内容のため、WordPressのサイトを運用している場合、特にrobots.txtを指定をしなくてもよさそうです。

■robots.txtについて
robots.txtはGoogleなどのロボット型検索エンジンに対して制御するものでありクローリングを最適化するためのものです。しかしながら設定によってはクローリングを阻害してしまうこともあるため、正しく理解していないとGoogleなどのロボット型検索エンジンから誤解を受けてしまうため注意が必要です。よくわからないうちは「なにもしない」が正しい選択肢なのかもしれません。

■robots.txtのケーススタディー
ここからは私が運営しているホームページで起きたことになるのでWordPressのテーマやプラグインなどの相性等もあるのですが、2015年に指定していたrobots.txtにしていたところ、先日(2016年6月20日)Googleの検索結果でモバイルフレンドリーではないと表示されておりました。
Googleのモバイルフレンドリーテストの結果を確認するとホームページの幅が表示領域を超えている、リンクが近すぎるというエラーが表示され、ホームページのキャプチャがPC版を表示しておりました。不思議に思い実際のスマートフォンで確認をしたところしっかりとスマートフォンに最適化された表示が問題なくできており、気になって原因を調べたところ、robots.txtで「wp-includes」ファイルをクローラーから除外していたため、GoogleのモバイルフレンドリーテストはPC版のホームページに対して行われていたようでした。
robots.txtの設定を更新したところ現在ではGoogleの検索結果でも「スマホ対応」と表示されるようになりました。





Pick UP!
東京のおいしいお店がすぐわかる食べ歩きに役立つサイト
東京グルメ散歩

最新の更新を
プッシュ通知で購読しよう

-wordpress
-,

Copyright© ログ日記 , 2020 All Rights Reserved.