Googleは、スマートフォン用Googlebotのユーザーエージェント (User-Agent, UA) を更新することをアナウンスした。2016年4月18日以降に稼働を開始する予定だが、すでに稼働している。変更によって99%のサイトは影響を受けないと予想される。したがってほぼすべてのサイトで対応は不要。
- Google、スマートフォン用Googlebotのユーザーエージェントを更新 -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM by Kenichi Suzuki
Googleは、スマートフォン向けのクローラが使用するUser-Agent（ユーザーエージェント）を変更する予定であることをアナウンスした。これまでは、スマートフォン版クローラのUAとして「Googlebot-Mobile」が使われてたが、今後3〜4週間後に、標準のウェブ版クローラと同じ「Googlebot」に切り替える。
- Google、スマートフォン版User-Agentを変更。Googlebot-MobileからGooglebotへ。 -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
サーバーにアクセスしてきたクローラが本当にGooglebotかどうかを確認したいときにはIPアドレスだけを基にして判断するべきではない。DNSのリバース ルックアップ（逆引き参照）を用いて、そのIPアドレスがGoogleが所有するものかどうかを併せてチェックする必要がある。
- GooglebotのアクセスをIPアドレスで確認するときには注意が必要、DNSリバースルックアップを使う -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
Googlebotは、人間のユーザーとは違って文字どおりリンクをたどってその先にあるページにアクセスしたりはしない。リンクを中心にサイトマップの援助を得てクロール対象となるURLのリストを作成する。URLには優先度が与えられ、その優先度に従って順にクロールを開始していくのだ。
- Googlebotはリンクをたどってクロールしたりはしない、人間のユーザーとは違う -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
- Googlebotをリファラーでブロックして不自然リンクを無効化できるか？ -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
- Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」 -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
- GoogleがSOPA抗議で停電、Googlebotの活動を低下させる -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
- Googlebotはフォーム送信してまで新しいページを発見する -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM
Ad Plugin made by Free Wordpress Themes