「robots.txt」タグアーカイブ

Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」

投稿日時: 投稿者:


[対象: 初級] CSSファイルやJavascriptファイルへのGooglebotのクロールをrobots.txtでブロックしないようにしてほしいと、GoogleのMatt Cutts(マット・カッツ)氏が“公共メッセ [...]

- Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」 -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

Gooogleの+1ボタンがrobots.txtを無視する理由は単純なことだった

投稿日時: 投稿者:


robots.txtでブロックしたコンテンツであっても+1ボタンが設置してあると、Googleはそのページを検索結果に表示することがあるので注意が必要だ。しかし+1ボタンを例外扱いしてrobots.txtを無視するわけではなかった。理由は単純で、+1されたコンテンツはGoogle+のプロフィールで一般公開されるからだ。

- Gooogleの+1ボタンがrobots.txtを無視する理由は単純なことだった -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

robots.txtのファイルサイズは最大500KBまで

投稿日時: 投稿者:


Googlebotはrobots.txtの500KBのところまでしか読まない。500KBを超えた部分は省略されてしまうかもしれない。robots.txtは妥当なサイズに抑えておくべき。

- robots.txtのファイルサイズは最大500KBまで -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

クローラをブロック“しない”時のrobots.txtの設定

投稿日時: 投稿者:


クローラのアクセスを何も拒否しないのでrobots.txtが必要ないサイトではrobots.txtをどうするといいのだろうか？1.何も記述しないrobots.txtを設置する、2.「User-Agent: *, Disallow:」を記述する、3.robots.txtを置かない。どれが適切か？

- クローラをブロック“しない”時のrobots.txtの設定 -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

矛盾するGoogleのヘルプ：重複コンテンツをrobots.txtでブロックするのはOK？、NG？

投稿日時: 投稿者:


Googleのヘルプには、重複コンテンツの発生を防ぐために「robots.txtでブロックする」というヘルプと「robots.txtを使ってはいけない」というヘルプがあり矛盾している。どちらが正しいのだろうか。

- 矛盾するGoogleのヘルプ：重複コンテンツをrobots.txtでブロックするのはOK？、NG？ -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

robotsメタタグは累積で適用、robots.txtとは違う

投稿日時: 投稿者:


複数のrobots metaタグに対するGoogleの処理について。かち合った相反する記述が存在した場合、Googleは累積的にすべての命令に従う。robots.txtの処理方法とは異なるので注意。

- robotsメタタグは累積で適用、robots.txtとは違う -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

robots.txtの更新は1日1回 ＋ noindex / nofollow / noarchive / nosnippet / noydir / noodp タグのおさらい

投稿日時: 投稿者:


robots.txtのダウンロードは1日1回。noindex・nofollow・noarchive・nosnippet・noydir・noodp タグの目的についてまとめておさらい。

- robots.txtの更新は1日1回 ＋ noindex / nofollow / noarchive / nosnippet / noydir / noodp タグのおさらい -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM