クローラー

検索エンジンがWeb上のページを巡回して情報を収集するプログラム。Googleのものは「Googlebot」と呼ばれる。

Googlebotは、Google検索で使用されるスマートフォン用とパソコン用の2種類のウェブクローラーの総称。すでにクロールしたページのリンクをたどって新しいURLを発見していくため、サイト内のリンク構造が発見のしやすさに直結する。Googleは「平均して数秒に1回を超える頻度でサイトにアクセスすることはない」としている。クロールするファイルサイズには上限があり、通常のファイルは最初の2MB、PDFは最初の64MBまでで、CSSやJavaScriptなどのリソースにも同じ制限が適用される。2種類のクローラーは同じプロダクト トークンに従うため、robots.txtで個別に指定することはできない。
参考ページ：Googlebot とは
おすすめ記事：内部SEOで検索順位を上げる！手間なく効果的な5つの方法【2023年版】