クローラーとは

クローリング目的のボット、クローラー

クローリングを行うロボットはクローラーと呼ばれています。ウェブサイトの情報をクローラーにより正確に理解させるためには、高い頻度でクローラーにサイトを訪れてもらうことが重要です。そこで必要なのが、サイトの更新頻度や重要性をクローラーに理解させることです。例えば、Googleのクローラーは「Googlebot」と名付けられています。’

関連記事

  1. BPRとは

  2. 租税特別措置法とは

  3. 特別目的会社とは

  4. ハードマクロとは

  5. 米国証券取引委員会とは

  6. ８巾とは

  7. 随時償却とは

  8. AWSとは

  9. Diskimageとは