サイトマップ（Sitemap）

サイトマップ は、サイトの URL の機械可読な一覧（最終更新日や言語の代替などの任意メタデータ付き）で、/sitemap.xml で配信されます。何がどこに存在するかをクローラーに伝え、重要なものを取りこぼさないようにします。

大規模、あるいはリンクが深いサイトでは、サイトマップは完全な網羅を保証する信頼できる方法です。クローラーがすべてのリンクをたどることを期待するのではなく。