robots.txt, sitemap.xml et llms.txt
Ces fichiers guident l'exploration de votre site et préservent le budget de crawl, ce qui complète la performance mesurée par les Core Web Vitals.
robots.txt
Contrôle l'exploration (pas l'indexation). Google Search Central. Le champ Crawl-delay n'est pas pris en charge par Google.
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Sitemap: https://www.web-perf.com/sitemap.xmlsitemap.xml et hreflang
Listez les URL à indexer avec un lastmod fiable (Google ignore priority et changefreq). Pour un site bilingue, déclarez les alternatives de langue ; soumettez le fichier à la Search Console et à Bing Webmaster Tools.
<url>
<loc>https://www.web-perf.com/</loc>
<xhtml:link rel="alternate" hreflang="fr" href="https://www.web-perf.com/"/>
<xhtml:link rel="alternate" hreflang="en" href="https://www.web-perf.com/en/"/>
<xhtml:link rel="alternate" hreflang="x-default" href="https://www.web-perf.com/en/"/>
<lastmod>2026-10-26</lastmod>
</url>llms.txt
Proposition de 2024 : un fichier Markdown (titre, résumé, liens vers les pages clés) destiné aux assistants IA. Ce n'est pas un fichier de permissions et son usage réel reste non confirmé : traitez-le comme facultatif. Pour interdire des robots d'IA, utilisez robots.txt avec leurs user-agents.
# Web-perf.com
> Web performance guides: Core Web Vitals, images, cache, server, loading.
## Guides
- [LCP](https://www.web-perf.com/en/lcp/): Largest Contentful Paint