Le crawl est le processus par lequel les robots des moteurs de recherche (comme Googlebot) parcourent et analysent les pages d'un site web pour en découvrir le contenu. Ces robots suivent les liens internes et externes pour naviguer d'une page à l'autre, collectent les informations textuelles et structurelles puis transmettent ces données aux serveurs d'indexation. Cette exploration est la première étape nécessaire avant qu'une page puisse apparaître dans les résultats de recherche.
Le budget crawl représente le nombre de pages qu'un moteur de recherche accepte d'explorer sur un site web pendant une période donnée. Google alloue ce budget selon plusieurs facteurs : la popularité du site, sa fréquence de mise à jour, la qualité technique et la vitesse de chargement. Les sites volumineux peuvent voir certaines pages non explorées si leur budget est insuffisant. Optimiser ce budget permet d'améliorer l'indexation des pages importantes.
