Waarom een sitemap en robots.txt ertoe doen
Een zoekmachine vindt pagina's door links te volgen. Dat werkt, maar het is traag en onvolledig: een pagina waar bijna niets naartoe wijst kan lang onopgemerkt blijven.
De sitemap
Een sitemap is de lijst die je zelf overhandigt. Daarin staat welke adressen je geïndexeerd wilt zien en wanneer ze voor het laatst zijn gewijzigd. Verwijs ernaar vanuit robots.txt, en controleer of het opgegeven adres werkelijk bestaat: een sitemapregel die naar een foutpagina wijst is erger dan geen regel.
Het robots-bestand
robots.txt houdt crawlers weg bij delen die niets in de resultaten te zoeken hebben, zoals interne zoekpagina's. Let op het verschil met een noindex-instructie: robots.txt regelt het ophalen, noindex regelt het opnemen in de index.