In dit artikel onderzoeken we de sleutelrol van het robots.txt-bestand bij het beheren van verkeer op websites, bespreken we de noodzaak van de aanwezigheid ervan en geven we aanbevelingen voor het instellen ervan voor effectief beheer van pagina-indexering. Daarnaast analyseren we voorbeelden van correct gebruik van richtlijnen in het robots.txt-bestand en geven we een handleiding over hoe u de juistheid van de instellingen kunt controleren.
Waarom Robots.txt nodig is
Robots.txt is een bestand dat zich op de server van de site in de root directory bevindt. Het informeert zoekmachine robots hoe ze de inhoud van de bron moeten scannen. Correct gebruik van dit bestand helpt voorkomen dat ongewenste pagina's worden geïndexeerd, beschermt vertrouwelijke gegevens en kan de efficiëntie van SEO-optimalisatie en zichtbaarheid van de site in zoekresultaten verbeteren. De configuratie van robots.txt wordt gedaan via richtlijnen, die we later zullen bekijken.
Richtlijnen instellen in Robots.txt
User-Agent
De primaire richtlijn staat bekend als User-Agent, waarbij we een speciaal trefwoord voor robots instellen. Bij het detecteren van dit woord begrijpt de robot dat de regel specifiek voor hem bedoeld is.
Overweeg een voorbeeld van het gebruik van User-Agent in het robots.txt-bestand:
User-Agent: *
Disallow: /private/Dit voorbeeld geeft aan dat alle zoekrobots (aangeduid met het symbool " * ") pagina's in de map /private/ moeten negeren.
Dit is hoe de instructie eruitziet voor specifieke zoekrobots:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/In dit geval moet de Googlebot -zoekrobot pagina's in de map /admin/ negeren , terwijl Bingbot pagina's in de map /private/ moet negeren.
weigeren
Met 'Disallow' geef je zoekmachines aan welke URL's ze moeten overslaan of niet indexeren op de website. Deze instructie is handig als je gevoelige gegevens of pagina's met content van lage kwaliteit wilt beschermen tegen indexering door zoekmachines. Als het robots.txt-bestand de regel ' Disallow: /directory/' bevat , wordt robots de toegang tot de inhoud van de opgegeven map geweigerd. Bijvoorbeeld:
User-agent: *
Disallow: /admin/Deze waarde geeft aan dat alle robots URL's die beginnen met /admin/ moeten negeren . Om te voorkomen dat de hele site door robots wordt geïndexeerd, stelt u de rootdirectory in als regel:
User-agent: *
Disallow: /Allow
De waarde 'Toestaan' werkt tegengesteld aan 'Niet toestaan': hiermee krijgen zoekrobots toegang tot een specifieke pagina of map, zelfs als andere richtlijnen in het robots.txt-bestand de toegang daartoe verbieden.
Overweeg een voorbeeld:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlIn dit voorbeeld wordt aangegeven dat robots geen toegang hebben tot de map /admin/ , met uitzondering van de pagina /admin/login.html , die wel beschikbaar is voor indexering en scanning.
Robots.txt en Sitemap
Sitemap is een XML-bestand dat een lijst bevat met URL's van alle pagina's en bestanden op de site die door zoekmachines kunnen worden geïndexeerd. Wanneer een zoekrobot het robots.txt-bestand opent en een link naar een sitemap-XML-bestand ziet, kan hij dit bestand gebruiken om alle beschikbare URL's en bronnen op de site te vinden. De richtlijn wordt gespecificeerd in de indeling:
Sitemap: https://yoursite.com/filesitemap.xmlDeze regel wordt meestal aan het einde van het document geplaatst zonder dat deze aan een specifieke User-Agent is gekoppeld en wordt door alle robots zonder uitzondering verwerkt. Als de site-eigenaar geen sitemap.xml gebruikt, is het niet nodig om de regel toe te voegen.
Voorbeelden van geconfigureerde Robots.txt
Robots.txt instellen voor WordPress
In deze sectie zullen we een kant-en-klare configuratie voor WordPress bekijken. We zullen het blokkeren van toegang tot vertrouwelijke gegevens en het toestaan van toegang tot de hoofdpagina's onderzoeken.
Als kant-en-klare oplossing kunt u de volgende code gebruiken:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlHoewel alle richtlijnen van commentaar zijn voorzien, gaan we dieper in op de conclusies.
- Robots indexeren geen gevoelige bestanden en mappen.
- Tegelijkertijd krijgen robots toegang tot de hoofdpagina's en bronnen van de site.
- verbod is ingesteld op het indexeren van oude versies van berichten en geparameteriseerde query's om duplicatie van inhoud te voorkomen.
- De locatie van de sitemap wordt aangegeven voor een betere indexering.
Daarom hebben we een algemeen voorbeeld van een kant-en-klare configuratie overwogen, waarin sommige gevoelige bestanden en paden verborgen zijn voor indexering, maar de hoofdmappen toegankelijk zijn.
In tegenstelling tot veel populaire CMS'en of zelfgeschreven websites, heeft WordPress verschillende plugins die het aanmaken en beheren van het robots.txt-bestand vereenvoudigen. Een van de populaire oplossingen hiervoor is Yoast SEO.
Om het te installeren, moet u het volgende doen:
- Ga naar het WordPress-beheerderspaneel.
- Selecteer 'Nieuwe toevoegen' in het gedeelte 'Plugins'.
- Zoek de plugin "Yoast SEO" en installeer deze.
- Activeer de plugin.
Om het robots.txt-bestand te bewerken, moet u het volgende doen:
- Ga naar het gedeelte 'SEO' in het zijmenu van het beheerderspaneel en selecteer 'Algemeen'.
- Ga naar het tabblad 'Extra'.
- Klik op "Bestanden". Hier ziet u verschillende bestanden, waaronder robots.txt.
- Voer de benodigde indexeringsregels in volgens uw vereisten.
- Nadat u wijzigingen in het bestand hebt aangebracht, klikt u op de knop 'Wijzigingen opslaan in robots.txt'.
Houd er rekening mee dat elke robots.txt-bestandsinstelling voor WordPress uniek is en afhankelijk is van de specifieke behoeften en functies van de site. Er is geen universele sjabloon die zonder uitzondering geschikt is voor alle bronnen. Dit voorbeeld en het gebruik van plug-ins kunnen de taak echter aanzienlijk vereenvoudigen.
Handmatige instelling van Robots.txt
Op dezelfde manier kunt u uw configuratie van het bestand instellen, zelfs als er geen kant-en-klare CMS voor de site is. De gebruiker moet ook het robots.txt-bestand uploaden naar de hoofdmap van de site en de benodigde regels opgeven. Hier is een van de voorbeelden, waarin alle beschikbare richtlijnen worden aangegeven:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapHoe het Robots.txt-bestand te controleren
Als hulpmiddel bij het controleren van het robots.txt-bestand op fouten, wordt het gebruik van onlinediensten aanbevolen.
Neem bijvoorbeeld de Yandex Webmaster -service. Om te controleren of het bestand al op de server is geüpload, moet u een link naar uw site in het daarvoor bestemde veld invoegen. Daarna laadt de tool automatisch de configuratie van het bestand. Er is ook een optie om de configuratie handmatig in te voeren.
Vervolgens moet u een controle aanvragen en wachten op de resultaten:
In het gegeven voorbeeld zijn er geen fouten. Als er fouten zijn, zal de service de problematische gebieden en manieren om ze te verhelpen tonen.
Conclusie
Samenvattend hebben we benadrukt hoe belangrijk het robots.txt-bestand is voor het regelen van verkeer op de site. We hebben advies gegeven over hoe je het goed kunt instellen om te beheren hoe zoekmachines pagina's indexeren. Daarnaast hebben we ook gekeken naar voorbeelden van hoe je dit bestand correct kunt gebruiken en instructies gegeven over hoe je kunt controleren of alle instellingen correct werken.
