Google Search Console: URL’s blokkeren, sitemaps, beveiligingsproblemen

Kun je ook URL’s blokkeren? Hoe kun je bijvoorbeeld tracking parameters in de URL’s uitsluiten? Hoe kun je Google een handje helpen om je website beter te indexeren? En wat gebeurt er als Google malware op je website ontdekt? De antwoorden op deze vragen geef ik je in dit artikel.

Geblokkeerde URL’s

In dit gedeelte van Google webmasters kun je controleren of het robots.txt bestand werkt zoals je dat zou verwachten. Het robots.txt bestand gebruik je om gedeeltes of pagina’s van je website te blokkeren voor de Google-crawler. Bijvoorbeeld een testgedeelte van je website of het administrator gedeelte.

Je kunt hier ook testen (simuleren) of wijzigingen in het robots.txt bestand het gewenste resultaat hebben.
Hoe gaat dit testen in zijn werk?
1.    Pas in het gedeelte “Inhoud bewerken om wijzigingen te testen” het simulatie robots.txt bestand aan.
2.    Geeft de URL’s in die je wilt testen.
3.    Maak een keuze uit de user-agents.
4.    Klik op testen.
Vervolgens zie je helemaal onderaan de pagina de testresultaten in de vorm van de melding "toegestaan" of "geblokkeerd".



Zijn de testresultaten naar wens, vergeet dan niet de wijzigingen ook daadwerkelijk in het robots.txt bestand door te voeren. Je vindt het robots.txt bestand in het algemeen in de root van je domein.

Sitemaps

Sitemaps zijn een methode om Google te informeren over pagina's op je site die Google anders misschien niet zou vinden. Een XML-sitemap, meestal gewoon sitemap genoemd, is een lijst van de pagina's op je website. Als je een sitemap maakt en verzendt, zorg je ervoor dat Google op de hoogte is van alle pagina's op je site, inclusief de URL's die tijdens de normale crawlprocedure van Google niet worden gevonden. Een sitemap helpt Google dus je website beter te indexeren.
Hieronder zie je een voorbeeld van een sitemap.

In dit gedeelte van Google Webmasters Search Console vind je alle informatie over de sitemaps die bekend zijn bij Google. Door te klikken op de rode button “Sitemap toevoegen/testen“ (1) kun je een sitemap testen. Zijn er problemen met die sitemap, dan laat Google Webmasters Search Console zien welke fouten zijn opgetreden. Is de sitemap echter goed bevonden, dan kun je die sitemap met behulp van dezelfde rode button ook toevoegen.

Ook zie je hier de sitemaps die al eerder door jezelf of door een andere geautoriseerde gebruiker zijn ingediend (2). Let vooral op het aantal pagina’s van de ingediende sitemap en het aantal geïndexeerde pagina’s. Dit moet gelijk zijn of er moet een goede verklaring zijn waarom die 2 getallen verschillen. Zo nee, dan zou er iets aan de hand kunnen zijn met het indexeren van je website. Als er een probleem met een bestaande sitemap is, dan zie je een melding bij het onderdeel “Problemen” (3). Door te klikken op het probleem krijg je meer informatie over het probleem en kun je het makkelijker oplossen.

URL-parameters

Hier kun je specifieke URL-parameters uitsluiten. Dit kan bijvoorbeeld het geval zijn als je tracking parameters gebruikt om een campagne te monitoren. Een pagina met zo’n tracking code is qua inhoud precies hetzelfde als een pagina zonder zo’n tracking code. Door de parameters van de tracking code hier in te voeren, weet Google dat ze die parameters kunnen negeren. Dat scheelt Google weer wat werk en voorkom je tevens duplicate content. Door te klikken op “URL-parameters configureren” laat Google al de meest voor de hand liggende uit te sluiten parameters zien.

Zoals Google Search Console zelf ook al aangeeft, ga hier zeer voorzichtig te werk en doe alleen dingen waarvan je 100% zeker bent dat je weet wat je doet. Daarmee voorkom je dat er ineens pagina’s van je website verdwijnen uit de zoekresultaten.

Beveiligingsproblemen

Indien Google malware op je website ontdekt, wordt dat hier gemeld (en tevens in het gedeelte met de siteberichten). Als je meer informatie over beveiligingsproblemen met betrekking tot je website nodig hebt, klik dan op de link binnen Google webmasters naar “bronnen voor gehackte sites”. Daar wordt stap voor stap uitgelegd hoe je deze problemen kunt oplossen.

Conclusie en vervolg

Je weet nu hoe je URL’s kunt blokkeren, URL-parameters kunt uitsluiten en hoe je een sitemap kunt indienen en controleren. Dit alles zal de indexering van je website zeker ten goede komen.
We hebben nu alle officiële onderdelen van Google webmasters uitvoerig besproken. In Google webmasters vind je echter ook nog links naar een aantal andere zeer interessante tools, bijvoorbeeld een tool om de snelheid van je website analyseren of een hulpprogramma voor het testen van gestructureerde gegevens. Deze tools bespreek ik in dit artikel: Google Search Console: aanvullende bronnen. 

Voor een overzicht van alle artikelen van deze handleiding, ga naar
Google Search Console: inhoudsopgave.