Google Search Console: crawlen en sitefouten

Hoeveel pagina’s van je website crawlt Google per dag? Welke problemen en fouten ontdekt de Google crawler op je website? Belangrijke SEO vragen die in dit artikel aan bod komen.

Sitefouten

Dit is een zeer waardevol onderdeel van Google Search Console. Het helpt je allerlei type issues op te sporen, bijvoorbeeld pagina’s die niet meer bestaan, broken links of server errors.
Google Search Console toont het verloop van het aantal fouten over de laatste 90 dagen. Je ziet daardoor goed of het een geleidelijke toename van fouten is of een plotselinge toename. Met deze informatie wordt het makkelijker om de problemen op te sporen en op te lossen.

Het onderdeel Sitefouten bestaat uit 2 gedeeltes. In het bovenste gedeelte zie je achtereenvolgens het aantal DNS-fouten, het aantal fouten die te maken hebben met de server en het aantal fouten met het ophalen van het robots.txt bestand.

URL-fouten
Daaronder zie je het belangrijkste gedeelte: de URL-fouten. Deze fouten zijn opgesplitst naar apparaat: Web (bureaublad), Featurephone en Smartphones . Dat kan handig zijn, want zo zie je welke fouten zich op welk apparaat voordoen. Daarnaast maakt Google onderscheid in het type URL-fouten.

URL-type fouten volgens Google
Google onderscheid 4 typen fouten:
Serverfouten: kan verschillende oorzaken hebben, time-out van de server, niet juiste configuratie of Google wordt geblokkeerd op de server; meestal HTTP header statuscode 500.

Harde 404 pagina’s: foutieve (niet gevonden) pagina’s met de daaraan gekoppeld de correcte HTTP header statuscode 404 of 410 (= pagina niet gevonden).
Dit zegt Google over de harde 404 pagina’s:

“Over het algemeen hebben 404-fouten geen gevolgen voor de positie van uw site op Google en kunt u ze veilig negeren. Meestal worden ze veroorzaakt door typefouten, verkeerde configuratie (bijvoorbeeld voor links die automatisch worden gegenereerd door een content management-systeem) of door de toegenomen inspanningen van Google om links in ingesloten inhoud, zoals JavaScript, te herkennen en te crawlen.

404-fouten zijn een volstrekt normaal (en op veel manieren wenselijk) onderdeel van internet. Het is waarschijnlijk onmogelijk alle links naar uw site te beheren of elke 404-fout op te lossen die in de Webmasterhulpprogramma's van Google staat geregistreerd. Controleer in plaats daarvan de problemen die bovenaan staan, repareer deze als dat mogelijk is en ga verder met uw andere werk.”

Kortom, 404 pagina’s zijn geen probleem, zolang het er niet te veel zijn. Probeer wel de belangrijkste te repareren.

Softe 404 pagina’s: foutieve of foutief geredirecte pagina’s met HTTP header statuscode 200 (= OK status);
Dit zegt Google over softe 404 pagina’s:

"Het retourneren van een andere code dan 404 of 410 voor een niet-bestaande pagina (of gebruikers omleiden naar een andere pagina, zoals de startpagina, in plaats van een 404-code retourneren) kan problematisch zijn. Ten eerste laat dit zoekmachines weten dat er een echte pagina op die URL beschikbaar is. Als gevolg hiervan kan die URL worden gecrawld en kan de bijbehorende inhoud worden geïndexeerd. Vanwege de tijd die Googlebot besteedt op niet-bestaande pagina's, worden uw unieke URL's mogelijk niet zo snel gevonden of zo vaak bezocht en kan het crawlen van uw site worden beïnvloed."

Kortom, probeer softe 404 pagina’s zoveel mogelijk te vermijden, ze kunnen de vindbaarheid van je website negatief beïnvloeden.

Niet gevolgde pagina’s: Deze categorie bevat URL's die Google niet volledig heeft kunnen volgen, inclusief informatie over de reden hiervan. Sommige functies (zoals JavaScript, cookies, sessie-ID's, frames, DHTML of Flash) kunnen Google het moeilijk maken om je site te crawlen.

Door te klikken op een URL met fouten, krijg je nog meer informatie over de fouten en kun je de pagina ook markeren als zijnde “fout opgelost “.

1.Hier zie je de details van de fout.
2.Hier zie je welke pagina’s naar deze URL linken.
3.Hier kun je aangeven dat de fout is opgelost. Dit is vooral voor jezelf handig om overzicht te houden. Maar pas op, als de fout niet echt is opgelost, verschijnt de fout gewoon weer in de lijst.

Crawlstatistieken

Je ziet hier 3 onderdelen, die alle drie de activiteiten laten zien van de laatste 90 dagen.
Bovenaan: het per dag aantal gecrawlde pagina’s.
Schommelingen in de grafiek zijn heel normaal. Echter, let wel op structurele sterke dalingen van het aantal gecrawlde pagina’s. Dit kan een indicatie zijn dat er ergens iets mis is met de website.
Middenin: het per dag aantal gecrawlde kilobytes.
Ook hier geldt, schommelingen zijn heel normaal, maar structurele dalingen moet je in de gaten houden.
Onderaan: de tijd voor het downloaden van een pagina (in milliseconden).
De snelheid van je website is uiteraard zeer belangrijk voor je bezoekers en is tevens een ranking factor van Google. Hier kun je zien hoe de snelheid van je website zich ontwikkelt. Ook zie je bijvoorbeeld of aanpassingen om de snelheid van je website te verbeteren inderdaad het gewenste effect hebben.

Fetchen als Google

Hier kun je precies zien en controleren hoe Google jouw pagina’s “ziet”. Het geeft je informatie over bijvoorbeeld de HTTP-status, type server, download-time en een groot gedeelte van de HTML code. Dit is een prachtige manier om te controleren of de Google crawler jouw website ziet zoals je dat zou verwachten. Daarmee voldoe je ook aan de richtlijnen van Google. Google wil immers dat bezoekers exact hetzelfde zien, als wat Google “ziet”.
Om het proces te starten, vul je de gewenste URL in en klik je op de rode button “Ophalen”.

 Door te klikken op de status van ophalen (bijvoorbeeld "succesvol") zie je vervolgens de fetch daaronder verschijnen.

Ziet alles er naar wens uit, dan kun je de pagina indienen bij de index van Google. Je hebt daarbij de keuze om alleen de desbetreffende URL in te dienen of ook alle gekoppelde pagina’s.

Per week kun je 500 fetches doen, waarvan 10 fetches inclusief gekoppelde pagina’s. Overigens heb je de keuze om een pagina te fetchen als gewone webpagina of als mobiele webpagina.

Conclusie en vervolg

We hebben gezien dat Google Search Console je belangrijke informatie kan verschaffen over de “toestand” van je website. Maar er valt over dit onderwerp nog veel meer te vertellen.
Kun je URL’s ook blokkeren? En hoe kun je Google een handje helpen om je website beter te indexeren? Of hebben, zonder dat je het weet, hackers je website geïnfiltreerd? Het antwoord op die vragen vind je in dit artikel: Google Search Console: URL’s blokkeren, sitemaps, malware.

Voor een overzicht van alle artikelen van deze handleiding, ga naar
Google Search Console: inhoudsopgave.