Semalt Expert: een gids om te voorkomen dat Google oude sitemaps doorzoekt

Naarmate uw website groeit, zult u uw best doen om manieren te vinden om de zichtbaarheid en geloofwaardigheid op internet te verbeteren. Soms blijven de effecten van hoe onze sites werkten achter, en hier moeten we op letten.

Bekijk de volgende tips van Max Bell, de Customer Success Manager van Semalt , om te voorkomen dat Google oude sites crawlt.

Een paar weken geleden vertelde een van mijn klanten me dat hij een e-commerce website had. Het heeft verschillende wijzigingen ondergaan: van de URL-structuur tot de sitemap, alles is aangepast om de site beter zichtbaar te maken.

De klant merkte enkele wijzigingen op in zijn Google Search Console en vond daar de crawlfouten. Wat hij opmerkte, was dat een groot aantal oude en nieuwe URL's nepverkeer genereerden. Sommigen van hen vertoonden echter toegang geweigerde 403 en niet gevonden 404-fouten.

Mijn klant vertelde me dat het grootste probleem dat hij had een oude sitemap was die in de hoofdmap stond. Zijn website gebruikte eerder verschillende Google XML Sitemaps-plug-ins, maar nu was hij voor de sitemap afhankelijk van WordPress SEO door Yoast. Verschillende oude sitemap-plug-ins zorgden echter voor een puinhoop. Ze waren aanwezig in de hoofdmap met de naam sitemap.xml.gz. Sinds hij de Yoast-plug-ins begon te gebruiken voor het maken van sitemaps voor alle berichten, paginacategorieën en tags, had hij die plug-ins niet meer nodig. Helaas heeft de persoon de sitemap.xml.gz niet ingediend bij de Google Search Console. Hij had alleen zijn Yoast-sitemap ingediend, en Google verkende ook zijn oude sitemaps.

Wat te kruipen?

De persoon heeft de oude sitemap niet verwijderd uit de hoofdmap, dus die werd ook geïndexeerd. Ik nam contact met hem op en legde uit dat een sitemap slechts een suggestie is van wat er in de zoekresultaten van de zoekmachine moet worden gecrawld. U denkt waarschijnlijk dat het verwijderen van de oude sitemaps Google ervan weerhoudt de ter ziele gegane URL te crawlen, maar dat is niet waar. Mijn ervaring zegt dat Google elke oude URL meerdere keren per dag probeert te indexeren, om ervoor te zorgen dat de 404-fouten echt zijn en geen ongeluk.

Googlebot kan het geheugen van oude en nieuwe links opslaan die het in de sitemap van uw site zal vinden. Het bezoekt uw website regelmatig en zorgt ervoor dat elke pagina correct wordt geïndexeerd. Googlebot probeert te evalueren of de links geldig of ongeldig zijn, zodat de bezoekers geen problemen ondervinden.

Het is duidelijk dat de webmasters in de war raken wanneer het aantal van hun crawlfouten toeneemt. Ze willen het allemaal in hoge mate verminderen. Hoe informeer ik Google om alle oude sitemaps te negeren? U kunt dit doen door alle ongewenste en oneven sitemapcrawls te doden. Voorheen waren de .htaccess-bestanden de enige manier om dit mogelijk te maken. Dank aan WordPress voor het leveren van enkele plug-ins.

De WordPress-websites hebben dit bestand in hun hoofdmap. U hoeft dus alleen maar toegang te krijgen tot de FTP en de verborgen bestanden in cPanel in te schakelen. Ga naar de optie Bestandsbeheer om dit bestand naar wens te bewerken. Je moet niet vergeten dat het verkeerd bewerken van je site je site kan beschadigen, dus maak altijd een back-up van alle gegevens.

Zodra u het fragment aan het bestand heeft toegevoegd, zullen alle verlopen URL's in een mum van tijd uit uw crawlfouten verdwijnen. Je moet niet vergeten dat Google wil dat je je site live houdt, waardoor de kans op 404-fouten wordt verkleind.

mass gmail