Google hat bekannt gegeben, dass ab September 2019 bestimmte Anweisungen in der robots.txt (Robots-Exclusion-Standard-Protokoll) nicht mehr vom Google Bot beachtet werden.
Dazu zählen:
- noindex
- nofollow
- crawl-delay
Gerade Noindex ist ein mächtiges Instrument, das dazu benutzt wird, um Seiten aus dem Index auszuschließen. Aber keine Sorge, es ist nach wie vor möglich, kritische Seiten vor der Indexierung durch Google zu schützen.
Diese Methoden schützen effektiv vor unerwünschter Indexierung durch Google:
Am meisten genutzt wird auch jetzt schon die Noindex-Anweisung im X-Robots-Tag im HTTP-Header oder im Meta Robots-Tag. Diese Methode hat sich als sehr effektiv erwiesen, Seiten vor Indexierung zu schützen, wenn das Crawling erlaubt ist.
Vorsicht ist bei dieser Methode jedoch geboten, wenn gleichzeit das Crawling der Seite für Google gesperrt ist. Dann kann Google nämlich die Noindex-Anweisung nicht auslesen, und es kann zu unerwünschter Indexierung kommen.
Ebenso können Seiten mittels Passwortschutz vor der Indexierung geschützt werden.
Vom Einsatz der Disallow-Regel ist eher abzuraten. Nur weil eine Seite nicht gecrawlt wird, heißt das nicht zwingend, dass sie auch nicht indexiert wird. Sobald diese Seiten Links von außen bekommen, können sie trotzdem in den Suchergebnissen auftauchen.
Sollte dennoch mal eine Seite versehentlich in den Index rutschen, können URLs auch temporär mittels des Remove-URL-Tools in der Search Console aus den Suchergebnissen entfernt werden. Dabei ist jedoch zu beachten, dass dies nur eine temporäre Lösung ist. Nach 90 Tagen können diese URLs nach wie vor wieder im Index auftauchen, insofern sie nicht über eine andere Lösung geschützt wurden.
Link zur Ankündigung im Google Webmaster Blog