Ein Robot (auch Bot, Crawler oder Spider) ist ein Computerprogramm, das zum Analysieren von Websites eingesetzt wird. Insbesondere Suchmaschinen verwenden diese Methode, um Seiten zu indizieren, auszuwerten und abzuspeichern. Dabei hangelt sich das Programm über Hyperlinks von einer Website zur anderen und sammelt auf diese Weise immer mehr Daten. Bei einer Suchanfrage werden diese abgerufen, gemäß Ranking-Algorithmus der jeweiligen Suchmaschine sortiert und entsprechend als organische Suchergebnisse ausgegeben.
Genau solch einen Robot, den so genannten AdsBot, schickt Google über die Finalen URLs Ihrer Anzeigen und die individuellen URLs Ihrer Keywords auf Ihre Landingpage. Daher macht es durchaus Sinn, bei der Konzeption und Umsetzung einige Punkte zu beachten, die Sie aus dem Bereich der Suchmaschinen-Optimierung kennen.
Ausschließen des Robots
Wie jeder »gutartige« Robot lässt sich auch der Zugriff des Google-Robots verhindern. Möchten Sie ihn von der gesamten Website ausschließen, so fügen Sie Ihrer robots.txt-Datei folgende Informationen hinzu:
User-agent: AdsBot-Google
Disallow: /
Soll der Google-Robot nur auf bestimmte Teile der Website nicht zugreifen können, so ergänzen Sie Ihre robots.txt-Datei wie folgt. exclude steht dabei für das ausgeschlossene Verzeichnis:
User-agent: AdsBot-Google
Disallow: /exclude/
Schließen Sie den Robot aus, so ist es Google nicht möglich, die Qualität der Zielseite zu ermitteln. Dies kann drastische Folgen haben:
- Ihr Qualitätsfaktor kann sich deutlich verschlechtern. Dies führt in der Regel nicht nur zur Erhöhung des Klickpreises. Ihre Anzeigen werden zumeist kaum noch oder gar nicht mehr geschalten.
- Ihre Anzeigen können abgelehnt werden. Denn ein eingeschränkter Zugriff auf die Finale URL verstößt dies gegen die Richtlinien.
- Ihre Website kann gesperrt werden, so dass dafür gar keine Anzeigenschaltung mehr möglich ist. Dies geschieht insbesondere dann, wenn der überwiegende Teil oder die gesamte Website ausgeschlossen wird.
Grundsätzlich sollten Sie den Zugriff daher erlauben.
Hinweis: Auch die Darstellung Ihrer Website auf iPhones und anderen Mobilgeräten mit vollwertigem Browser werden von Google erfasst und fließen in den Qualitätsfaktor ein. Zur Prüfung wird hier der AdsBot-Google-Mobile verwendet. Verfügen Sie über eine mobiloptimierte Website, sollten Sie Ihren Server somit derart konfigurieren, dass diese für den mobilen AdWords User-Agent bereitgestellt wird.
>> Weiter mit: Landingpage-Optimierung zur Conversion-Steigerung