DEEN
Home › Tools › Robots.txt Builder

Robots.txt Builder fuer Berlin

Klick-basierter Generator mit Presets fuer WordPress, Shopify und Behoerden. Live-Vorschau, Copy-Button und Download – alles ohne Anmeldung.

Konfiguration Live

Standard `*` gilt fuer alle Crawler.
Pfade, die nicht gecrawlt werden sollen.
Ausnahmen innerhalb von Disallow-Regeln.
Google, Bing & Yandex lesen Sitemaps direkt aus robots.txt.
0
Wird von Googlebot ignoriert – nur Bingbot, YandexBot etc. Bei 0 wird die Zeile weggelassen.

robots.txt Ausgabe Kopieren

In Search Console testen

So platzieren Sie die Datei

Speichern Sie die Ausgabe als robots.txt und laden Sie sie in das Root-Verzeichnis Ihrer Domain hoch – erreichbar unter /robots.txt. Kein Cache aggressiver als 24 h einstellen, damit Aenderungen schnell greifen.

So funktioniert robots.txt

User-agent

Bestimmt, fuer welchen Crawler die folgenden Regeln gelten. * gilt fuer alle.

Disallow

Sperrt einzelne Verzeichnisse oder Dateien fuer den Bot – z.B. Admin, Warenkorb oder Suchergebnisse.

Allow

Explizite Erlaubnis, die Vorrang vor Disallow hat. Nuetzlich fuer einzelne Dateien in gesperrten Ordnern.

Sitemap

Verweist Suchmaschinen auf Ihre XML-Sitemap – beschleunigt Indexierung neuer Seiten deutlich.

Warum robots.txt fuer Berliner Sites besonders wichtig ist

Zwischen wachsenden Shopify-Shops in Prenzlauer Berg, komplexen SaaS-Sites im Silicon Allee und barrierefreien Behoerden-Portalen rund um den Regierungssitz gibt es drei typische Berliner Anwendungsfaelle:

  • Startups & SaaS: Staging-Umgebungen (/staging/, /beta/) vom Crawling ausschliessen, damit sie nicht in der SERP landen.
  • E-Commerce: Warenkorb, Checkout und Filter-URLs blockieren, um Crawl-Budget zu schonen und Duplicate Content zu vermeiden.
  • Public Sector: Interne Dokumente und Vorschau-URLs sperren, ohne die BITV-Konformitaet der oeffentlich zugaenglichen Seiten zu beeintraechtigen.

Achtung: Robots.txt ist keine Sicherheitsmassnahme. Sensible Inhalte gehoeren hinter Login – nicht in die Disallow-Liste.

Braucht Ihre Site ein technisches SEO-Audit?

Wir pruefen Robots, Sitemaps, Canonicals und Ihre Crawl-Architektur – und identifizieren die 5 groessten Blocker fuer bessere Rankings.

Kostenlose SEO-Erstanalyse anfragen

Weitere kostenlose SEO-Tools

SEO ROI Rechner → Meta Tag Generator → SERP Preview → Slug Generator → Schema Generator →