Schritt-für-Schritt-Anleitung: Web Scraping mit Cypress

Eine Webseite voller Laufschuhe, alle Namen und Preise schön ordentlich in einer Tabelle – klingt nach einer Sache von zehn Minuten, oder? Wer das schon einmal von Hand probiert hat, weiß, dass aus den zehn Minuten schnell ein halber Nachmittag wird: JavaScript-Fehlermeldungen, kryptische Selektoren und am Ende eine Menge Respekt für jeden, der je einen funktionierenden Web-Scraper gebaut hat.

Vielleicht kennst du das aus dem Vertrieb, dem E-Commerce oder dem operativen Geschäft – du willst einfach aktuelle Daten, um bessere Entscheidungen zu treffen. Damit bist du in guter Gesellschaft. Die Nachfrage nach Web-Scraping ist in den letzten Jahren steil nach oben gegangen: Der weltweite Markt für Web-Scraping-Software liegt bereits über einer Milliarde Dollar und soll sich bis 2030 verdoppeln. Der Haken: Die meisten klassischen Tools setzen technisches Wissen voraus. Deshalb gehe ich hier zwei Wege parallel – den klassischen, codebasierten Ansatz mit Cypress und eine schnelle, KI-gestützte No-Code-Variante mit Thunderbit. Als konkretes Beispiel dient die Adidas-Seite für Herren-Laufschuhe.

Ob du als Entwickler deine JavaScript-Kenntnisse erweitern willst oder als Business-Anwender möglichst wenig mit Code zu tun haben möchtest – mit dieser Anleitung kommst du an deine Daten, ohne dabei das Wochenende zu opfern.

Was ist Web Scraping und warum ist es für Unternehmen wichtig?

Web Scraping bedeutet schlicht, dass du Daten automatisiert von Webseiten einsammelst. Statt Produktnamen, Preise oder Kontaktdaten mühsam per Hand zu kopieren, erledigt eine Software diese Fleißarbeit.

Daten mit KI von jeder Website extrahieren Get Started Free

Warum ist das Thema für Unternehmen so relevant? Weil Daten heute zu den wertvollsten Rohstoffen überhaupt zählen. Teams aus Vertrieb, E-Commerce und Operations setzen Web Scraping ein, um:

Leads zu generieren – Kontaktdaten aus Verzeichnissen oder sozialen Netzwerken einsammeln.
Preise und Trends der Konkurrenz im Blick zu behalten – immerhin machen das schon rund 45 % der E-Commerce-Unternehmen.
Kundenmeinungen auszuwerten – Bewertungen und Rezensionen sammeln und analysieren.
Wiederkehrende Recherche zu automatisieren, die sonst Stunden oder Tage verschlingt.

Der Nutzen lässt sich beziffern: 73 % der Unternehmen sagen, öffentlich verfügbare Webdaten helfen ihnen, schneller und präziser zu entscheiden. Wer auf Web Scraping verzichtet, lässt also Erkenntnisse und damit auch Umsatz liegen.

Cypress vorgestellt: Ein beliebtes Tool für Web Scraping

Damit zu den Werkzeugen. Cypress ist ein Open-Source-Framework, das ursprünglich für End-to-End-Tests von Webanwendungen gedacht war. Man kann es sich wie einen Roboter vorstellen, der Buttons anklickt, Formulare ausfüllt und prüft, ob die Website tut, was sie soll. Praktisch fürs Scraping: Da Cypress in einem echten Browser läuft und mit JavaScript-lastigen Seiten zurechtkommt, eignet es sich auch gut – wenn auch zweckentfremdet – zum Datensammeln.

Wie schneidet Cypress gegenüber anderen Scraping-Tools ab, etwa den Python-basierten wie BeautifulSoup oder Scrapy? Ein kurzer Überblick:

Cypress: Stark bei dynamischen, JavaScript-gesteuerten Inhalten. Voraussetzung sind JavaScript- und Node.js-Kenntnisse. Sehr flexibel und leistungsstark, aber eindeutig ein Tool für Entwickler.
Python-Scraper: BeautifulSoup oder Scrapy sind auf das Durchsuchen großer Datenmengen und statisches HTML ausgelegt. Sie bringen ein riesiges Ökosystem mit, kommen aber ins Schwitzen, sobald Seiten ihre Inhalte erst im Browser nachladen.

Wer JavaScript oder Softwaretests beherrscht, hat in Cypress ein überraschend wirksames Scraping-Werkzeug. Und wer mit geschweiften Klammern und Semikolons wenig anfangen kann – gleich folgt die No-Code-Alternative.

Schritt-für-Schritt: Web Scraping mit Cypress (am Beispiel Adidas Herren-Laufschuhe)

Bauen wir gemeinsam einen Cypress-Scraper für die Adidas-Seite mit Herren-Laufschuhen. Das Ziel: Produktnamen, Preise, Bilder und Links sauber in eine Datei exportieren.

1. Cypress-Umgebung einrichten

Zunächst brauchst du Node.js und npm. Dann öffnest du das Terminal und tippst:

mkdir adidas-scraper
cd adidas-scraper
npm init -y
npm install cypress --save-dev

Damit legst du ein neues Projekt an und installierst Cypress lokal. Gestartet wird Cypress so:

npx cypress open

Cypress erstellt ein cypress/-Verzeichnis mit Beispieltests. Die kannst du löschen und stattdessen eine eigene Datei anlegen, etwa cypress/e2e/adidas-scraper.cy.js.

2. Website untersuchen und zu extrahierende Daten identifizieren

Jetzt kommt der detektivische Teil: Öffne die Adidas-Seite im Browser, mach einen Rechtsklick auf ein Produkt und wähle „Untersuchen“. Du erkennst, dass jedes Produkt in einer Karte sitzt, mit eigenen Elementen für Name, Preis, Bild und Link.

Zum Beispiel:

<div class="product-card">
   <a href="/us/adizero-sl2-running-shoes/XYZ123.html">
      <img src="..." alt="Adizero SL2 Running Shoes"/>
      <div class="product-price">$130</div>
      <div class="product-name">Adizero SL2 Running Shoes -- Men's Running</div>
   </a>
</div>

Achte auf Klassennamen wie .gl-price für die Preise und halte nach wiederkehrenden Mustern im HTML Ausschau. Genau diese Muster teilst du Cypress als Anweisung mit.

3. Cypress-Code zum Extrahieren der Daten schreiben

Ein Beispielskript für den Einstieg:

// cypress/e2e/adidas-scraper.cy.js
describe('Scrape Adidas Running Shoes', () => {
  it('collects product name, price, image, and link', () => {
    cy.visit('<https://www.adidas.com/us/men-running-shoes>');

    const products = [];
    cy.get('a[href*="/us/"][href*="running-shoes"]').each(($el) => {
      const name = $el.find('*:contains("Running Shoes")').text().trim();
      const price = $el.find('.gl-price').text().trim();
      const imageUrl = $el.find('img').attr('src');
      const link = $el.attr('href');
      products.push({ name, price, image: imageUrl, link: `https://www.adidas.com${link}` });
    }).then(() => {
      cy.writeFile('cypress/output/adidas_products.json', products);
    });
  });
});

Was hier passiert:

cy.visit() lädt die Seite.
cy.get() wählt alle Produktlinks aus, die dem Adidas-typischen URL-Muster folgen.
.each() arbeitet jedes Produkt ab und sammelt Name, Preis, Bild und Link.
Die Daten landen in einem Array und werden als JSON-Datei gespeichert.

Die Selektoren musst du eventuell nachziehen, falls Adidas die Seite umbaut – das Grundprinzip aber bleibt.

4. Exportieren und Weiterverarbeiten der gesammelten Daten

Nachdem das Skript durchgelaufen ist (über die Cypress-Oberfläche oder per npx cypress run), findest du unter cypress/output/adidas_products.json eine Liste mit Produktobjekten:

[
  {
    "name": "Adizero SL2 Running Shoes Men's Running",
    "price": "$130",
    "image": "<https://assets.adidas.com/images/w_280,h_280,f_auto,q_auto:sensitive/.../adizero-SL2-shoes.jpg>",
    "link": "<https://www.adidas.com/us/adizero-sl2-running-shoes/XYZ123.html>"
  },
  ...
]

Ab hier kannst du die Daten in CSV umwandeln, in Excel auswerten oder in ein BI-Tool laden. Wer mag, automatisiert den Ablauf gleich ganz – etwa für eine tägliche Preisüberwachung.

Typische Herausforderungen beim Web Scraping mit Cypress

Ganz ehrlich: Reibungslos läuft Web Scraping selten. Ein paar Stolpersteine, die bei Cypress regelmäßig auftauchen – samt Tipps, wie du sie umgehst:

JavaScript-geladene Inhalte: Mit dynamischen Seiten kommt Cypress gut zurecht, manchmal musst du aber auf das Laden von Elementen warten oder scrollen, um Lazy Loading auszulösen. Dafür gibt es cy.wait() und Scroll-Befehle.
Bot-Schutz: Manche Seiten sperren Bots aus, etwa per User-Agent-Prüfung oder Rate-Limiting. Cypress läuft zwar in einem echten Browser, doch bei hartnäckigen Sperren helfen nur fortgeschrittene Kniffe wie Proxy-Wechsel oder Header-Spoofing.
Instabile Selektoren: Ändert Adidas das HTML oder die Klassennamen, läuft dein Skript ins Leere. Halte die Selektoren also aktuell.
Paginierung: Viele Produktseiten verteilen sich auf mehrere Seiten. Du brauchst Logik, die „Weiter“-Buttons anklickt und sämtliche Ergebnisse einsammelt.
Fehlerbehandlung: Cypress ist fürs Testen gebaut und bricht bei Fehlern gern ab. Baue deshalb Prüfungen ein, die fehlende Elemente abfangen.

Wenn sich für eine simple Produktliste plötzlich ein Informatikstudium anbahnt – genau für diese Fälle gibt es Thunderbit.

Zu kompliziert? Mit Thunderbit in 2 Klicks zum Web Scraping

Du hast keine Lust auf Node.js, Selektoren und JavaScript-Fehlersuche? Dann ist Thunderbit, unsere KI-basierte Web-Scraper-Chrome-Erweiterung, die passende Antwort. Entwickelt für Business-Anwender, die schlicht Daten brauchen – ohne Code, ohne Setup, ohne Ärger.

Das zeichnet Thunderbit aus:

Kein Code, keine Selektoren: Seite öffnen, klicken, und die KI macht den Rest.
Ein Template, viele Seiten: Die KI erkennt unterschiedliche Layouts von selbst – du musst nicht jede Seite neu konfigurieren.
Browser- und Cloud-Scraping: Wähle den Modus, der zu deinem Tempo und deinem Genauigkeitsanspruch passt.
Paginierung und Unterseiten inklusive: Thunderbit klickt sich durch mehrere Seiten und ruft bei Bedarf sogar Produktdetailseiten auf, um deine Daten zu vervollständigen.
Kostenloser Export: Lade deine Daten direkt nach Excel, Google Sheets, Airtable oder Notion – ohne versteckte Kosten.

So scrapest du die Adidas-Seite mit Thunderbit.

Schritt-für-Schritt: Web Scraping mit Thunderbit (Adidas-Beispiel)

1. Thunderbit Chrome-Erweiterung installieren

Hol dir zuerst Thunderbit aus dem Chrome Web Store. Das dauert keine Minute.

Registriere dich kostenlos – Thunderbit bietet eine Gratis-Testphase (10 Seiten) und einen Free-Plan (6 Seiten pro Monat), damit du direkt mit echten Aufgaben loslegen kannst, ganz ohne Kreditkarte.

Thunderbit kostenlos für Web Scraping testen

2. Daten mit KI-Feldvorschlägen extrahieren

Öffne die Adidas-Seite für Herren-Laufschuhe.
Klicke auf das Thunderbit-Icon im Browser. Die Seitenleiste öffnet sich.
Wähle „KI-Felder vorschlagen“. Die KI scannt die Seite und erkennt automatisch Produktname, Preis, Bild und Link. Du bekommst eine Vorschau-Tabelle mit den ersten Zeilen.
Spalten anpassen? Kein Problem – umbenennen oder neue Felder ergänzen. Und wer es genauer braucht, weist Thunderbit sogar per natürlicher Sprache an, z. B. „extrahiere auch die Anzahl der verfügbaren Farben“.
Klicke auf „Scrapen“. Thunderbit sammelt alle Daten, klickt sich bei Bedarf durch mehrere Seiten und ergänzt mit der Subpage-Funktion auch Details von Produktseiten.

3. Daten exportieren und weiterverwenden

Nach dem Scraping prüfst du die Tabelle in der Thunderbit-Seitenleiste. Du kannst:

Mit einem Klick nach Excel, Google Sheets, Airtable oder Notion exportieren
Als CSV oder JSON herunterladen
Bilder, E-Mails, Telefonnummern und mehr exportieren – Thunderbit deckt alle gängigen Datentypen ab.

Und ja, der Export kostet keinen Cent. Keine bösen Überraschungen.

Weitere Tipps findest du im Thunderbit Quick Start Guide oder im Thunderbit Blog mit vielen weiteren Scraping-Anleitungen.

Cypress vs. Thunderbit: Welches Web Scraping Tool passt zu dir?

Hier der direkte Vergleich zwischen Cypress und Thunderbit:

Aspekt	Cypress (Code-Scraper)	Thunderbit (No-Code KI-Web-Scraper)
Einrichtungsaufwand	Erfordert Node.js, npm und JavaScript-Kenntnisse. Für Nicht-Entwickler aufwendig.	Chrome-Erweiterung installieren, einloggen – in wenigen Minuten startklar. Kein Coding nötig.
Technische Kenntnisse	JavaScript und DOM/CSS-Selektoren sind Pflicht. Hohe Einstiegshürde für Laien.	Kein Coding erforderlich. Natürliche Sprache und Point-and-Click-Bedienung.
Geschwindigkeit	Skripte schreiben und debuggen kann Stunden dauern, besonders bei komplexen Seiten oder Paginierung.	Scraping in wenigen Klicks starten. Paginierung und Unterseiten werden automatisch gehandhabt.
Flexibilität	Extrem flexibel – beliebige Logik, Logins, Captchas, API-Integration möglich.	Für Standardmuster optimiert. KI deckt die meisten Seiten ab, sehr spezielle Workflows erfordern ggf. manuelle Anpassung.
Robustheit bei Änderungen	Skripte sind anfällig – ändert sich das HTML, muss der Code angepasst werden.	Robuster – KI passt sich kleinen Layout-Änderungen an. Thunderbit wird laufend weiterentwickelt.
Skalierbarkeit	Mittlere Datenmengen möglich, browserbasiertes Scraping ist bei großen Volumen langsamer.	Cloud-Scraping kann hunderte Seiten verarbeiten. Creditsystem sorgt für planbare Nutzung im Business.
Ideal für	Entwickler oder technisch versierte Nutzer, die Präzision und individuelle Logik brauchen. Perfekt für einmalige Datensammlungen oder komplexe Workflows.	Business-Anwender, die schnell und ohne Code wiederkehrende Aufgaben wie Preisüberwachung, Lead-Generierung oder das Extrahieren von Listen erledigen wollen. Ideal für Prototyping und Standardseiten im E-Commerce, Verzeichnisse oder Bewertungsportale.

Kurz gesagt: Cypress bietet maximale Kontrolle, Thunderbit maximale Einfachheit und Geschwindigkeit. Wer gern tüftelt, wird mit Cypress glücklich. Wer schnell an Daten kommen muss – vielleicht noch mit einer Deadline im Nacken –, fährt mit Thunderbit besser.

Amazon-Produkte und Bewertungen mit KI scrapen Get Started Free

Fazit: So findest du den besten Web Scraping Ansatz für dich

Web Scraping gehört heute zum Handwerkszeug – ob du Wettbewerber beobachtest, Leads generierst oder Markttrends auswertest.
Cypress ist ein mächtiges, flexibles Werkzeug für Entwickler, die ihren eigenen Scraper programmieren wollen. Stark bei dynamischen Seiten und individuellen Workflows, dafür mit Lernkurve und Wartungsaufwand.
Thunderbit ist für alle anderen gedacht: Die KI-basierte Chrome-Erweiterung macht Scraping so simpel wie zwei Klicks – ohne Code, ohne Setup, ohne Kopfschmerzen. Paginierung, Unterseiten und Export zu deinen Lieblingstools sind inklusive und kostenlos.
Cypress ist die richtige Wahl, wenn du maximale Flexibilität brauchst und dich mit Code wohlfühlst.
Thunderbit passt, wenn du Zeit sparen, technische Hürden meiden und schnell saubere Daten willst – gerade in Vertrieb, E-Commerce, Marketing oder Operations.

Lust auf mehr? Im Thunderbit Blog findest du Anleitungen zum Scrapen von Amazon-Produkten, zum Datenexport nach Excel und vieles mehr.

Und wenn du das nächste Mal vor einer Seite voller Laufschuhe sitzt und überlegst, wie du all diese Daten in eine Tabelle bekommst – es gibt einen einfachen Weg. Viel Erfolg beim Scrapen!

Adidas-Produktdaten mit Thunderbit scrapen

Häufige Fragen (FAQ)

1. Was ist Cypress und wie kann man es fürs Web Scraping nutzen?

Cypress ist ein JavaScript-basiertes Test-Tool, das mit dynamischen Webseiten interagieren kann – ideal, um Inhalte zu extrahieren, die erst im Browser geladen werden.

2. Welche Herausforderungen gibt es beim Scraping mit Cypress?

Typische Probleme sind sich ändernde HTML-Strukturen, Lazy Loading, Bot-Schutzmechanismen sowie die Handhabung von Paginierung oder fehlenden Elementen auf komplexen Seiten.

3. Gibt es eine einfachere Möglichkeit, Webseiten ohne Programmierung zu scrapen?

Ja, Thunderbit ist eine KI-gestützte Chrome-Erweiterung, mit der du Daten in wenigen Klicks extrahierst – ganz ohne Code, Setup oder Selektoren.

Mehr erfahren:

KI-Web-Scraper ausprobieren Get Started Free

Daten mit KI extrahieren

Daten einfach zu Google Sheets, Airtable oder Notion übertragen

Chrome Store Rating

PRODUCT HUNT#1 Product of the Week