Jeder Founder, den ich kenne, hat irgendwann mal eine Liste mit zehntausend „verifizierten“ Kontakten gekauft und dann zugeschaut, wie die Antwortquote irgendwo bei null hängen blieb. Mir ging es zu Beginn meiner Karriere genauso – und ich habe dabei schnell etwas gelernt: Ein Stapel E-Mail-Adressen ist noch keine Pipeline. Entscheidend für echte Deals ist zu wissen, welche Unternehmen sich überhaupt lohnen und warum. Und das ist ein komplett anderes Problem, als einfach nur Namen aus dem Internet zusammenzusammeln.
Web Scraping wird oft als Shortcut verkauft, um „bis Freitag 10.000 Leads“ zu bekommen. Die Tools, die 2026 wirklich etwas bringen, sind aber für etwas viel Nützlicheres gebaut: echte Accounts zu finden, mit belastbaren Belegen, genau in dem Moment, in dem ein Kaufsignal auftaucht. Bei Thunderbit habe ich viel darüber nachgedacht, wie Menschen Daten für den Vertrieb scrapen. Die Teams mit den besten Ergebnissen sind nicht die, die die meisten Zeilen erfassen – sondern die, die die richtigen Zeilen mit Kontext erfassen.
Was bedeutet es eigentlich, mit Web Scraping B2B-Leads zu finden?
Wenn die meisten Leute „Leads scrapen“ hören, stellen sie sich ein Tool vor, das eine Verzeichnisseite einsammelt und eine CSV mit Namen, Titeln und E-Mail-Adressen ausspuckt. Das ist keine Leadgenerierung – das ist Kontakt-Sammeln. Und genau deshalb landen so viele Sales-Teams bei Listen, die ständig bouncen und noch schlechter konvertieren.
Ein echter Lead-Datensatz braucht mehr als nur einen Namen. Er braucht eine Account-Identität (Firmenname und kanonische Domain), einen Nachweis, dass das Unternehmen wirklich zu deinem Ideal Customer Profile passt, ein zeitlich erfasstes Signal, das erklärt, warum gerade jetzt ein guter Zeitpunkt für die Kontaktaufnahme ist, einen zulässigen Kontaktweg, eine Dokumentation der Datenquelle und einen Status, den man später prüfen kann. Das klingt nach viel, läuft im Kern aber auf eine einfache Abfolge hinaus: mit einer öffentlichen, erlaubten Quelle starten, die Identität des Unternehmens bestätigen, Fit-Indizien sammeln, das Auslöser-Ereignis notieren, den minimalen Kontaktweg finden, ihn validieren, Dubletten entfernen und dann alles ins CRM schieben. Wenn du einen Schritt überspringst, bleibt am Ende genau das übrig, was alle schon satt haben: eine Tabelle mit Fremden.
Warum das heute wichtiger ist als je zuvor
KI hat Scraping unglaublich einfach gemacht, um überhaupt damit anzufangen – und genauso einfach, es im großen Stil falsch zu machen. Noch vor ein paar Jahren brauchte man dafür einen Entwickler oder musste ein Wochenende lang mit XPath-Selektoren kämpfen. Heute kann jeder einen AI Scraper auf eine Seite loslassen und in wenigen Minuten strukturierte Daten bekommen. Das ist super für die Produktivität, führt aber auch dazu, dass mehr Sales-Teams schneller denn je ungeprüfte, unqualifizierte Daten in ihre CRMs kippen. Und die Aufräumarbeit kostet später oft viel mehr Zeit, als es gekostet hätte, es von Anfang an sauber zu machen.
Gleichzeitig haben sich die regulatorischen Rahmenbedingungen nicht geändert, nur weil die Tools schlauer geworden sind. Das britische Information Commissioner's Office hat klar gemacht, dass öffentlich verfügbare geschäftliche Kontaktdaten dennoch unter die UK-GDPR fallen können und dass Widersprüche gegen Direktmarketing auch im B2B-Umfeld zu respektieren sind. In den USA macht die CAN-SPAM-Guidance der FTC ebenfalls keine B2B-Ausnahme für E-Mails: Jede kommerzielle Nachricht braucht weiterhin korrekte Header, eine funktionierende Abmeldemöglichkeit und geachtete Opt-outs innerhalb von 10 Werktagen. Das ist kein juristisches Spezialwissen, sondern die Grundlage, auf der du arbeitest – ob du es weißt oder nicht.
Bevor du startest: Lies die Lage und die Nutzungsbedingungen
Ich sage es direkt: Nicht jede Website ist fair game, egal wie gut dein Scraper ist. Die Nutzungsbedingungen von Google Maps verbieten ausdrücklich das Exportieren oder Massenscraping von Maps-Inhalten. Die LinkedIn User Agreement verbietet Scraping und unautorisierte Automatisierung grundsätzlich. Auch die aktuellen Bedingungen von Clutch untersagen manuelles und automatisiertes Scraping. Das sind keine versteckten Klauseln – das ist das Erste, was du prüfen solltest, bevor du ein Tool auf eine Seite ansetzt. Ich habe dazu speziell rund um LinkedIn Scraping noch mehr geschrieben, weil dieses Thema ständig auftaucht.
robots.txt sollte man verstehen, aber nicht als juristische Freigabe behandeln. Laut der Spezifikation der IETF ist es eine Crawl-Anweisung, kein Erlaubnissystem und kein Zugriffskontrollmechanismus. Eine Website kann Crawling in robots.txt erlauben und Scraping trotzdem in den Nutzungsbedingungen verbieten – und im Streitfall sind meist die Nutzungsbedingungen maßgeblich. Meine Faustregel: Wenn man sich für die Daten einloggen muss, ein CAPTCHA davorsteht oder irgendwo in den Bedingungen ausdrücklich „no scraping“ steht, dann ist das eine Quelle, die man überspringt – kein Rätsel, das man lösen sollte.
Öffentliche Quellen, die für B2B-Recherche meist sicherer und nützlicher sind, umfassen Unternehmenswebsites, Behördenmeldungen, Aussteller- und Partnerverzeichnisse mit Erlaubnis, Karriereseiten und Newsrooms. Die EDGAR-APIs der SEC zum Beispiel liefern kostenlose öffentliche JSON-Filings und XBRL-Daten ganz ohne API-Key – du musst nur automatisierte Anfragen unter der von der SEC selbst empfohlenen Grenze von 10 pro Sekunde halten.
Der komplette Ablauf: Vom Roh-Scrape zu CRM-fähigen Leads
Hier ist die Abfolge, die ich tatsächlich empfehlen würde. Dabei geht es weniger um „Scraping“ als um einen kleinen Research-Prozess, bei dem ein Scraper im Zentrum steht.
Erstens: Wähle eine erlaubte öffentliche Quelle und ziehe nur Organisationsdaten ab – also Firmenname, Domain, Quell-URL, Kategorie, Standort und das Signal, das dich überhaupt hingeführt hat (eine Stellenausschreibung, eine Pressemitteilung, ein Event-Eintrag). Zweitens: Gehe bei den Accounts, die vielversprechend wirken, auf die echte Website und prüfe, was sie machen, wo sie sitzen und welcher öffentliche Kontaktweg vorhanden ist. Drittens: Validiere und reiche nur die Accounts an, die deine Qualifikationshürde bereits bestanden haben – verschwende keine Enrichment-Credits auf Unternehmen, die du noch gar nicht geprüft hast. Viertens: Entferne Dubletten gegen deine bestehenden CRM-Daten, bevor irgendetwas importiert wird. Fünftens: Spiele die Daten mit einem Statusfeld ein, damit dein Sales-Team weiß, was bereits geprüft wurde und was noch ein Auge braucht.
Gerade der letzte Punkt ist wichtiger, als viele denken. Ich würde vorschlagen, jeden Datensatz mit etwas wie candidate_account, qualified_account, contact_ready, needs_review oder rejected zu markieren. Das wirkt übertrieben, bis dein SDR-Team fragt: „Moment, hat überhaupt jemand geprüft, ob dieses Unternehmen wirklich zu unserem ICP passt?“ – und du eine Antwort statt Schulterzucken hast.
Wo man B2B-Accounts mit starken Signalen findet
Die besten Signale sind nicht versteckt – sie sind nur über Quellen verteilt, die die meisten Teams nicht systematisch prüfen. Karriereseiten von Unternehmen zeigen, wen sie für welche Rollen einstellen, was ein brauchbarer Indikator dafür ist, worin sie gerade investieren. Newsrooms und Pressebereiche verraten etwas über Finanzierungsrunden, Expansionen und Produktlaunches. Partner- und Ausstellerseiten – sofern Scraping erlaubt ist – zeigen, wer in einem bestimmten Ökosystem aktiv ist. Öffentliche Meldungen, vor allem bei größeren Unternehmen, offenbaren finanzielle Gesundheit und strategische Prioritäten auf eine Weise, wie es ein LinkedIn-Post nie könnte.
Keines dieser Signale beweist für sich allein Kaufabsicht – eine Stellenausschreibung für einen „VP of Sales“ heißt nicht, dass das Unternehmen morgen bereit ist, dein Produkt zu kaufen. Aber in Kombination und abgeglichen mit deinen eigenen ICP-Kriterien sind diese Signale deutlich besser als eine statische Liste, die vor sechs Monaten in einem Lead-Marktplatz gekauft wurde und inzwischen schon zu 20 % veraltet ist.
Warum KI-gestütztes Scraping die Rechnung verändert
Hier wird es wirklich anders als bei dem Scraping, das ich vor fünf oder sechs Jahren gemacht habe. Klassisches Scraping bedeutete, für jedes einzelne Seitenlayout Selektoren zu schreiben – und sobald eine Website ihr HTML neu gestaltet hat, war das Scraper-Skript kaputt. KI-gestützte Scraping-Tools lesen eine Seite eher wie ein Mensch: Sie verstehen kontextuell, „das ist ein Firmenname, das ist ein Standort, das ist ein Jobtitel“, statt sich auf fragile CSS-Pfade zu verlassen.
Genau deshalb kann ein Tool wie Thunderbit sich eine Listing-Seite ansehen und mit AI Suggest Fields automatisch die passenden Spalten vorschlagen, statt dich jedes Feld von Hand zuzuordnen. Du kannst auch einfach in normalem Englisch sagen, was du willst – etwa „hole mir Firmenname, Website, Branche und Standort“ – und die KI findet heraus, wie sie es extrahiert. Ich habe mit Teams gesprochen, die früher einen halben Tag pro Website für die Scraper-Konfiguration gebraucht haben; heute sind es ein paar Klicks und ein Prüfdurchlauf. Das liegt nicht daran, dass sich die Compliance-Regeln geändert hätten – das haben sie nicht –, sondern daran, dass die technische Hürde für sauberes Arbeiten massiv gesunken ist. Mehr dazu, wie sich das im größeren AI-Scraping-Umfeld auswirkt, findest du in unserer Einordnung von AI Web Scraping und dem Vergleich zum älteren regelbasierten Ansatz.
Das Unterseiten-Problem: Warum Listing-Seiten allein nur die halbe Miete sind
Hier stolpern fast alle am Anfang: Die Listing-Seite erzählt nie die ganze Geschichte. Ein Verzeichnis liefert dir vielleicht einen Firmennamen und einen Link, aber die eigentlichen Belege, die du brauchst – was das Unternehmen macht, wo der Hauptsitz ist, welche Branche bedient wird – liegen meist einen Klick tiefer, auf der Detailseite des Unternehmens oder auf der eigenen Website.
Ich habe Teams erlebt, die hunderte Zeilen aus einem Verzeichnis gescraped haben und erst später gemerkt haben, dass bei der Hälfte der „Leads“ genau das eine Feld fehlte, das für die Qualifizierung entscheidend gewesen wäre. Genau deshalb existiert Subpage Scraping überhaupt als Feature-Kategorie und nicht nur als Nice-to-have. Ein guter Scraper sollte in der Lage sein, die Listing-Seite zu besuchen, den Link zur Detailseite jedes Unternehmens zu erfassen, dann automatisch diesem Link zu folgen und die tiefer liegenden Felder einzusammeln, bevor alles in einer sauberen Zeile zusammengeführt wird. Wer diesen Schritt auslässt, qualifiziert Leads auf Basis eines Firmennamens und einer Vermutung.
Schritt für Schritt: B2B-Leads mit Thunderbit finden
Ich gehe das so durch, wie ich es selbst machen würde – mit einem Zielverzeichnis und einer Tasse Kaffee.
Schritt 1: Thunderbit installieren und das Zielverzeichnis öffnen
Hol dir die Thunderbit Chrome Extension und navigiere zu einer erlaubten öffentlichen Quelle – etwa einer Ausstellerliste, einem Branchenverzeichnis oder einem Karriereportal, je nachdem, was zu deinem ICP passt. Prüfe vorher, ob die Nutzungsbedingungen diese Nutzung erlauben; das dauert zwei Minuten und erspart später Ärger.
Schritt 2: Auf „AI Suggest Fields“ klicken
Anstatt die Seite manuell durchzuklicken, um Spalten zu definieren, lässt du die KI die Seitenstruktur analysieren und Felder wie Firmenname, Website, Standort und Kategorie vorschlagen. Du kannst diese Felder bearbeiten oder eigene per Klartext hinzufügen – etwas wie „extrahiere die Branche, die dieses Unternehmen bedient“ funktioniert als Feldanweisung problemlos.
Schritt 3: Den Scrape starten
Starte die Extraktion und lass sie über die Listing-Seite laufen – inklusive Paginierung, falls das Verzeichnis mehrere Seiten umfasst. Das ist der „Roh“-Abruf: nur Unternehmens-Identifikatoren, noch nichts, was man als privaten Kontakt bezeichnen würde.
Schritt 4: Mit Subpage Scraping anreichern
Bei Zeilen, die vielversprechend aussehen, nutzt du Subpage Scraping, um jedem Unternehmenslink auf die eigene Website oder Detailseite zu folgen und tiefere Felder wie Tätigkeitsbereich, Standort und vorhandene öffentliche Kontaktwege zu ziehen. Das ist der Schritt, der aus einer nackten Verzeichniszeile einen tatsächlich qualifizierten Account-Datensatz macht.
Schritt 5: Prüfen und bereinigen
Bevor irgendetwas dein CRM berührt, prüfst du eine Stichprobe per Hand. Kontrolliere, ob Domains auflösbar sind, ob der Qualifizierungsgrund wirklich trägt, und markiere Unklares als needs_review, statt zu raten. Hier würdest du bei Bedarf auch E-Mail-Adressen über einen Dienst wie Hunter validieren, falls du einen legitimen öffentlichen Kontaktweg identifiziert hast – aber denke daran: Eine „gültige“ E-Mail-Adresse bedeutet noch lange keine Einwilligung für Marketing.
Schritt 6: Exportieren und ins CRM übertragen
Thunderbit exportiert kostenlos in Formate wie CSV, Excel, Google Sheets, Airtable und Notion. Bevor du in HubSpot oder Salesforce importierst, solltest du die Unternehmensdomain als Primärschlüssel standardisieren – die Import-Hinweise von HubSpot empfehlen für Unternehmen die Domain und für Kontakte die E-Mail-Adresse, und die Dublettenregeln von Salesforce können deinen Import stillschweigend blockieren oder markieren, wenn du das überspringst. Ein kleiner Testlauf mit 20 bis 30 Zeilen vor dem vollständigen Import hat mir schon mehr als einmal eine viel mühsamere Nacharbeit erspart.
Tipps und häufige Stolperfallen
Ein paar Dinge, die ich jedem raten würde, der heute mit diesem Prozess beginnt: Verwechsle einen gescrapten Jobtitel oder eine Rolle nicht mit echtem Kaufinteresse – das ist ein Hinweis, keine Freigabe. Gehe nicht davon aus, dass ein von KI extrahiertes Feld automatisch korrekt ist; prüfe stichprobenartig, bevor du einen Workflow skalierst. Halte namentlich genannte Kontakte und direkte E-Mail-Adressen in einem getrennten, strengeren Teil deines Datensatzes als deine Unternehmensrecherche, denn B2B bedeutet nicht automatisch, dass personenbezogene Daten von Datenschutzregeln ausgenommen sind. Und lass aus „das Tool kann es technisch“ nicht deine Compliance-Strategie werden – prüfe die Bedingungen der Quelle jedes Mal, nicht nur beim ersten Mal.
Web Scraping vs. Kauf einer Lead-Datenbank
Beide Ansätze haben ihren Platz, und so zu tun, als wäre einer immer besser, wäre nicht ganz ehrlich.
| Faktor | Web Scraping (erlaubte Quellen) | Kauf einer Lead-Datenbank |
|---|---|---|
| Aktualität | So aktuell wie dein letzter Scrape | Oft schon nach wenigen Wochen veraltet |
| Signalqualität | Hoch – du kontrollierst Auslöser und Kontext | Niedrig – meist nur statische Firmendaten |
| Abdeckung | Schmaler, von der Quelle abhängig | Breiter, standardisiert |
| Kostenmodell | Vor allem deine Zeit + Tool-Abo | Laufende Kosten pro Datensatz oder Sitzplatz |
| Compliance-Risiko | Beherrschbar, wenn Quellen und Felder sorgfältig gewählt werden | Stark abhängig von den Beschaffungspraktiken des Anbieters |
| Am besten geeignet für | Zielgerichtete, signalbasierte Outbound-Kampagnen | Breite Marktübersicht, frühe TAM-Abschätzung |
Meine ehrliche Einschätzung: Scrape dann, wenn du Kontext und Timing brauchst – zum Beispiel die Ausstellerliste eines bestimmten Events, die neu veröffentlichte Produktseite eines Wettbewerbers oder ein Unternehmen, das gerade drei Sales-Stellen ausgeschrieben hat. Kauf oder nutze Enrichment-Anbieter wie Apollo, wenn du breite, standardisierte Abdeckung brauchst und bereit bist, die Aktualität selbst zu prüfen. Beides schließt sich nicht aus; viele Teams scrapen für Signale und reichern anschließend die qualifizierten Accounts an, statt sich dauerhaft nur für einen Weg zu entscheiden.
Ein reales Szenario
Nehmen wir an, du verkaufst Fleet-Management-Software und willst wachsende Logistikunternehmen finden. Das Scrapen eines öffentlichen Carrier-Registers eines Bundesstaats oder eines Mitgliederverzeichnisses eines Branchenverbands liefert dir Firmennamen, Standorte und Flottengrößen-Kategorien – alles öffentlich, alles erlaubt. Danach gehst du über Unterseiten auf die Websites der Unternehmen, um zu prüfen, ob sie wirklich aktiv sind, und holst die allgemeine Kontaktlinie. Das sind vielleicht 200 qualifizierte Accounts statt 5.000 ungeprüfter Namen, aber jeder einzelne davon ist die Zeit eines SDR wert – und genau das ist das eigentliche Ziel.
Scraping für B2B-Leads funktioniert am besten, wenn du aufhörst, es als Listenbau zu sehen, und anfängst, es als Recherche mit besseren Werkzeugen zu behandeln. Ich habe erlebt, dass Sales-Teams mit 150 gut qualifizierten Accounts mehr Pipeline erzeugt haben als mit 10.000 gekauften Kontakten – einfach, weil die Ansprache relevant statt generisch war. Wenn du darüber nachdenkst, wo AI Scraping in deinen gesamten Sales-Prozess passt, lohnt sich auch ein Blick darauf, wie KI die Leadgenerierung verändert und wie Sales-Teams KI im Alltag wirklich einsetzen – beide Themen gehen tiefer in die Workflows als nur in den Scraping-Schritt.
So eine Pipeline aufzubauen braucht etwas mehr Einrichtung als das Herunterladen einer Kontaktliste, klar. Aber die Accounts, mit denen du am Ende arbeitest, wollen tatsächlich von dir hören – und das ist, wenn ich an die vielen Cold E-Mails denke, die ich über die Jahre ins Leere geschickt habe, die zusätzlichen dreißig Minuten Setup absolut wert.
FAQs
Ist es legal, B2B-Unternehmensdaten aus dem Web zu scrapen? Das hängt vollständig von der Quelle ab. Öffentliche Unternehmenswebsites, Behördenmeldungen und Verzeichnisse, die das ausdrücklich erlauben, sind in der Regel unproblematisch für Recherchezwecke. Seiten wie LinkedIn und Google Maps verbieten Scraping in ihren Nutzungsbedingungen ausdrücklich, unabhängig davon, was technisch möglich wäre. Prüfe vor jedem Scrape immer die Nutzungsbedingungen der Website und behandle robots.txt als Crawl-Anweisung, nicht als rechtliche Freigabe.
Was ist in diesem Kontext der Unterschied zwischen einem „Lead“ und einem „Kontakt“? Ein Kontakt ist nur ein Name plus ein Weg, ihn zu erreichen. Ein Lead ist – richtig gemacht – ein Unternehmensdatensatz, der durch Belege gestützt wird, dass das Unternehmen zu deinem Ideal Customer Profile passt, plus ein zeitlich erfasstes Signal, das erklärt, warum du gerade jetzt Kontakt aufnimmst. Bulk-Kontakte ohne diesen Kontext sind der Grund, warum so viele Cold-Outreach-Kampagnen unter ihren Möglichkeiten bleiben.
Können KI-Scraping-Tools garantieren, dass die Daten korrekt sind? Nein, und jedes Tool, das das behauptet, sollte skeptisch machen. KI-Extraktion ist sehr gut darin, unübersichtliche Seiten zu strukturieren, kann aber trotzdem mehrdeutige Felder falsch lesen. Eine Stichprobe vor dem Hochskalieren eines Scrapes zu prüfen, ist eine Gewohnheit, die man unabhängig vom Tool beibehalten sollte.
Sollte ich E-Mails direkt scrapen oder danach ein Enrichment-Tool verwenden? Enrichment-Tools sind in der Regel zuverlässiger, wenn es darum geht, namentlich genannte Kontakt-E-Mails zu finden und zu verifizieren, als sie direkt von Seiten zu scrapen. Außerdem dokumentieren sie den Verifizierungsstatus meist klar. Mein Vorschlag: zuerst auf Unternehmensebene qualifizieren und dann nur die Accounts anreichern, die deine Fit-Kriterien بالفعل erfüllt haben – das ist effizienter und reduziert dein Compliance-Risiko.
Wie vermeide ich doppelte Leads beim Import ins CRM? Standardisiere vor dem Import auf die Unternehmensdomain als Primärmerkmal, nicht auf den Firmennamen – Namen variieren zu stark, um zuverlässig Dubletten zu erkennen. Sowohl HubSpot als auch Salesforce dokumentieren, wie ihre Matching-Regeln funktionieren, und ein kleiner Testlauf vor dem Vollimport fängt die meisten Probleme ab, bevor sie deine Pipeline unübersichtlich machen.
