Python-Web-Scraping-Tutorial: Daten von einer Website abrufen

Das Web ist voll von Daten, und der Hunger darauf, sie abzurufen, wächst rasant — auch wenn man bei der Suche nach einer einzelnen Marktgröße schnell merkt, dass die Schätzungen je nach Analyst um Größenordnungen auseinandergehen, je nachdem, ob Software, Services, Proxies oder alles zusammen gezählt werden. Die ehrliche Einschätzung ist: Web Scraping hat sich in der eher unspektakulären, aber unverzichtbaren Ecke des Data Stacks fest etabliert.

Ob du Business Analyst, Marketer oder einfach ein neugieriger Einsteiger bist: Die Fähigkeit, Daten von einer Website abzurufen, wird schnell zu einer unverzichtbaren Kompetenz. Und wenn es dir wie mir geht, möchtest du die endlose Copy-Paste-Routine am liebsten überspringen und direkt zu den spannenden Dingen kommen: verwertbare Insights, saubere Tabellen und vielleicht sogar ein bisschen Automatisierungs-Magie.

Genau hier kommt Python ins Spiel. Es ist das Schweizer Taschenmesser der Datenwelt — für Einsteiger einfach genug, aber zugleich mächtig genug, um alles zu erledigen: vom Scrapen einer einzelnen Seite bis zum Crawlen von Tausenden. In diesem praxisnahen Tutorial zeige ich dir die Grundlagen des Web Scrapings mit Python, wie du mit dynamischen Websites umgehst und stelle dir außerdem vor, unseren KI-gestützten No-Code-Web-Scraper, der das Extrahieren von Daten so einfach macht wie das Bestellen von Essen zum Mitnehmen. Egal, ob du den Code lernen oder einfach einen Shortcut willst — hier bist du richtig.

Was ist Web Scraping und warum Python nutzen, um Daten von einer Website abzurufen?

Web Scraping ist der automatisierte Prozess, Informationen von Websites zu extrahieren und in ein strukturiertes Format zu überführen — etwa Tabellen, CSVs oder Datenbanken — für Analysen oder geschäftliche Nutzung (). Statt Daten manuell zu kopieren und einzufügen, ahmt ein Scraper nach, was ein Mensch tun würde — nur in Lichtgeschwindigkeit und im großen Maßstab.

Warum ist das so wertvoll? Weil in der heutigen Geschäftswelt datengetriebene Entscheidungen das A und O sind. Je größer das Unternehmen, desto mehr Entscheidungen werden mit echten Zahlen statt mit Bauchgefühl abgesichert — und viele dieser Zahlen beginnen ihr Leben auf der Website eines anderen.

Stell dir vor, du könntest täglich die Preise von Wettbewerbern überwachen, Immobilienangebote zusammenführen oder eine individuelle Lead-Liste erstellen — ganz ohne ins Schwitzen zu kommen.

Warum also Python? Hier sind die Gründe, warum es die erste Wahl fürs Web Scraping ist:

• Lesbarkeit und Einfachheit: Pythons Syntax ist klar und einsteigerfreundlich, sodass sich Scraping-Skripte leicht schreiben und verstehen lassen ().
• Riesiges Ökosystem: Bibliotheken wie requests, BeautifulSoup, Scrapy und Selenium machen Scraping, Parsing und das Automatisieren von Browser-Aktionen zum Kinderspiel.
• Starke Community: Da Python konstant als rangiert, gibt es unzählige Tutorials, Foren und Codebeispiele, die dir helfen.
• Skalierbarkeit: Python kann alles abdecken — von einfachen Einmal-Skripten bis zu Crawling-Systemen im großen Stil.

Kurz gesagt: Python ist dein Eintrittsticket in die Welt der Webdaten, egal ob du kompletter Anfänger oder erfahrener Analyst bist.

Einstieg: Grundlagen des Python-Web-Scraping-Tutorials

Bevor wir in den Code einsteigen, sehen wir uns den grundlegenden Ablauf an, um mit Python Daten von einer Website abzurufen:

1. Umgebung einrichten: Python und die benötigten Bibliotheken installieren (requests, BeautifulSoup usw.).
2. Anfrage senden: Mit Python den HTML-Inhalt deiner Zielseite abrufen.
3. HTML parsen: Mit einem Parser durch die Struktur der Seite navigieren.
4. Daten extrahieren: Die benötigten Informationen finden und herausziehen.
5. Ergebnisse speichern: Die Daten als CSV, Excel-Datei oder in einer Datenbank für die Analyse ablegen.

Du musst kein Coding-Wizard sein, um loszulegen. Wenn du weißt, wie man Python installiert und ein Skript ausführt, hast du schon die halbe Miete. Für komplette Einsteiger empfehle ich eine oder ein Jupyter Notebook, aber du kannst auch einfach einen normalen Texteditor verwenden.

Wichtige Bibliotheken:

• requests — zum Abrufen von Webseiten
• BeautifulSoup — zum Parsen von HTML
• pandas — zum Speichern und Bereinigen von Daten (optional, aber sehr empfehlenswert)

Die richtige Python-Web-Scraping-Bibliothek wählen: BeautifulSoup, Scrapy oder Selenium?

Nicht alle Python-Scraping-Tools sind gleich. Hier ein kurzer Überblick über die drei beliebtesten Optionen:

BeautifulSoup: Die erste Wahl für einfaches HTML-Parsen

BeautifulSoup ist perfekt für Einsteiger und kleinere Projekte. Damit kannst du HTML parsen und Elemente mit nur wenigen Codezeilen extrahieren. Wenn deine Zielseite hauptsächlich statisch ist (also ohne aufwendiges JavaScript-Loading), reicht BeautifulSoup zusammen mit requests völlig aus.

Beispiel:

1import requests
2from bs4 import BeautifulSoup
3url = "https://example.com"
4response = requests.get(url)
5soup = BeautifulSoup(response.text, 'html.parser')
6titles = [h2.text for h2 in soup.find_all('h2', class_='product-title')]
7print(titles)

Wann verwenden: Einmalige Scrapes, einfache Blogs, Produktseiten oder Verzeichnisse.

Scrapy: Für Crawling im großen Stil oder mit Struktur

Scrapy ist ein vollständiges Framework, um ganze Websites zu crawlen oder Tausende von Seiten zu verarbeiten. Es ist asynchron (also schnell), unterstützt Pipelines zum Bereinigen und Speichern von Daten und kann Links automatisch folgen.

Beispiel:

1import scrapy
2class ProductSpider(scrapy.Spider):
3    name = "products"
4    start_urls = ["https://example.com/products"]
5    def parse(self, response):
6        for item in response.css('div.product'):
7            yield {
8                'name': item.css('h2::text').get(),
9                'price': item.css('span.price::text').get()
10            }

Wann verwenden: Große Projekte, geplante Crawls oder wenn du Geschwindigkeit und Struktur brauchst.

Selenium: Dynamische und JavaScript-lastige Websites behandeln

Selenium steuert einen echten Browser (wie Chrome oder Firefox) und kann daher Seiten verarbeiten, die Daten per JavaScript laden, Logins erfordern oder bei denen Klicks nötig sind.

Beispiel:

1from selenium import webdriver
2from selenium.webdriver.common.by import By
3driver = webdriver.Chrome()
4driver.get("https://example.com/login")
5driver.find_element(By.NAME, "username").send_keys("myuser")
6driver.find_element(By.NAME, "password").send_keys("mypassword")
7driver.find_element(By.XPATH, "//button[@type='submit']").click()
8dashboard = driver.find_element(By.ID, "dashboard").text
9print(dashboard)
10driver.quit()

Wann verwenden: Social Media, Börsenseiten, Infinite Scroll oder alles, was leer aussieht, wenn du dir den Quelltext ansiehst.

Schritt für Schritt: Wie man mit Python Daten von einer Website abruft (Anfängertutorial)

Gehen wir ein echtes Beispiel mit requests und BeautifulSoup durch. Wir scrapen eine einfache Buchlisten-Seite nach Titeln, Autoren und Preisen.

Schritt 1: Deine Python-Umgebung einrichten

Installiere zuerst die benötigten Bibliotheken:

1pip install requests beautifulsoup4 pandas

Dann importierst du sie in dein Skript:

1import requests
2from bs4 import BeautifulSoup
3import pandas as pd

Schritt 2: Eine Anfrage an die Website senden

Rufe den HTML-Inhalt ab:

1url = "http://books.toscrape.com/catalogue/page-1.html"
2response = requests.get(url)
3if response.status_code == 200:
4    html = response.text
5else:
6    print(f"Seite konnte nicht abgerufen werden: \{response.status_code\}")

Schritt 3: HTML-Inhalt parsen

Erstelle ein BeautifulSoup-Objekt:

1soup = BeautifulSoup(html, 'html.parser')

Finde alle Buch-Container:

1books = soup.find_all('article', class_='product_pod')
2print(f"{len(books)} Bücher auf dieser Seite gefunden.")

Schritt 4: Die benötigten Daten extrahieren

Gehe durch jedes Buch und hole die Details:

1data = []
2for book in books:
3    title = book.h3.a['title']
4    price = book.find('p', class_='price_color').text
5    data.append({"Titel": title, "Preis": price})

Schritt 5: Daten für die Analyse speichern

In ein DataFrame umwandeln und speichern:

1df = pd.DataFrame(data)
2df.to_csv('books.csv', index=False)

Jetzt hast du eine saubere CSV-Datei, die bereit für die Analyse ist!

Tipps zur Fehlerbehebung:

• Wenn du leere Ergebnisse bekommst, prüfe, ob die Daten per JavaScript geladen werden (siehe den nächsten Abschnitt).
• Untersuche die HTML-Struktur immer mit den DevTools deines Browsers.
• Behandle fehlende Daten mit get_text(strip=True) und bedingten Prüfungen.

Dynamische Inhalte meistern: Daten von JavaScript-gerenderten Websites abrufen

Moderne Websites lieben JavaScript. Manchmal stehen die gewünschten Daten nicht im initialen HTML — sie werden erst nach dem Laden der Seite eingefügt. Wenn dein Scraper keine Ergebnisse liefert, hast du es möglicherweise mit dynamischen Inhalten zu tun.

So gehst du damit um:

• Selenium: Simuliert einen echten Browser, wartet auf das Laden der Inhalte und kann Buttons klicken oder scrollen.
• Playwright/Puppeteer: Fortgeschrittener, aber ähnliches Prinzip (Headless-Browser).

Mini-Anleitung für Selenium:

1. Selenium und einen Browser-Treiber installieren (z. B. ChromeDriver).
2. Explizite Wartezeiten verwenden, damit Inhalte geladen werden können.
3. Das gerenderte HTML extrahieren und bei Bedarf mit BeautifulSoup parsen.

Beispiel:

1from selenium import webdriver
2from selenium.webdriver.common.by import By
3from selenium.webdriver.support.ui import WebDriverWait
4from selenium.webdriver.support import expected_conditions as EC
5driver = webdriver.Chrome()
6driver.get("https://example.com/dynamic")
7WebDriverWait(driver, 10).until(
8    EC.presence_of_element_located((By.CLASS_NAME, "dynamic-content"))
9)
10html = driver.page_source
11soup = BeautifulSoup(html, 'html.parser')
12# Daten wie zuvor extrahieren
13driver.quit()

Wann brauchst du Selenium?

• Wenn requests.get() HTML ohne Daten zurückgibt, du die Daten aber im Browser siehst.
• Wenn die Seite Infinite Scroll, Pop-ups oder einen Login erfordert.

Web Scraping mit KI vereinfachen: Thunderbit nutzen, um Daten von einer Website abzurufen

Seien wir ehrlich — manchmal willst du einfach nur die Daten, nicht den Code. Genau hier kommt ins Spiel. Thunderbit ist eine KI-gestützte Chrome-Erweiterung, mit der du mit nur wenigen Klicks Daten von jeder Website abrufen kannst — ganz ohne Python.

So funktioniert Thunderbit:

1. Installiere die .
2. Öffne deine Zielwebsite.
3. Klicke auf das Thunderbit-Symbol und dann auf „KI-Felder vorschlagen“. Die KI von Thunderbit scannt die Seite und empfiehlt, welche Daten extrahiert werden sollen (z. B. Produktnamen, Preise, E-Mails).
4. Passe die Felder bei Bedarf an und klicke dann auf „Scrapen“.
5. Exportiere deine Daten direkt nach Excel, Google Sheets, Notion oder Airtable.

Warum Thunderbit überzeugt:

• Keine Programmierung nötig. Sogar meine Mutter kann es benutzen (und sie fragt mich immer noch bei WLAN-Problemen um Hilfe).
• Unterstützt Unterseiten und Pagination. Du musst Produktdetails von mehreren Seiten scrapen? Thunderbit kann sich durchklicken und die Daten für dich zusammenführen.
• Anweisungen in natürlicher Sprache. Sag einfach, was du möchtest („alle Produkttitel und Preise extrahieren“) und die KI erledigt den Rest.
• Sofortvorlagen für beliebte Websites. Amazon, Zillow, LinkedIn und mehr — ein Klick, fertig.
• Kostenloser Datenexport. Als CSV oder Excel herunterladen oder direkt in deine Lieblings-Tools übertragen.

Thunderbit wird von über vertraut. Es gibt eine kostenlose Stufe, die du ohne Bezahlung ausprobieren kannst — aktuelle Limits findest du auf der , da sich die Kontingente schon ein paar Mal geändert haben. Für Business-Anwender ist das ein echter Zeitsparer; für Python-Leute ist es eine praktische Möglichkeit, den Aufwand grob abzuschätzen, bevor man entscheidet, ob sich der Aufwand für einen eigenen Scraper lohnt.

Nach dem Scraping: Daten mit Pandas und NumPy bereinigen und analysieren

Das Abrufen der Daten ist nur der erste Schritt. Rohe Webdaten sind oft unordentlich — Duplikate, fehlende Werte, merkwürdige Formate. Genau hier glänzen Pythons Bibliotheken pandas und NumPy.

Häufige Bereinigungsaufgaben:

• Duplikate entfernen: df.drop_duplicates(inplace=True)
• Fehlende Werte behandeln: df.fillna('Unknown') oder df.dropna()
• Datentypen konvertieren: df['Price'] = df['Price'].str.replace('$','').astype(float)
• Datumswerte parsen: df['Date'] = pd.to_datetime(df['Date'])
• Ausreißer herausfiltern: df = df[df['Price'] > 0]

Einfache Analyse:

• Zusammenfassende Statistik: df.describe()
• Nach Kategorie gruppieren: df.groupby('Category')['Price'].mean()
• Schnelle Diagramme: df['Price'].hist() oder df.groupby('Category')['Price'].mean().plot(kind='bar')

Für fortgeschrittenere Berechnungen oder schnelle Array-Operationen ist NumPy ideal. Für die meisten Business-Anwender deckt pandas jedoch 95 % der Anforderungen ab.

Ressourcen: Wenn du neu bei pandas bist, schau dir den Leitfaden an.

Best Practices und Tipps für erfolgreiches Python-Web-Scraping

Web Scraping ist mächtig, bringt aber auch Verantwortung mit sich. Hier ist meine Checkliste fürs Scraping wie ein Profi — und ohne geblockt oder verklagt zu werden:

• robots.txt und Nutzungsbedingungen beachten. Prüfe immer, ob die Website Scraping erlaubt ().
• Server nicht überlasten. Baue Pausen zwischen den Anfragen ein (time.sleep(2)) und scrape mit menschlicher Geschwindigkeit.
• Realistische Header verwenden. Setze einen User-Agent-String, der einen Browser nachahmt.
• Fehler sauber behandeln. Nutze try/except-Blöcke und wiederhole fehlgeschlagene Anfragen.
• Bei Bedarf Proxies rotieren. Für Scraping in großem Maßstab solltest du Proxy-Pools in Betracht ziehen, um IP-Sperren zu vermeiden.
• Ethik und Recht beachten. Scrape keine personenbezogenen Daten oder Inhalte hinter Logins ohne Erlaubnis.
• Den Prozess dokumentieren. Halte fest, was du gescrapt hast, von wo und wann.
• Offizielle APIs nutzen, wenn verfügbar. Manchmal gibt es eine bessere Lösung als HTML-Scraping.

Weitere Tipps findest du im .

Fazit und wichtigste Erkenntnisse

Web Scraping mit Python ist eine Superkraft für alle, die das Chaos des Webs in strukturierte, verwertbare Daten verwandeln wollen. Ob du Code nutzt (requests, BeautifulSoup, Scrapy oder Selenium) oder ein No-Code-Tool wie — du hast die Werkzeuge, um Daten von einer Website abzurufen und neue Erkenntnisse freizusetzen.

Merke dir:

• Fang klein an — scrape zuerst eine einzelne Seite, bevor du dich an große Projekte wagst.
• Wähle das richtige Tool für deinen Bedarf (BeautifulSoup für Basics, Scrapy für Skalierung, Selenium für dynamische Seiten, Thunderbit für No-Code).
• Bereinige und analysiere deine Daten mit pandas und NumPy.
• Scrape immer verantwortungsvoll und ethisch.

Bereit, es selbst auszuprobieren? Starte mit einem kleinen Projekt — vielleicht die heutigen Schlagzeilen oder eine Produktliste scrapen — und schau, wie schnell du von der rohen Webseite zur sauberen Tabelle kommst. Und wenn du dir den Code sparen willst, und lass die KI die schwere Arbeit übernehmen.

Für mehr Tutorials, Tipps und Web-Scraping-Wissen schau dir den an.

FAQs

1. Was ist Web Scraping und warum ist Python dafür so beliebt?
Web Scraping ist die automatisierte Extraktion von Daten aus Websites. Python ist dafür so beliebt wegen seiner gut lesbaren Syntax, leistungsstarken Bibliotheken wie BeautifulSoup, Scrapy und Selenium sowie seiner starken Community-Unterstützung ().

2. Welche Python-Bibliothek sollte ich fürs Web Scraping verwenden?
Verwende BeautifulSoup für einfache, statische Seiten; Scrapy für Crawling im großen Maßstab oder über mehrere Seiten; und Selenium für dynamische oder JavaScript-lastige Websites. Je nach Bedarf hat jede Bibliothek ihre eigenen Stärken ().

3. Wie gehe ich mit Websites um, die Daten mit JavaScript laden?
Für von JavaScript gerenderte Inhalte nutze Selenium (oder Playwright), um einen Browser zu simulieren und auf das Laden der Inhalte zu warten, bevor du Daten extrahierst. Manchmal findest du beim Prüfen des Netzwerkverkehrs auch einen zugrunde liegenden API-Endpunkt.

4. Was ist Thunderbit und wie vereinfacht es Web Scraping?
ist eine KI-gestützte Chrome-Erweiterung, mit der du Daten von jeder Website ohne Programmierung abrufen kannst. Sie nutzt KI, um Felder vorzuschlagen, Unterseiten und Pagination zu verarbeiten und Daten direkt nach Excel, Google Sheets, Notion oder Airtable zu exportieren.

5. Wie kann ich gescrapte Daten in Python bereinigen und analysieren?
Nutze pandas, um Duplikate zu entfernen, fehlende Werte zu behandeln, Datentypen zu konvertieren und Analysen durchzuführen. NumPy ist großartig für numerische Operationen. Für Visualisierungen lässt sich pandas mit Matplotlib für schnelle Diagramme kombinieren ().

Viel Erfolg beim Scraping — und möge deine Daten immer sauber, strukturiert und einsatzbereit sein.

Mehr erfahren