Angenommen, du verfolgst seit Wochen den Preis für einen bestimmten 65-Zoll-Fernseher bei Walmart und willst endlich wissen, ob er gefallen ist. Oder du führst einen Onlineshop und musst Preise, Lagerbestände und Bewertungen bei Walmart laufend im Auge behalten. Jedes Produkt jeden Tag von Hand durchzuklicken – das wäre ein Vollzeitjob, und kein angenehmer. Genau hier kommt Python ins Spiel: Mit ein paar Zeilen Code und etwas Web-Scraper-Wissen lässt sich diese Fleißarbeit vollständig automatisieren.
Ich baue seit Jahren Automatisierungs- und KI-Werkzeuge für Unternehmen, und Walmart-Scraping gehört für mich zu den Methoden, mit denen sich stundenlange Recherche auf ein kurzes Skript eindampfen lässt. In diesem Guide gehe ich Schritt für Schritt durch, wie das funktioniert: was Walmart-Scraping überhaupt bedeutet, warum es 2025 für Unternehmen so viel Wert hat und wie du mit Python einen zuverlässigen Scraper baust – mit echtem Code und praktischen Hinweisen. Schnapp dir einen Kaffee, und legen wir los.
Walmart-Scraping erklärt: die Grundlagen für 2025
Im Kern bedeutet Walmart-Scraping, Produkt-, Preis- und Bewertungsdaten automatisiert von der Walmart-Website zu holen – in der Regel über ein Skript, das sich wie ein extrem schneller Browser verhält. Statt Informationen mühsam von Hand zu kopieren, schreibst du ein Python-Skript, das Walmart-Seiten lädt, gezielt die gewünschten Felder herausfiltert und sie für deine Auswertung ablegt.
Warum ausgerechnet Python? Python ist für Scraping-Aufgaben das Allzweckwerkzeug schlechthin: leicht zu lesen, ausgestattet mit hervorragenden Bibliotheken wie Requests, BeautifulSoup und pandas und getragen von einer riesigen Community, die ständig Code und Tipps teilt. Ob allein oder im Team – mit Python ist Walmart-Scraping auch ohne Entwicklerhintergrund gut machbar.
Ein Punkt sei vorweg betont: Scraping für den Eigenbedarf (etwa Preisbeobachtung für eine Handvoll Produkte) ist etwas anderes als Scraping im Unternehmenskontext (etwa die Überwachung tausender SKUs für Marktanalysen). Geschäftlich wird die Sache schnell anspruchsvoller – nicht zuletzt, weil Walmart 2025 keine öffentliche Produkt-API bereitstellt (Quelle).
Wofür sich Walmart-Scraping lohnt: konkreter Nutzen für Unternehmen
Walmart ist längst nicht mehr nur Amerikas größter stationärer Händler – online ist der Konzern ein Schwergewicht: über 82 Milliarden US-Dollar Online-Umsatz im Jahr 2023, fast 18 % des Gesamtumsatzes stammen aus dem E-Commerce (Quelle). Hinter diesen Zahlen verbergen sich Unmengen an Produkten, Preisen, Bewertungen und Trends – ein Fundus für jede Datenanalyse.
Wofür also Walmart scrapen? Die wichtigsten Anwendungsfälle aus Unternehmenssicht:
- Preisbeobachtung & Wettbewerbsanalyse: Preise, Aktionen und Sortimentsänderungen bei Walmart laufend verfolgen, um die eigene Preis- und Produktstrategie zu schärfen (Quelle).
- Produktrecherche & Markttrends: Sortiment, Spezifikationen und Kategorietrends auswerten, um Lücken und neue Chancen zu erkennen (Quelle).
- Lagerbestands-Tracking: Verfügbarkeiten überwachen, um die Lieferkette zu steuern oder von Engpässen der Konkurrenz zu profitieren (Quelle).
- Bewertungen & Stimmungsanalyse: Kundenrezensionen sammeln und auswerten, um Produkte gezielt zu verbessern oder Schwachstellen aufzudecken (Quelle).
- Marketing & Content-Optimierung: Bestseller, ihre Darstellung und besonders conversion-starke Inhalte analysieren (Quelle).
- Händler- & Anbieteranalyse: Erfolgreiche Drittanbieter oder unzulässige Listings identifizieren (Quelle).
Eine kompakte Übersicht zu Anwendungsfällen, Zielgruppen und Nutzen:
| Anwendungsfall | Wer profitiert | Nutzen & ROI |
|---|---|---|
| Preisüberwachung | Preis- & Vertriebsteams | Echtzeit-Wettbewerbspreise, dynamische Preisgestaltung, Margensicherung |
| Sortiments- & Kataloganalyse | Produktmanagement, Einkauf | Lücken erkennen, neue Produkte launchen, Katalog optimieren |
| Lagerbestands-Tracking | Operations & Supply Chain | Bessere Prognosen, Engpässe vermeiden, Distribution optimieren |
| Kundenbewertungen & Sentiment | Produktentwicklung, Kundenerlebnis | Datenbasierte Produktverbesserung, höhere Zufriedenheit |
| Markttrends & Analysen | Strategie & Marktforschung | Trends erkennen, strategische Entscheidungen, neue Segmente frühzeitig erschließen |
| Content- & Preisstrategie | Marketing & E-Commerce | Preisstrategie verfeinern, von Top-Content lernen |
| Händlerüberwachung | Vertrieb & Partnerschaften | Partner finden, Marke schützen, unerlaubte Händler erkennen |
Das Wesentliche: Walmart-Scraping spart Zeit, hebt Umsätze und verschafft dir einen Datenvorsprung. Wo du morgens sonst 50 Seiten von Hand prüfst, holt dein Skript in wenigen Minuten tausende Listings (Quelle).
Walmart-Daten mit KI scrapen Walmart-Produkt-, Preis- und Bewertungsdaten in 2 Klicks extrahieren – ganz ohne Code. Get Started Free
Für E-Commerce, Vertrieb und Marktforschung ist Walmart-Scraping ein echter Wendepunkt. Mit den richtigen Werkzeugen automatisierst du die Datensammlung und kannst dich auf das konzentrieren, was zählt – die Auswertung, nicht die Fleißarbeit.
Walmart mit Python scrapen: die Voraussetzungen
Bevor es losgeht, richtest du deine Python-Umgebung ein. Das brauchst du dafür:
- Python 3.9+ (für 2025 empfohlen: 3.11 oder 3.12)
- Requests: zum Abrufen von Webseiten
- BeautifulSoup (bs4): zum Parsen von HTML
- pandas: zum Organisieren und Exportieren der Daten
- json: für die Arbeit mit JSON-Daten (bereits integriert)
- Einen Browser mit Entwicklertools: um die Seitenstruktur zu untersuchen (F12 ist dein bester Freund)
- pip: zum Installieren von Python-Paketen
Die Schnellinstallation:
pip install requests beautifulsoup4 pandas
Optional, aber für ein sauberes Projekt sinnvoll, ist eine virtuelle Umgebung:
python3 -m venv walmart-scraper
source walmart-scraper/bin/activate # Mac/Linux
# oder
walmart-scraper\\Scripts\\activate.bat # Windows
Prüfe dein Setup mit:
import requests, bs4, pandas
print("Libraries loaded successfully!")
Erscheint diese Meldung, kann es losgehen.
Schritt 1: Das Grundgerüst deines Python-Scrapers
Der Einstieg in drei Handgriffen:
- Projektordner anlegen (etwa
walmart_scraper/). - Code-Editor öffnen (VSCode, PyCharm oder Notepad++ – ganz nach Geschmack).
- Neues Skript erstellen (etwa
walmart_scraper.py).
Eine Startvorlage:
import requests
from bs4 import BeautifulSoup
import pandas as pd
import json
Damit bist du bereit, die ersten Walmart-Produktseiten abzurufen.
Schritt 2: Walmart-Produktseiten mit Python abrufen
Um Walmart zu scrapen, musst du zunächst das HTML einer Produktseite laden. Doch Vorsicht: Walmart blockt Bots ziemlich konsequent. Ein schlichtes requests.get(url) landet meist direkt bei einer „Robot or human?"-Abfrage.
Der Schlüssel: Verhalte dich wie ein echter Browser. Konkret heißt das, du setzt Header wie User-Agent und Accept-Language, um Chrome oder Firefox nachzuahmen.
So sieht das aus:
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9"
}
response = requests.get(url, headers=headers)
html = response.text
Hinweis: Mit requests.Session() speicherst du Cookies und wirkst dadurch noch menschlicher:
session = requests.Session()
session.headers.update(headers)
session.get("<https://www.walmart.com/>") # Homepage aufrufen, um Cookies zu setzen
response = session.get(product_url)
Prüfe immer den response.status_code (er sollte 200 sein). Bei merkwürdigen Seiten oder CAPTCHAs gilt: Tempo drosseln, IP wechseln oder eine Pause einlegen. Walmart meint es ernst mit seinem Bot-Schutz (Details hier).
Walmarts Anti-Bot-Maßnahmen umgehen
Walmart setzt auf Tools wie Akamai und PerimeterX und erkennt Bots an IP, Headern, Cookies und sogar am TLS-Fingerabdruck. So bleibst du unter dem Radar:
- Immer realistische Header setzen (siehe oben).
- Anfragen drosseln – 3 bis 6 Sekunden zwischen den Seiten.
- Zufällige Pausen einbauen, damit dein Verhalten nicht maschinell wirkt.
- Proxies rotieren, sobald du viele Seiten scrapst (dazu gleich mehr).
- Bei CAPTCHAs eine Pause machen – nicht mit Gewalt durchdrücken.
Wer es besonders professionell angehen will, kann mit Bibliotheken wie curl_cffi Python-Anfragen noch browserähnlicher gestalten (Quelle). Für die meisten Fälle genügen aber gute Header und etwas Geduld.
Schritt 3: Walmart-Produktdaten mit BeautifulSoup auslesen
Jetzt kommt der spannende Teil: die gewünschten Daten herausziehen. Walmart nutzt Next.js, weshalb die Produktinfos meist als großes JSON im Tag <script id="__NEXT_DATA__"> eingebettet sind.
So kommst du daran:
from bs4 import BeautifulSoup
import json
soup = BeautifulSoup(html, "html.parser")
script_tag = soup.find("script", {"id": "__NEXT_DATA__"})
if script_tag:
json_text = script_tag.string
data = json.loads(json_text)
Damit hältst du ein Python-Dictionary mit allen Produktinfos in der Hand. Bei einer typischen Produktseite stecken die Details hier:
product_data = data["props"]["pageProps"]["initialData"]["data"]["product"]
Anschließend liest du die gewünschten Felder aus:
name = product_data.get("name")
price_info = product_data.get("price", {})
current_price = price_info.get("price")
currency = price_info.get("currency")
rating_info = product_data.get("rating", {})
average_rating = rating_info.get("averageRating")
review_count = rating_info.get("numberOfReviews")
description = product_data.get("shortDescription") or product_data.get("description")
Warum gerade das JSON? Es ist strukturiert, stabil und weniger anfällig, falls Walmart das HTML ändert. Obendrein liefert es oft mehr Informationen, als auf der Seite sichtbar sind (siehe diese Methode).
Dynamische Inhalte und JSON-Daten
Manche Informationen – etwa Bewertungen oder Lagerstatus – werden per JavaScript oder über eine API nachgeladen. Meist enthält das initiale JSON aber schon alles Wesentliche. Falls nicht, findest du im Netzwerk-Tab des Browsers die API-Endpunkte von Walmart und kannst sie gezielt ansprechen.
Für den Großteil der Produktdaten bleibt das __NEXT_DATA__-JSON jedoch die beste Quelle.
Schritt 4: Walmart-Daten speichern und exportieren
Sind die Daten erst einmal da, speicherst du sie am besten strukturiert – als CSV, Excel oder JSON. Mit pandas geht das so:
import pandas as pd
product_record = {
"Produktname": name,
"Preis (USD)": current_price,
"Bewertung": average_rating,
"Anzahl Bewertungen": review_count,
"Beschreibung": description
}
df = pd.DataFrame([product_record])
df.to_csv("walmart_products.csv", index=False)
Bei mehreren Produkten sammelst du einfach alle Datensätze in einer Liste und erstellst das DataFrame zum Schluss.
Für Excel: df.to_excel("walmart_products.xlsx", index=False) (gegebenenfalls openpyxl installieren). Für JSON: df.to_json("walmart_products.json", orient="records", indent=2).
Hinweis: Kontrolliere deine Exporte immer stichprobenartig. Nichts ist ärgerlicher, als 1.000 Preise zu scrapen und dann zu merken, dass alle Felder leer sind, weil Walmart einen Schlüssel umbenannt hat.
Schritt 5: Deinen Walmart-Scraper skalieren
Du willst mehr? So scrapst du gleich mehrere Produktseiten:
product_urls = [
"<https://www.walmart.com/ip/Apple-AirPods-Pro-2nd-Generation/720559357>",
"<https://www.walmart.com/ip/SAMSUNG-65-Class-QLED-4K-Q60C/180355997>",
# ...weitere URLs
]
all_records = []
for url in product_urls:
resp = session.get(url)
# ...wie oben parsen und extrahieren...
all_records.append(product_record)
time.sleep(random.uniform(3, 6)) # Höflich bleiben!
Hast du noch keine URL-Liste, kannst du auch von einer Suchergebnisseite ausgehen, die Produktlinks extrahieren und dann jede Seite einzeln scrapen (siehe diese Technik).
Achtung: Wer hunderte oder tausende Seiten in hohem Tempo abruft, riskiert eine IP-Sperre. An dieser Stelle kommen Proxies ins Spiel.
Proxies und Scraper-APIs für Walmart einsetzen
Proxies lassen dich deine IP-Adresse wechseln, sodass Walmart dich schwerer blockieren kann. Du kannst etwa Residential Proxies kaufen oder Proxy-Pools nutzen. Mit Requests funktioniert das so:
proxies = {
"http": "<http://your.proxy.address>:port",
"https": "<https://your.proxy.address>:port"
}
response = session.get(url, proxies=proxies)
Für umfangreiche Projekte bietet sich eine Scraper-API an – solche Dienste übernehmen Proxies, CAPTCHAs und sogar das JavaScript-Rendering. Du schickst lediglich die Walmart-URL und bekommst die Daten zurück (oft schon als JSON).
Ein Vergleich der beiden Ansätze:
| Ansatz | Vorteile | Nachteile | Ideal für |
|---|---|---|---|
| Eigenes Python + Proxies | Volle Kontrolle, günstig bei kleinen Projekten | Wartung, Proxy-Kosten, Blockierungsrisiko | Entwickler, individuelle Anforderungen |
| Drittanbieter Scraper API | Einfach, Anti-Bot inklusive, gut skalierbar | Kosten bei großem Volumen, weniger Flexibilität, Abhängigkeit | Business-User, große Projekte, schnelle Ergebnisse |
Wer nicht programmieren möchte oder schnell zu Ergebnissen kommen will, greift zu Werkzeugen wie der Thunderbit KI-Web-Scraper Chrome-Erweiterung – alles mit wenigen Klicks, ohne Code, ohne Proxies, ohne Kopfschmerzen. (Mehr dazu gleich.)
Thunderbit KI-Web-Scraper für Walmart testen
Typische Hürden beim Walmart-Scraping – und wie du sie löst
Walmart-Scraping läuft selten von ganz allein. Die häufigsten Stolpersteine und wie du sie aus dem Weg räumst:
- Strenger Anti-Bot-Schutz: Walmart prüft IP, Header, Cookies, TLS-Fingerabdrücke und JavaScript. Abhilfe: realistische Header, Sessions, Pausen und Proxy-Rotation (Details).
- CAPTCHAs: Tauchen sie auf, leg eine Pause ein und versuch es später erneut. Bei wiederkehrenden Problemen kannst du auf CAPTCHA-Lösungsdienste zurückgreifen – das treibt allerdings Kosten und Komplexität in die Höhe (mehr Infos).
- Strukturänderungen der Seite: Walmart aktualisiert die Website regelmäßig. Wenn etwas bricht, analysierst du die JSON-Struktur neu und passt den Code an. Modular geschriebener Code hilft dabei.
- Paginierung & Unterseiten: Bei großen Datenmengen musst du die Seitennummerierung berücksichtigen. Nutze Schleifen mit Abbruchbedingung und prüfe, ob das Ende erreicht ist (Tipps).
- Datenmenge & Rate-Limits: Bei sehr großen Durchläufen stapelst du die Anfragen und sicherst Zwischenergebnisse. Lade nicht 100.000 Produkte auf einmal in den Speicher.
- Rechtliche & ethische Fragen: Scrape nur öffentliche Daten, halte dich an Walmarts Nutzungsbedingungen und überlaste die Server nicht. Bei kommerzieller Nutzung empfiehlt sich eine rechtliche Prüfung.
Wann lohnt ein Managed-Tool? Sobald du mehr Zeit mit CAPTCHAs als mit der eigentlichen Auswertung verbringst, ist ein Werkzeug wie Thunderbit oder eine Scraper-API die bessere Wahl. Für alle ohne Entwicklerhintergrund sind No-Code-Lösungen oft ohnehin der direktere Weg (Thunderbits Ansatz).
Walmart-Scraping mit Python: das vollständige Beispiel
Hier ein komplettes, kommentiertes Python-Skript zum Scrapen von Walmart-Produktseiten:
import requests
from bs4 import BeautifulSoup
import json
import pandas as pd
import time
import random
# Session und Header einrichten
session = requests.Session()
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9"
})
# Homepage besuchen, um Cookies zu setzen
session.get("<https://www.walmart.com/>")
# Liste der Produkt-URLs
product_urls = [
"<https://www.walmart.com/ip/Apple-AirPods-Pro-2nd-Generation/720559357>",
"<https://www.walmart.com/ip/SAMSUNG-65-Class-QLED-4K-Q60C/180355997>",
# Weitere URLs nach Bedarf
]
all_products = []
for url in product_urls:
try:
response = session.get(url)
except Exception as e:
print(f"Request error for {url}: {e}")
continue
if response.status_code != 200:
print(f"Failed to fetch {url} (status {response.status_code})")
continue
soup = BeautifulSoup(response.text, "html.parser")
script_tag = soup.find("script", {"id": "__NEXT_DATA__"})
if not script_tag:
print(f"No data script found for {url} - possibly blocked or changed page format.")
continue
try:
data = json.loads(script_tag.string)
except json.JSONDecodeError as e:
print(f"JSON parse error for {url}: {e}")
continue
try:
product_info = data["props"]["pageProps"]["initialData"]["data"]["product"]
except KeyError:
print(f"Product data not found in JSON for {url}.")
continue
name = product_info.get("name")
brand = product_info.get("brand", {}).get("name") or product_info.get("brand", "")
price_obj = product_info.get("price", {})
price = price_obj.get("price")
currency = price_obj.get("currency")
orig_price = price_obj.get("priceStrikethrough") or price_obj.get("price_strikethrough")
rating_obj = product_info.get("rating", {})
avg_rating = rating_obj.get("averageRating")
review_count = rating_obj.get("numberOfReviews")
desc = product_info.get("description") or product_info.get("shortDescription") or ""
product_record = {
"URL": url,
"Name": name,
"Marke": brand,
"Preis": price,
"Währung": currency,
"Originalpreis": orig_price,
"Durchschnittsbewertung": avg_rating,
"Anzahl Bewertungen": review_count,
"Beschreibung": desc
}
all_products.append(product_record)
# Zufällige Pause zur Tarnung
time.sleep(random.uniform(3.0, 6.0))
df = pd.DataFrame(all_products)
print(df.head(5))
df.to_csv("walmart_scrape_output.csv", index=False)
Anpassungen:
- Ergänze weitere URLs in
product_urls. - Lies bei Bedarf zusätzliche Felder aus.
- Stelle die Pausen auf dein Risikoprofil ein.
Fazit & die wichtigsten Erkenntnisse
Das nimmst du aus diesem Guide mit:
- Walmart-Scraping ist ein starkes Mittel, um an Preis-, Produkt- und Bewertungsdaten zu kommen – 2025 unverzichtbar für Wettbewerbsanalyse, Preisgestaltung und Produktentwicklung.
- Python ist das Werkzeug der Wahl: Mit Requests, BeautifulSoup und pandas baust du auch ohne Profi-Kenntnisse einen robusten Scraper.
- Anti-Bot-Schutz ist Realität: Browser-Header nachahmen, Sessions nutzen, Pausen einbauen und beim Skalieren Proxies rotieren.
- Daten aus dem
__NEXT_DATA__-JSON holen: Das ist stabiler und weniger fehleranfällig als reines HTML-Parsing. - Daten zum Auswerten exportieren: Mit pandas als CSV, Excel oder JSON ablegen.
- Mit Bedacht skalieren: Für große Projekte Proxies oder Scraper-APIs einsetzen. Wer gar nicht programmieren möchte, liest Walmart (und viele weitere Seiten) mit dem Thunderbit KI-Web-Scraper in wenigen Klicks aus – ohne Code. Der Export nach Excel, Google Sheets, Airtable oder Notion ist kostenlos möglich (so geht's).
Mein Rat:
Fang klein an – scrape erst ein Produkt, dann eine Handvoll. Prüfe die Daten auf Richtigkeit. Respektiere Walmarts Regeln und überlaste die Server nicht. Wächst dein Bedarf, steig auf Managed-Tools oder APIs um und spar dir Zeit und Nerven. Und falls dir das Debuggen reicht: Mit Thunderbit scrapst du Walmart (und fast jede andere Seite) in zwei Klicks, die KI erledigt den Rest (Chrome-Erweiterung herunterladen).
Weitere Web Scraping Guides entdecken Mehr zu Web Scraping, Automatisierung und KI-Produktivität im Thunderbit Blog. Get Started Free
Du willst tiefer einsteigen in Web Scraping, Datenautomatisierung oder KI-gestützte Produktivität? Weitere Anleitungen findest du im Thunderbit Blog.
Viel Erfolg beim Scrapen – und mögen deine Daten stets aktuell, korrekt und frei von CAPTCHAs bleiben.
P.S.: Falls du nachts um zwei Uhr Walmart scrapst und dabei leise vor dich hin fluchst – keine Sorge, das kennt jeder, der mit Daten arbeitet. Debugging stärkt den Charakter.
Thunderbit KI-Web-Scraper für Walmart testen Get Started Free
FAQ
1. Ist es legal, Walmart-Daten mit Python zu scrapen?
Das Scrapen öffentlich zugänglicher Daten für private oder nicht-kommerzielle Zwecke ist in der Regel zulässig. Bei geschäftlicher Nutzung können jedoch rechtliche und ethische Fragen aufkommen. Sieh dir stets die Nutzungsbedingungen von Walmart an und achte darauf, keine Server zu überlasten und keine sensiblen Daten zu sammeln.
2. Welche Daten lassen sich mit Python von Walmart auslesen?
Du kannst Produktnamen, Preise, Markeninfos, Beschreibungen, Kundenbewertungen, Ratings, Lagerstatus und mehr extrahieren – besonders, wenn du das strukturierte JSON im Tag <script id="__NEXT_DATA__"> auswertest.
3. Wie verhindere ich, beim Walmart-Scraping blockiert zu werden?
Nutze realistische Header, Sessions und zufällige Pausen (3 bis 6 Sekunden), rotiere Proxies und vermeide zu viele Anfragen in kurzer Zeit. Für größere Projekte sind Scraper-APIs oder Tools wie Thunderbit sinnvoll, die den Anti-Bot-Schutz automatisch übernehmen.
4. Kann ich hunderte oder tausende Walmart-Produkte scrapen?
Ja, allerdings musst du dann Proxies verwalten, Anfragen drosseln und gegebenenfalls eine Scraper-API einsetzen. Walmart hat einen starken Bot-Schutz – ohne Vorbereitung drohen Sperren oder CAPTCHAs.
5. Was ist der einfachste Weg, Walmart zu scrapen, wenn ich nicht programmieren kann?
Mit Tools wie der Thunderbit KI-Web-Scraper Chrome-Erweiterung scrapst du Walmart-Produktseiten ganz ohne eine Zeile Code. Das Tool übernimmt den Anti-Bot-Schutz, unterstützt den Export nach Excel, Notion und Sheets und eignet sich ideal für Nicht-Entwickler oder Business-Teams, die schnell zu Einblicken kommen wollen.
