Viime viikolla yksi myyntitiimimme kollega pyysi minua auttamaan häntä poimimaan yhteystietoja noin 200 yrityshakemistosivulta. Suunnitelma? Kopioida ja liittää jokainen sivu taulukkoon käsin. Ehdotin, että hän kokeilisi ChatGPT:tä Python-pohjaisen kaapijan luomiseen. Kaksikymmentä minuuttia myöhemmin hänellä oli skripti. Kolmekymmentä minuuttia sen jälkeen hän laittoi minulle viestin: "Se toimi viidellä ensimmäisellä sivulla ja sitten se vain… pysähtyi."
Tuo kokemus on yllättävän tavallinen. ChatGPT osaa oikeasti erinomaisesti kirjoittaa kaavintaohjelman — kunnes ei enää osaakaan. Useimmat verkosta löytyvät ohjeet pysähtyvät vaiheeseen “katso, tämä toimii testisivulla”, ja jättävät sinut pulaan heti, kun vastaan tulee oikea sivu, jossa on JavaScriptiä, bottisuojauksia tai sivutus. Tässä oppaassa käyn läpi, miltä ChatGPT-verkkosivujen kaavinta näyttää käytännössä: koko työnkulku, viisi uudelleenkäytettävää prompt-pohjaa (ei vain yhtä esimerkkiä), rehellinen erittely siitä, missä asiat menevät pieleen, ja mitä tehdä silloin kun ne menevät — mukaan lukien no-code-vaihtoehdot kuten Thunderbit, joilla koodi jää kokonaan pois.
Mitä ChatGPT-verkkosivujen kaavinta on?
“ChatGPT-verkkosivujen kaavinta” tarkoittaa ChatGPT:n käyttöä apuna verkkosivuilta tiedon poimimiseen. Mutta tässä on olennainen ero, jonka moni ohittaa: ChatGPT ei itse kaavi sivustoja. Se ei voi avata URL-osoitetta, hakea HTML:ää tai klikata sivujen läpi. Se voi kuitenkin generoida koodin (yleensä Pythonilla), joka tekee tämän, tai lukea chattiin liitetyn raakaa HTML:ää ja muuntaa sen jäsennellyksi dataksi.
Pääasiallisia lähestymistapoja on kaksi:
- ChatGPT koodigeneraattorina: Kuvailet sivun ja haluamasi tiedot, ja ChatGPT kirjoittaa Python-skriptin (yleensä BeautifulSoupilla, Seleniumilla tai Playwrightilla), jonka ajat omalla koneellasi.
- ChatGPT datan jäsentäjänä: Kopioit raakaa HTML:ää chattiin (tai lataat sen Code Interpreterin kautta), ja ChatGPT poimii tarvittavat kentät JSON- tai CSV-muotoon.
Molemmissa tapauksissa sinä olet se, joka hakee sivun ja ajaa skriptin. ChatGPT on aivot, ei kädet. Edes uudempi ChatGPT Atlas -selain (julkaistu lokakuussa 2025), joka osaa selailla verkkoa keskustelevasti, palauttaa vastauksia — ei valmiiksi rakennettuja CSV-taulukoita, joissa olisi 500 tuoteriviä. Se on selausapu, ei tiedonpoistoputki.
Miksi käyttää ChatGPT:tä verkkosivujen kaapimiseen (ja kenelle se sopii)
ChatGPT madaltaa verkkosivujen kaapimisen kynnystä huomattavasti. 2025 Stack Overflow Developer Survey -kyselyn mukaan 84% kehittäjistä käyttää tai aikoo käyttää AI-työkaluja työssään, ja ChatGPT on kärjessä 82 prosentin osuudella. Mutta “ChatGPT-verkkosivujen kaavinta” ei ole vain kehittäjille. Sitä käyttävät myös myyntiedustajat, jotka rakentavat prospektilistoja, verkkokauppatiimit, jotka seuraavat kilpailijoiden hintoja, kiinteistöanalyytikot, jotka kokoavat kohdetietoja, sekä markkinointitiimit, jotka keräävät sisältöä yhteen.
Tässä nopea katsaus tyypillisiin käyttötapauksiin ja siihen, ketkä hyötyvät:
| Käyttötapaus | Hyötyjät | Mitä kaavitaan |
|---|---|---|
| Myyntiliidien poiminta | SDR:t, myyntioperaatiot | Nimet, sähköpostit, puhelinnumerot hakemistoista |
| Kilpailijahintojen seuranta | Verkkokauppa, hinnoittelutiimit | Tuotenimet, hinnat, saatavuus, SKU:t |
| Markkinatutkimus | Analyytikot, perustajat | Yritystiedot, arvostelut, arviot, ominaisuuslistat |
| Kiinteistödatan keruu | Välittäjät, sijoittajat | Asuntojen hinnat, osoitteet, huone- ja kylpytilat, välittäjätiedot |
| Sisällön kokoaminen | Markkinointi, SEO-tiimit | Artikkelien otsikot, URL-osoitteet, julkaisupäivät, kirjoittajat |
Datan kopioiminen käsin 100 sivulta voi viedä 3–5 tuntia. ChatGPT:n luoma skripti voi tehdä saman minuuteissa — jos se toimii. Ja juuri tuo “jos” on tämän artikkelin ydin.
Gartner ennustaa, että vuoteen 2026 mennessä vähintään 80% low-code-työkalujen käyttäjistä työskentelee varsinaisten IT-osastojen ulkopuolella. “ChatGPT-verkkosivujen kaavintaa” hakevat ihmiset ovat yhä useammin ei-kehittäjiä, jotka haluavat dataa ilman että heidän tarvitsee palkata insinööriä. Heille ChatGPT on ensimmäinen pysäkki — ja Thunderbitin kaltaiset työkalut ovat se vaihtoehto, johon tarttuu, kun skripti ei suostu toimimaan.
Miten ChatGPT-verkkosivujen kaavinta toimii: vaihe vaiheelta
Tässä koko työnkulku alusta loppuun, käyttäen yrityshakemistosivua — ei mitään leikkisivustoa.
- Vaikeustaso: Keskitaso (tarvitset perustason Pythonin ajokokemusta)
- Aikaa kuluu: noin 15–30 minuuttia ensimmäiseen kaavintaan
- Tarvitset: Chrome-selaimen, Python-ympäristön (Python 3.10+), ChatGPT:n (myös ilmainen versio riittää) ja kohde-URL:n
Vaihe 1: Tarkista sivusto ja tunnista tarvittava data
Avaa kaavittava sivu Chromessa. Napsauta hiiren oikealla jotakin dataa, jonka haluat poimia (esimerkiksi yrityksen nimeä), ja valitse Tarkastele. Tämä avaa Chrome DevToolsin ja korostaa HTML-elementin.
Etsi CSS-valitsimet — esimerkiksi h2.business-name, span.phone tai a.website-link. Mitä tarkemmat valitsimet, sitä parempi ChatGPT:n lopputulos yleensä on. Kopioi myös pieni otos HTML:ää (yksi dataa sisältävä “kortti” tai “rivi”), jonka voit liittää promptiin.
Tässä vaiheessa sinulla pitäisi olla lyhyt lista kenttien nimistä (esim. business_name, phone, website_url) ja niitä vastaavista CSS-valitsimista.
Vaihe 2: Kirjoita yksityiskohtainen ChatGPT-prompti
Tässä kohtaa useimmat ohjeet epäonnistuvat — ne antavat ylimalkaisen promptin ja toivovat parasta. Hyvä kaavintaprompti sisältää kuusi osaa:
- Kieli ja kirjasto: “Kirjoita Python 3.11 -skripti käyttäen BeautifulSoup 4:ää.”
- Kohde-URL: Täsmällinen sivu, jota kaavitaan.
- CSS-valitsimet: Kullekin kentälle vaiheessa 1 löydetty valitsin.
- Tulostusmuoto: CSV, JSON tai molemmat.
- Erityisohjeet: Koodaus, virheenkäsittely, viiveet.
- HTML-ote: Liitä 20–40 riviä oikean sivun HTML:ää, jotta ChatGPT näkee rakenteen.
Tässä esimerkkiprompti (annotoitu):
You are a senior Python engineer. Write a web scraper using Python 3.11 and BeautifulSoup 4.
Target URL: https://example.com/businesses
Goal: Extract every business card on the page and return one row per business.
Fields needed (CSS selectors in parentheses):
- business_name (h2.biz-name)
- phone (span.phone-number)
- website_url (a.biz-link, href)
- rating (div.stars[data-rating])
Output: save to businesses.csv with UTF-8 encoding and a header row.
Requirements:
- Use requests with a realistic User-Agent header
- Handle missing fields gracefully (None, not crash)
- Print the number of businesses extracted at the end
- Add a 1-second delay between requests if you loop
Here is a representative HTML snippet from the page (one business card):
<PASTE 20-40 LINES OF THE ACTUAL HTML HERE>
Vinkki: HTML-otteen lisääminen on yksittäisesti suurin tarkkuutta parantava tekijä. ChatGPT ei voi avata URL-osoitetta, joten tuo otos on sille ainoa sivun todellinen lähde.
Vaihe 3: Tarkista ja testaa generoitu koodi
Älä aja ChatGPT:n koodia sokkona. Lue se ensin läpi. Kiinnitä huomiota:
- Väärin keksittyihin valitsimiin: ChatGPT saattaa keksiä CSS-luokkia, joita sivulla ei ole.
- Puuttuviin kirjastoihin: Varmista, että
pip install requests beautifulsoup4(taiplaywrightjne.) on huomioitu. - Kovakoodattuihin arvoihin: Tarkista, että URL, kenttien nimet ja tiedostopolut ovat oikein.
Luo Pythonin virtuaaliympäristö, asenna riippuvuudet ja aja skripti pienellä otoksella (yksi tai kaksi sivua). Tarkista CSV-tiedosto — täyttyvätkö sarakkeet? Onko odotetuissa kohdissa tyhjiä arvoja?
Vaihe 4: Hio jatkoprompteilla
ChatGPT loistaa iteroinnissa. Jos ensimmäinen skripti hakee vain sivun 1, kysy:
“Skripti kaapii vain ensimmäisen sivun. Voitko lisätä sivutuksen niin, että se kaapii kaikki sivut? Sivusto käyttää muotoa ?page=1, ?page=2 jne. Lopeta, kun sivu palauttaa nolla tulosta tai kun 50 sivua on käyty läpi.”
Jos kenttiä puuttuu, pyydä ChatGPT:tä lisäämään regex-varmistuksia sähköposteille tai puhelinnumeroille. Jos sivusto on JS-painotteinen, pyydä Playwright-versiota. Jokainen jatkoprompti rakentuu aiemman koodin päälle — ajattele sitä kuin pariohjelmointina todella nopean, joskin joskus ylivarmalta vaikuttavan kumppanin kanssa.
5 kopioitavaa ChatGPT-promptipohjaa verkkosivujen kaapimiseen
En ole löytänyt toista opasta, joka tarjoaisi tämän. Olen laatinut, testannut ja hionut viisi promptipohjaa eri tilanteisiin. Kopioi ne, vaihda oma URL:si ja HTML-otos, ja ChatGPT palauttaa toimivaa koodia ensimmäisellä yrityksellä — tai hyvin lähelle sitä.
Pohja 1: Listasivun kaapija (tuoteluettelot, hakemistot)
Milloin käyttää: Olet sivulla, jossa on paljon kohteita (tuotteita, yrityksiä, työpaikkoja) ja haluat yhden rivin per kohde.
You are a senior Python engineer. Write a web scraper using Python 3.11 and BeautifulSoup 4.
Target URL: [YOUR URL]
Goal: Extract every item card on the page and return one row per item.
Fields needed (CSS selectors in parentheses — derived from Inspect):
- [field_1] ([selector_1])
- [field_2] ([selector_2])
- [field_3] ([selector_3])
- [field_4] ([selector_4, attribute if needed])
Output: save to items.csv with UTF-8 encoding and a header row.
Requirements:
- Use requests with a realistic User-Agent header
- Handle missing fields gracefully (None, not crash)
- Print the number of items extracted at the end
- Add a 1-second delay between requests if you loop
Here is a representative HTML snippet from the page (one item card):
[PASTE 20-40 LINES OF THE ACTUAL HTML HERE]
Odotettu tulos: CSV-tiedosto, jossa on yksi rivi per kohde ja sarakkeet kenttänimiesi mukaisesti.
Pohja 2: Yksityiskohta-/alasivukaapija (yksittäiset tuote- tai profiilisivut)
Milloin käyttää: Sinulla on yksi sivu, jossa on paljon yksityiskohtia (tuotesivu, henkilön profiili, kiinteistökohde), ja haluat poimia kaiken yhteen jäsenneltyyn tietueeseen.
Write a Python function `scrape_detail(url)` that takes a detail page URL and returns a dict with these keys:
- [field_1]
- [field_2]
- [field_3]
- [field_4]
- [field_5]
Use BeautifulSoup. Gracefully handle any missing field (return None for it).
Include regex fallbacks for email and phone — not every page wraps them in consistent tags.
Return the dict, and also append it as one row to details.csv (create the file with header on first call).
Reference HTML snippet from a real detail page:
[PASTE 40-60 LINES OF ONE DETAIL PAGE HTML]
Odotettu tulos: Yksi dict per sivu ja kasvava CSV-tiedosto, jossa on yksi rivi per yksityiskohtainen sivu.
Pohja 3: Dynaaminen/JS-renderöity sivu (Playwright)
Milloin käyttää: Sivun sisältö latautuu JavaScriptillä (React, Angular jne.) — näet HTML-lähteessä tyhjän <div id="root"> -elementin.
Write a Python web scraper using Playwright (sync API) for a JavaScript-rendered page.
Target URL: [YOUR URL]
Goal: extract all result cards that appear after the page finishes loading dynamically.
Requirements:
- Use `page.wait_for_selector('[YOUR CARD SELECTOR]', timeout=15000)` to wait for content
- Scroll to the bottom of the page twice with a 1-second pause between scrolls to trigger lazy-loaded results
- For each card extract: [field_1], [field_2], [field_3], [field_4]
- Save to results.json as a list of dicts, UTF-8
- Run headless=False first (so I can watch it) and add a 2-second pause at the end before closing
Do not use requests or BeautifulSoup — Playwright only.
Odotettu tulos: JSON-tiedosto, jossa on yksi objekti per tuloskortti ja kaikki kentät täytettyinä.
Pohja 4: Sivutuslogiikka (monisivuinen kaavinta)
Milloin käyttää: Sinulla on jo toimiva yhden sivun kaavinta ja haluat kiertää kaikki sivut.
Take the existing BeautifulSoup scraper below and wrap it in a pagination loop that collects ALL pages, not just page 1.
The site uses URL-param pagination: ?page=1, ?page=2, etc.
Stop condition: when the current page yields zero items, OR when the response status is not 200, OR when you hit page 100 (safety cap).
Add:
- A 1.5-second polite delay between page requests
- A try/except around each request that logs the error and continues
- A progress print every 5 pages: "Page 15 → 300 items so far"
- Final save to items_all.csv
Existing scraper:
[PASTE YOUR CURRENT SINGLE-PAGE SCRAPER HERE]
Odotettu tulos: Yksi CSV, jossa on kaikki kohteet kaikilta sivuilta, sekä konsolissa näkyvä eteneminen.
Pohja 5: Datan puhdistus ja jäsentely (“liitä HTML” -lähestymistapa)
Milloin käyttää: Sinulla on jo raakaa HTML:ää (curlista, selaimesta tai tiedostosta) ja haluat vain ChatGPT:n jäsentävän sen siistiksi rakenteiseksi dataksi — ilman koodia.
I will paste raw HTML from a product detail page. You do not need to write code — just return the extracted data as a JSON object matching this schema:
{
"name": string,
"brand": string,
"price": number,
"currency": string (ISO 4217),
"availability": "in_stock" | "out_of_stock" | "preorder" | "unknown",
"rating": number (0-5) or null,
"review_count": integer or null,
"description": string (max 500 chars),
"key_specs": [{"name": string, "value": string}]
}
Use null for anything you genuinely cannot find — do NOT hallucinate.
Return ONLY the JSON object, no prose, no markdown fence.
HTML:
[PASTE THE FULL PAGE HTML HERE]
Odotettu tulos: Yksi JSON-objekti, joka on suoraan valmis vietäväksi taulukkoon tai tietokantaan.
Missä ChatGPT-verkkosivujen kaavinta pettää: rehelliset rajoitukset
Useimmat oppaat sivuuttavat tämän osuuden täysin. Olen ehtinyt debugata tarpeeksi monia ChatGPT:n luomia kaapijoita tietääkseni tarkalleen, missä ne hajoavat — ja 2025 Stack Overflow -kysely vahvistaa, että vain 3% kehittäjistä “luottaa vahvasti” AI:n tuotokseen. Tässä syyt.
JavaScript-painotteiset ja dynaamiset sivustot
Yli 98,8% verkkosivustoista käyttää JavaScriptiä selainpuolen toiminnallisuuteen. Pelkästään React toimii nyt 7,2 prosentissa kaikista sivustoista — noin 67% kasvu yhdessä vuodessa. Kun pyydät ChatGPT:tä “kaapimaan tämän sivun”, sen oletustulos on requests + BeautifulSoup -skripti. Se hakee raakaa HTML:ää — ja React- tai Angular-sivulla raakaa HTML:ää on usein vain tyhjä <div id="root">. Oikea data latautuu vasta JavaScriptin ajon jälkeen, mitä requests ei koskaan tee.
ChatGPT voi generoida Selenium- tai Playwright-koodia, jos pyydät sitä, mutta nuo skriptit ovat hitaampia (Playwrightin keskimääräinen latausaika on 2,9 sekuntia per sivu verrattuna alle sekuntiin staattisissa pyynnöissä) ja vaativat usein säätöä odotusehtoihin, scrollauskäynnistyksiin ja elementtivalitsimiin, jotka ChatGPT arvaa välillä väärin.
Bottisuojaus ja CAPTCHAT
Cloudflare suojaa arviolta 20% kaikista sivustoista, ja palvelut kuten DataDome väittävät 99,9% bottitunnistustarkkuutta. Pelkkä requests.get()-pyyntö Pythonin user-agentilla on suoraan sanottuna oppikirjaesimerkki botin tunnisteesta. ChatGPT:n generoimissa skripteissä ei ole proxy-kierrätystä, TLS-fingerprin tin peittämistä, evästeiden hallintaa eikä CAPTCHA-ratkaisua. Kaikilla kaupallisilla sivustoilla, joissa on edes perustason suojaus, skripti yleensä estetään jo ensimmäisessä pyynnössä.
Sivutus ja laajamittainen kaavinta
ChatGPT:n oletussivutuslooppi kiertää ?page=N-parametria tai klikkaa .next-painiketta. Oikeissa sivustoissa käytetään usein cursor-pohjaista sivutusta, loputonta scrollausta IntersectionObserverin kautta tai GraphQL-kutsuja. ChatGPT ei osaa generoida niihin oikeaa koodia, ellet näytä sille täsmällistä verkkopyyntöä — ja silloinkin loopit ovat hauraita. Oxylabsin ChatGPT-kaavintaopas ja Decodon vuoden 2026 opas nostavat molemmat sivutuksen esiin ykköskohteena, jossa esimerkkikaapijat tarvitsevat toisen tai kolmannen promptin.
Jatkuva ja ajastettu kaavinta
ChatGPT antaa sinulle kertaluonteisen skriptin. Ei ajastinta, ei muutosten tunnistusta, ei hälytyksiä. Jos haluat “tarkista kilpailijan hinnat joka aamu”, sinun täytyy opetella cron, Airflow tai Lambda — mitään näistä ChatGPT ei kata ensivastauksessaan. Liiketoimintakäyttäjille, jotka tarvitsevat toistuvaa dataa, tämä on umpikuja.
Nopeus- ja kustannusongelma
JS-painotteisilla sivuilla todelliset aikasarjat Seleniumilla tai Playwrightilla ovat ihanteellisissakin olosuhteissa 3–10 sekuntia sivua kohden, ja 40–60 sekuntia sivua kohden uusintayrityksillä ja bottisuojausten odotuksilla — turhauttava asia, jota raportoidaan usein foorumeilla ja ohjeissa.
Jos käytät ChatGPT API:a HTML:n jäsentämiseen (eli “liitä HTML” -lähestymistapaa laajassa mittakaavassa), token-kustannukset kasvavat nopeasti. Nykyisellä GPT-4o-hinnoittelulla (~$2.50/M input tokenia, $10/M output tokenia) 1 000 tuotesivun jäsentäminen maksaa tokenien osalta noin $95–$105. GPT-4o minillä sama volyymi on noin $6.50. Kun mukaan lisätään proxy-kulut ($3–10/GB), paikallisen crawlerin ylläpito ja kehittäjän työaika, “käytä vain ChatGPT:tä” alkaa näyttää kalliilta.
| Mittakaava | GPT-4o token-kustannus (arvio) | GPT-4o Mini token-kustannus (arvio) |
|---|---|---|
| 100 sivua | ~$9.55 | ~$0.65 |
| 1 000 sivua | ~$95.50 | ~$6.50 |
| 10 000 sivua | ~$955 | ~$65 |
Arviot perustuvat noin 50K input tokeniin ja 2K output tokeniin per sivu. Todelliset kustannukset vaihtelevat sivun koon ja tulosteen monimutkaisuuden mukaan.
ChatGPT-verkkosivujen kaavinta vs. no-code AI -kaapijat vs. oma koodi: päätösmalli
Kaikki kaavintatyöt eivät vaadi samaa työkalua. Tätä päätösmallia olen käyttänyt Thunderbitissä testattuani kaikkia kolmea lähestymistapaa oikeissa projekteissa.
Lyhyesti: käytä ChatGPT:tä nopeisiin kertaluonteisiin skripteihin ja oppimiseen. Käytä no-code-työkalua kuten Thunderbitia tuotantotasoiseen, toistuvaan tai ei-kehittäjien kaavintaan. Käytä omaa koodia + proxya yritystason projekteissa, joissa tarvitset täyden hallinnan.
No-code-vaihtoehto: miten Thunderbit hoitaa verkkosivujen kaavinnan ilman koodia
Lukijoille, jotka eivät koodaa — tai jotka ovat jo polttaneet tarpeeksi iltoja ChatGPT-skriptien debuggaamiseen — on olemassa täysin toinen polku. ChatGPT generoi koodin. Thunderbit ohittaa sen.
Työskentelen Thunderbitin tiimissä, joten sanon tämän suoraan. Mutta uskon aidosti, että tämä on useimmille liiketoimintakäyttäjille nopein reitti. Tässä, miltä työnkulku näyttää.
AI Suggest Fields: tunnista datarakenne automaattisesti millä tahansa sivulla
Avaa mikä tahansa verkkosivu, klikkaa Thunderbit Chrome -laajennusta ja paina “AI Suggest Fields”. Thunderbitin AI lukee renderöidyn sivun — myös JS:n kautta ladatun sisällön — ja ehdottaa sarakenimiä sekä datatyyppejä. Ei Inspectiä, ei CSS-valitsimia, ei promptien hiomista. Sitten vain klikkaat “Scrape”.
Vertaa tätä ChatGPT-lähestymistapaan: avaa DevTools, etsi valitsimet, kirjoita prompti, tarkista koodi, asenna riippuvuudet, aja skripti, tarkista tulos, toista. Thunderbit tiivistää kaiken tämän kahteen klikkaukseen.
Alisivujen kaavinta rikastaa listaukset automaattisesti
Kun olet kaapinut listasivun, klikkaa “Scrape Subpages”. Thunderbit käy jokaisen rivin yksityiskohtasivulla ja lisää olemassa olevaan taulukkoosi lisäkenttiä — kuten sähköpostin, puhelinnumeron tai bio-tekstin. ChatGPT:n kanssa tarvitsisit erillisen skriptin, loopin, virheenkäsittelyn jokaiselle alisivulle ja tavan yhdistää data. Thunderbit hoitaa kaiken yhdellä kertaa.
Vie minne haluat: Google Sheets, Airtable, Notion, Excel
Thunderbit tarjoaa ilmaisen viennin yhdellä klikkauksella Google Sheetsiin, Airtableen, Notioniin ja Exceliin — ei pelkkään CSV:hen. ChatGPT:n luoma skripti kirjoittaa yleensä paikalliseen CSV- tai JSON-tiedostoon. Datan puskuuttaminen Sheetsiin tai Airtableen vaatii lisäkirjastoja ja autentikointikoodia.
Pilvikaavinta vs. selaimessa tapahtuva kaavinta
Thunderbit tarjoaa kaksi tilaa. Pilvikaavinta toimii Thunderbitin palvelimilla, käsittelee noin 50 sivua erässä ja on nopea julkisille sivustoille. Selaimessa tapahtuva kaavinta käyttää kirjautunutta istuntoasi portinvartijoilla tai kirjautumista vaativilla sivuilla. ChatGPT:n kanssa sinun täytyisi konfiguroida proxyt, evästeet ja istunnonhallinta koodissa — ja jokainen näistä on oma debuggausseikkailunsa.
Taustalla Thunderbit käyttää useita AI-malleja (mukaan lukien ChatGPT, Gemini, Claude ja muita) sivujen visuaaliseen lukemiseen ja poimittavan datan tunnistamiseen. Tietyllä tavalla Thunderbit käyttää jo ChatGPT:tä — sekä kolmea muuta huippumallia — ja hoitaa puolestasi sivun haun, renderöinnin, bottisuojaukset, sivutuksen ja viennin.
Käytännön käyttötapaukset: myynti, verkkokauppa ja kiinteistöt
Useimmat ChatGPT-kaavintaoppaat käyttävät “Books to Scrape” -sivustoa tai muuta leikkisivua. Tässä on, miltä oikea liiketoimintakaavinta näyttää — sekä ChatGPT-lähestymistavalla että Thunderbitin oikopolulla.
Myyntiliidien poiminta yrityshakemistoista
Tilanne: Tarvitset nimiä, sähköposteja ja puhelinnumeroita yrityshakemistosta outbound-myyntiä varten.
ChatGPT-lähestymistapa: Käytä pohjaa 1 (listasivu) hakemiston kaapimiseen ja pohjaa 2 (yksityiskohtasivu) käydäksesi jokaisen profiilin läpi yhteystietojen saamiseksi. Tarvitset regex-varmistukset sähköposteille ja puhelimille, kohtuullisen viiveen ja deduplikoinnin. Varaudu 30–60 minuutin asetuksiin ja debuggaamiseen.
Thunderbit-lähestymistapa: Avaa hakemisto, klikkaa “AI Suggest Fields”, kaavi lista ja klikkaa sitten “Scrape Subpages” poimiaksesi yhteystiedot jokaisesta profiilista. Vie CRM-yhteensopivaan taulukkoon. Kokonaisaika: noin 3 minuuttia. Thunderbitin sisäänrakennetut sähköposti- ja puhelinpoimurit hoitavat jäsentämisen automaattisesti.
Verkkokaupan kilpailijahintojen seuranta
Tilanne: Haluat seurata kilpailijoiden tuotteiden hintoja, saatavuutta ja SKU-tietoja viikoittain.
ChatGPT-lähestymistapa: Luo kaapija pohjalla 1, lisää sivutus pohjasta 4 ja aja se manuaalisesti joka viikko. Jos kilpailija muuttaa sivun rakennetta, valitsimet rikkoutuvat ja aloitat alusta.
Thunderbit-lähestymistapa: Tee kaapuri kerran, käytä Thunderbitin ajastettua pilvikaavintaa päivittäin tai viikoittain ja vie tulokset Google Sheetsiin. AI lukee sivurakenteen jokaisella ajokerralla uudelleen, joten ulkoasun muutokset eivät riko mitään. Lisätietoja tästä työnkulusta löydät hintakaavintaoppaastamme.
Kiinteistöilmoitusten datan keruu
Tilanne: Tarvitset kohteiden hinnat, osoitteet, huone- ja kylpytilat sekä välittäjätiedot ilmoitussivustolta.
ChatGPT-lähestymistapa: Useimmat kiinteistösivustot (Zillow-tyyliset) ovat React-pohjaisia SPA-sovelluksia, joissa on aggressiiviset bottisuojaukset. requests + BeautifulSoup -skripti palauttaa tyhjän sivun. Playwright-versio joutuu rajoitusten kohteeksi muutamassa minuutissa.
Thunderbit-lähestymistapa: Pilvikaavinta ja AI-kenttien tunnistus hoitavat JavaScript-renderöinnin ja mukautuvat ulkoasun muutoksiin. Kiinteistöportaalit uudistavat ulkoasuaan usein — Thunderbitin AI lukee sivun puhtaasti joka kerta, joten valitsimia ei tarvitse päivittää. Katso kiinteistöjen verkkokaavintaopas vaiheittaista läpikäyntiä varten.
Yhden kerran kaavintojen yli: ChatGPT API -putket vs. Thunderbit Extract API
Jos rakennat kaavintaa tuotteeseen tai dataputkeen, kysymys muuttuu: ChatGPT API HTML:n jäsentämiseen vai tarkoitukseen rakennettu kaavinta-API?
ChatGPT API:n käyttäminen HTML:n jäsentämiseen
Lähestymistapa on tämä: käytä paikallista crawleria (requests, Playwright) hakeaksesi HTML:n ja lähetä se sitten OpenAI:n APIin jäsenneltyä JSON:ia varten. Tämä on “liitä HTML” -kikka laajassa mittakaavassa.
Se toimii. Kustannukset ja ylläpito ovat kuitenkin todellisia. GPT-4o-hinnoilla 1 000 sivua maksaa noin $95 tokeneina. Sinä hallitset crawlerin, proxyt, promptien optimoinnin ja tulosskeeman. Kun sivusto muuttuu, prompti hajoaa ja sinun täytyy säätää sitä uudelleen.
Thunderbit Extract API: rakennettu jäsennellylle verkkodatalle
Thunderbitin Open API tarjoaa toisenlaisen mallin. Määrität JSON Scheman, lähetät URL:n POST-pyynnöllä ja saat takaisin jäsenneltyä dataa. JavaScript-renderöinti ja bottisuojaukset ovat sisäänrakennettuina. Eräajo tukee jopa 100 URL-osoitetta pyynnössä.
Tiimeille, jotka haluavat verkkodataa palveluna ilman kaavintaputken ylläpitoa, Thunderbitin API on lyhyempi tie tuotantoon. Katso Thunderbitin hinnoittelu saadaksesi tiedot krediittikustannuksista per poiminta.
Vinkkejä parempiin tuloksiin ChatGPT-verkkosivujen kaavinnassa
Muutama asia, jotka olen oppinut kantapään kautta.
Ole tarkka prompteissa. Sisällytä aina: ohjelmointikieli, kirjasto, kohde-URL, CSS-valitsimet, tulostusmuoto ja reunatapojen ohjeet. Epämääräiset promptit tuottavat epämääräistä koodia.
Liitä HTML-otoksia, älä pelkkiä URL:eja. ChatGPT ei voi avata URL:ia. HTML-otos on sen ainoa sivurakenteen lähde. Jo 20–40 riviä yhden datakortin HTML:ää parantaa tarkkuutta selvästi.
Pyydä ChatGPT:tä linttaamaan ja optimoimaan. Kun skripti on generoitu, kysy: “Tarkista tämä koodi virheiden varalta, lisää virheenkäsittely ja optimoi suorituskyky.” Se huomaa omat mokansa yllättävän hyvin toisella kierroksella.
Testaa aina ensin pienellä otoksella. Aja skripti 1–2 sivulla ennen skaalauksen aloittamista. Rikkoutuneen valitsimen löytäminen sivulla 1 säästää sinua huomaamasta sitä 500 epäonnistuneen pyynnön jälkeen.
Iteroi, älä aloita alusta. Jos ensimmäinen skripti on 80-prosenttisesti oikein, liitä tulos takaisin ja pyydä ChatGPT:tä korjaamaan jäljellä oleva 20%. Iteratiivinen keskustelu on se paikka, jossa ChatGPT on vahvimmillaan.
Eettiset ja juridiset näkökohdat ChatGPT-verkkosivujen kaavinnassa
Myös lain puoli on tärkeä, joten tässä tiivis versio.
Nykyisen Yhdysvaltain oikeuskäytännön mukaan julkisesti saatavilla olevan datan kaavinta ei ole liittovaltion tietokonemurto. hiQ v. LinkedIn -ratkaisu vahvisti tämän, ja Meta v. Bright Data -ratkaisu (tammikuu 2024) vahvisti samaa — tuomari katsoi, että julkisen, uloskirjautuneen Facebook- ja Instagram-datan kaavinta ei rikkonut Metan käyttöehtoja, koska ilman tiliä vieraileva ei ole “käyttäjä”, jota nuo ehdot sitovat.
Tästä huolimatta portinvartioidun tai todennetun datan kaapiminen tai sivuston käyttöehtojen rikkominen niiden hyväksymisen jälkeen voi silti aiheuttaa juridisen riskin. Ja kun kaavit henkilötietoja (sähköposteja, puhelinnumeroita), EU:n ja Kalifornian tietosuojalait (GDPR, CCPA) pätevät riippumatta siitä, mistä data on peräisin.
Tarkista aina robots.txt ja käyttöehdot ennen kaavintaa. Noudata kohtuullisia pyyntövälejä. Käsittele henkilötietoja vastuullisesti. Ja käytä työkaluja, joissa on sisäänrakennettuja vaatimustenmukaisuustoimintoja — Thunderbit esimerkiksi kunnioittaa robots.txt-tiedostoa ja tarjoaa vastuulliset datakäytännöt oletuksena. Syvempään katsaukseen katso verkkokaavinnan juridinen opas.
Milloin käyttää ChatGPT:tä verkkosivujen kaavintaan — ja milloin valita parempi työkalu
ChatGPT on aidosti tehokas työkalu verkkosivujen kaavintaan — se tuottaa nopeita prototyyppejä ja auttaa ymmärtämään, miten kaavinta toimii kulissien takana. Nopeat kertaluonteiset skriptit yksinkertaisille staattisille sivuille ovat sille erittäin vahva käyttökohde.
Mutta tuotantotasoiseen, jatkuvaan tai laajamittaiseen kaavintaan — erityisesti jos et ole kehittäjä — tarkoitukseen rakennettu työkalu kuten Thunderbit on nopeampi, luotettavampi ja vaatii nolla ylläpitoa. Ja yritystason insinööriprojekteihin oma koodi proxy-infrastruktuurin kanssa antaa täyden hallinnan.
Minun päätöspikaversioni:
- Nopea kertaluonteinen työ, oppiminen tai prototyyppaus: ChatGPT + Python
- Liiketoimintakäyttäjät, no-code, toistuvat kaavinnat: Thunderbit Chrome -laajennus
- Kehittäjäputket, jäsennelty API-käyttö: Thunderbit API
- Yritystaso, täysi hallinta: Oma koodi + proxyt + orkestrointi
Jos haluat kokeilla no-code-polkuja, Thunderbit tarjoaa ilmaisen tason, joten voit testata pienessä mittakaavassa ja nähdä tulokset itse. Ja jos haluat nähdä työkalun toiminnassa, meidän YouTube-kanavallamme on läpikäyntejä eri käyttötapauksiin.
<BottomCard url={"https://thunderbit.com/"} title={"Kokeile Thunderbitia AI-verkkokaavintaan"} />
Usein kysytyt kysymykset
Voiko ChatGPT oikeasti kaapia verkkosivustoja itsenäisesti?
Ei. ChatGPT generoi kaavintakoodia tai jäsentää sinulle annetun HTML:n, mutta se ei itse avaa URL-osoitteita, hae sivuja tai suorita skriptejä. Myös ChatGPT Atlas (sisäänrakennettu selain, julkaistu lokakuussa 2025) on keskusteleva selausapuri — se voi tiivistää sivun, mutta ei anna sinulle valmista CSV:tä, jossa on 500 riviä.
Onko ChatGPT-verkkosivujen kaavinta ilmaista?
ChatGPT:n ilmaisella tasolla voi generoida kaavintakoodia ilman kustannuksia. Koodin ajaminen vaatii kuitenkin Pythonin ja kirjastot (ilmaisia), ja jos käytät OpenAI API:a HTML:n jäsentämiseen laajassa mittakaavassa, maksat tokeneista — noin $6.50 per 1 000 sivua GPT-4o minillä tai noin $95 GPT-4o:lla. Proxyt ja infrastruktuuri tulevat lisäksi.
Mikä on paras Python-kirjasto ChatGPT:n luomille verkkokaapijoille?
Staattisille HTML-sivuille BeautifulSoup yhdessä requests-kirjaston kanssa on yksinkertaisin ja nopein valinta. JavaScript-renderöidyille sivuille Playwright on moderni vaihtoehto — se on nopeampi kuin Selenium (keskimäärin noin 2,9 sekuntia sivun lataukseen vs. 4,8 sekuntia) ja sen API on siistimpi. Selenium on hyödyllinen lähinnä vanhoissa projekteissa.
Voinko käyttää ChatGPT:tä datan kaapimiseen ilman koodausta?
En suoraan. ChatGPT generoi koodin, joka sinun täytyy silti ajaa. Jos haluat aidosti no-code-vaihtoehdon, Thunderbit -työkalulla voit kaapia kahdella klikkauksella — ei Pythonia, ei terminaalia, ei debuggausta. Saat AI:n ehdottamat kentät, yhden klikkauksen viennin Google Sheetsiin tai Airtableen sekä sisäänrakennetun tuen JS-renderöinnille ja bottisuojauksille.
Onko verkkosivujen kaapiminen ChatGPT:n luomalla koodilla laillista?
Julkisesti saatavilla olevan, uloskirjautuneen datan kaavinta on yleensä laillista nykyisen Yhdysvaltain oikeuskäytännön mukaan (hiQ v. LinkedIn, Meta v. Bright Data). Portinvartioidun sisällön kaapiminen, sivuston käyttöehtojen rikkominen tai henkilötietojen (sähköpostit, puhelinnumerot) huolimaton käsittely voi kuitenkin aiheuttaa juridisen riskin sopimusoikeuden tai yksityisyydensuojalakien, kuten GDPR:n ja CCPA:n, perusteella. Tarkista aina robots.txt ja sivuston käyttöehdot ennen kaapimista.
Lue lisää
- Parhaat automaattiset verkkokaavintatyökalut
- Näin kaivat verkkosivuja Pythonilla
- Kaavi data verkkosivulta Exceliin
- Paras verkkodatan kaavintaohjelmisto
- Näin hallitset JavaScript-crawlausta
