Artikkelin poimija, joka ei avaa selainta — ja silti siivosi testisivuni

Suurin osa tänä vuonna huomiota saaneista scraping-työkaluista haluaa pyörittää selainta. trafilatura ei halua. Se on puhtaasti Pythonilla toimiva kirjasto, joka lukee staattista HTML:ää, tunnistaa, mitkä osiot ovat itse artikkelia, ja hylkää loput. Juuri tämä rajattu tehtävä — pääsisällön poiminta — on koko jutun ydin, ja sitä kirjasto on tehnyt jo kauan ennen kuin kukaan puhui ”LLM-valmiista markdownista”.

Ajoin version 2.1.0 läpi ennalta määrätyn testiaineiston Python 3.14:llä, ja yksi artikkelikoe jäi erityisesti mieleen. Kääritin oikean tekstin tavalliseen sivun roinaan — kirjautumispyyntöön, ”Tilaa nyt” -huomautukseen, navigointilinkkeihin ja tekijänoikeusalatunnisteeseen — ja trafilatura palautti otsikon, kaikki kolme kappaletta, tekijän ja päivämäärän, samalla kun kaikki nuo vakiomaiset häiriötekijät katosivat. Ei selainta, ei sivukohtaista sääntöä, yksi funktiokutsu. Yksi mutta kyllä löytyy, ja se tulee esiin heti kun pyydät työkalulta jotakin jäsenneltyä. Palaan siihen alempana (se on suunnitteluratkaisu, ei virhe).

Mikä trafilatura on, ja mikä oletus kannattaa hylätä

Virallinen yhden rivin kuvaus sanoo sen olevan ”Python- ja komentorivityökalu tekstin ja metatiedon keräämiseen verkosta: crawling, scraping, extraction”, ja tulostusmuotoina CSV, JSON, HTML, Markdown, TXT tai XML. Kuvaus on laaja, mutta se vähättelee sitä osaa, joka oikeasti erottaa työkalun muista. Arvo ei ole crawl-apureissa eikä kuudessa ulostulomuodossa. Arvo on sisällön poiminnassa: HTML-dokumentti sisään, pääartikkelin teksti ulos, sivun ylimääräinen kehys pois.

Tässä on hyvä ajatusmalli, koska se selittää sekä vahvuuden että rajan yhdellä kertaa. Useimmat sivuille kohdistettavat scraperit ovat valitsinlähtöisiä. Sanot niille ”nouda elementti, jonka luokka on product-price”, ja ne palauttavat sen, mitä kyseisessä osoitteessa on. trafilatura toimii toisin päin. Se lukee koko dokumentin ja päättää, mitkä lohkot ovat artikkelia ja mitkä ovat täytemateriaalia, käyttäen sisällön heuristiikkaa itse kirjoittamasi valitsimen sijaan. Siksi se ei tarvitse lainkaan sivukohtaista konfiguraatiota siivotakseen sivun, jota se ei ole koskaan nähnyt. Juuri siksi se ei myöskään pysty palauttamaan jäsenneltyä katalogia: ei ole skeemaa, ei kenttäkarttaa, vain arvio siitä, mikä on sisältöä. Se on poimija, ei parsija, jota osoitat täsmällisiin kenttiin.

Se on myös aidosti kevyt. Pelkkä Python, ei headless-selainta, ei chromium-binaaria väijymässä välimuistissasi, ei Playwright-asennusta odottamassa ensimmäistä käynnistystä. Tämä kuulostaa pieneltä yksityiskohdalta, kunnes ajat poimintaa tuhansien URL-osoitteiden yli ja jokainen megatavu riippuvuuksia sekä jokainen aliprosessi on jotain, jota sinun pitää operoida. Kyseessä on suunnilleen 6,26k tähden projekti tilanteessa 2026-07-09 (adbar/trafilatura) — paljon pienempi repo kuin selaimeen ja crawlaukseen nojaavat kehykset, joiden kanssa se usein niputetaan. Tämä kertoo sen laajuudesta, ei ole moite sen laadulle.

Asennus on lyhyt osio, ja juuri siksi se on arvostelu

Asennus on yhden rivin juttu, eikä siitä tarvitse varoittaa mitään. Se on jo itsessään mainitsemisen arvoista. pip install trafilatura uudessa virtuaaliympäristössä toi Python 3.14:lle yhden siistin pakettipuun — ei selainta ladattavaksi, ei jälkiasennusvaihetta, ei transitiivisten riippuvuuksien seinää kiivettäväksi. Olen arvioinut tarpeeksi näitä kirjastoja odottaakseni aina sitä toista kenkää: ensimmäisen ajon yhteydessä paljastuva 150 MB:n selainpaketti, natiivi laajennus joka ei käänny, tai ylimääräinen [fetchers]-ryhmä, josta kukaan ei kertonut. trafilaturan kohdalla sitä toista kenkää ei kuulunut.

Pipin minulle antama versio (2.1.0) vastaa nykyistä julkaisua, joka ilmestyi 2026-06-07, joten alla olevissa luvuissa ei ole ”testasit vanhaa versiota” -tähtiä. Näin ei aina ole tässä kategoriassa — moni raskaampi työkalu oli jo yhden pääversion jäljessä siinä vaiheessa, kun ajoin niitä. Tässä testattu buildi ja tarjolla oleva buildi ovat sama asia.

Käytännössä: mitä poimija oikeasti palautti

Ajoin trafilaturan fixture-aineistoa vastaan niin, että osuin sekä sen vahvuusalueelle että sen rajaan. Artikkelitesti ratkaisi oman tulkintani työkalusta.

Otinkin paikallisen artikkelifixturen ja hautasin oikean sisällön meteliin — kirjautumispyynnön, ”Tilaa”-kehotteen, navigointilinkit ja tekijänoikeusalatunnisteen, juuri sellaiseen täytemateriaaliin, jonka naiivi scraper nappaa mukaan itse tekstin ohella. trafilatura palautti otsikon sekä kaikki kolme kolmesta kappaleesta, ja jokainen yksittäinen täytemerkki — Login, Subscribe, Copyright — puuttui tuloksesta. Tekstin lisäksi se poimi sivun metadatasta oikein tekijän ja päivämäärän. Tulos tuli ulos yhdestä kutsusta muodossa .txt, .md ja .json.

Tuo usean muodon yksityiskohta ansaitsee pienen pysähdyksen. Yksi poiminta tuotti puhdasta tekstiä, Markdownia ja JSONia. Markdown-polku on juuri se ”LLM-valmis teksti” -vaihe, jota kaikki nyt hakevat: syötä sotkuinen sivu sisään, saat siistin proosan säilytetyllä rakenteella, ja voit antaa sen mallille. trafilatura tekee tämän ilman selainta missään vaiheessa, mikä on huomattavasti rauhallisempi tapa päästä samaan lopputulokseen kuin selainta pyörittävät työkalut, jotka käynnistävät koko renderöintipinon saman tuloksen vuoksi.

Sitten julkinen tarkistus. Kohdistin sen elävään tuotesivuun — Books to Scrape -tuotesivuun — ja tuloksena oli 1 324 merkkiä puhdasta tekstiä sekä Markdownia: kuvausteksti luettavassa muodossa, ilman sivun ylimääräistä kehystä. Ja kun syötin sille sivun, joka vastasi HTTP 500 -virheellä, fetch_url palautti Nonein eikä heittänyt poikkeusta. Ei kaatumista, ei pinon jälkeä selvitettäväksi. Juuri tuo tylsän- mutta-oikeanlainen virhekäytös on sitä, mitä haluat valvomattomasti ajettavalta ajastetulta prosessilta.

Rajoitteet

Niitä on kolme, ja jokainen kaventaa sitä, mihin työkalu sopii.

Ensimmäinen ja tärkein: trafilatura on sisällönpoimija, ei jäsennelty scraper. Ajoin sen 12 tuotteen katalogifixturen läpi. Se palautti kaikki 12 tuotenimeä — tekstinä — ja täsmälleen 0 jäsenneltyä riviä (478 merkkiä litteää tekstiä). Nimet ja hinnat ovat mukana tuloksessa; ne eivät vain ole kenttiä. Jos tarvitset muotoa [{name, price, rating}, …], tämä on väärä työkalu, eikä mikään asetusvalitsin muuta sitä. Se on suunnittelupäätös siitä, mihin työkalua käytetään, ei virhe, josta pitäisi tehdä tiketti.

Toinen: se ei renderöi JavaScriptiä. Se käsittelee staattista HTML:ää. Kun osoitat sen asiakaspuolella renderöityyn yksisivuiseen sovellukseen, saat sen, minkä palvelin ehti lähettää ennen kuin JavaScript ehti pyöriä — ja usein se ei ole juuri mitään käyttökelpoista. Yhdistä se erilliseen renderöijään, jos kohteesi ovat JavaScript-painotteisia — trafilatura ei tee tätä puolta puolestasi, eikä väitäkään tekevänsä.

Kolmas rajoite koskee omaa näyttöäni. Yllä oleva julkinen poimintatesti nojasi tuotekuvauslohkoon, ei oikeaan uutisartikkeliin, koska käyttämäni julkinen hiekkalaatikko (toscrape-suku) koostuu katalogeista eikä sisällä uutissivuja. Puhdas artikkelin siivoustulos on kontrolloidusta paikallisesta fixturestä. Luotan tulokseen — täyteaineen poistuminen on yksiselitteistä ja toistettavaa — mutta tuotesivu ei ole todiste toimitustason artikkelipoiminnasta, joten en väitä sitä sellaiseksi.

Rakoa kaventaakseni ajoin lisäksi erillisen, tarkoituksella pisteyttämättömän demon kahdella oikealla artikkelisivulla lukemalla tallennettuja fixtureitä, jotta ajo olisi deterministinen. Wikipedia-artikkelissa ”Web scraping” trafilatura pudotti rungon 230 049 tavusta raakaa HTML:ää 26 673 tavuun poimittua sisältöä (0,116 rungon/raakasisällön suhde), ja kaikki neljä tarkistettua sivukehysmerkkiä — ”Jump to content,” ”Privacy policy,” ”Powered by MediaWiki,” ”This page was last edited” — katosivat. Arkistoidussa Wikinews-artikkelissa se meni 79 716 tavusta 2 200 tavuun (0,028 suhde), ja kaikki viisi tarkistettua merkkiä poistuivat. Otsikko, päivämäärä ja isäntänimi palautuivat molemmissa täytettyinä; tekijä ja sivuston nimi palautuivat molemmissa nullina, ja raportoin nuo puutteet mieluummin kuin peittelen ne. Kaksi asiaa kannattaa pitää erillään: tuo tavusuhde mittaa, kuinka paljon merkintää ja sivukehystä siivottiin pois, ei poiminnan tarkkuutta, ja molemmat sivut ovat samasta MediaWiki-perheestä, joten tämä on demo oikeilla artikkeleilla, ei edustava aineisto.

Tarkkuudesta sanon mieluummin ulkoiseen evidenssiin nojaamalla kuin teeskentelen, että mittasin sen itse. trafilaturalla on oma arviointisivu, ja se raportoi avoimen lähdekoodin kärki-F1:n (noin 0,945) ScrapingHubin article-extraction-benchmarkissä verrattuna vertailijoihin kuten readability-lxml (~0,887). Kaksi rehellistä tarkennusta tuohon lukuun: se tulee kyseisestä benchmarkista, ei omasta testistäni, ja ilmoitettu ~0,945 liittyy vanhempaan 0.5.1-linjaan lähteessä, ei ajamaani 2.1.0-versioon. Ota se ulkoisena näyttönä siitä, miksi työkalulla on hyvä maine poiminnassa, ei tämän arvion omana mittauksena.

Plussat ja miinukset

Plussat:

• Siistein artikkelipoiminta omassa testiaineistossani — otsikko sekä kaikki 3/3 kappaleesta, ja jokainen täytemerkki (Login/Subscribe/Copyright) poistui.
• Poimi tekijän ja päivämäärän metatiedot oikein tekstin mukana.
• Yksi kutsu tuotti useita muotoja: txt, Markdown ja JSON — Markdown on aito LLM-valmis tekstivaihe.
• Kevyt, puhtaasti Pythonilla toteutettu asennus — ei selainta, ei binäärilatausta, ei riippuvuusseinää.
• Arvokas virhekäytös: fetch_url palauttaa HTTP 500:ssa Nonein eikä heitä poikkeusta.
• Testattu versio vastaa nykyistä julkaisua (2.1.0) — ei versioviivettä.
• Apache-2.0-lisenssi — salliva ja kaupallisesti ystävällinen.

Miinukset:

• Ei jäsennelty scraper: katalogitesti palautti 12 nimeä tekstinä ja 0 tyypitettyä riviä. Ei skeemaa, ei kenttiä.
• Ei JavaScript-renderöintiä — vain staattinen HTML; tarvitsee erillisen renderöijän asiakaspuolen sivuille.
• Metatiedot ovat joillakin sivuilla vajaita: tekijä ja sivuston nimi palautuivat nullina molemmissa oikean artikkelin fixtureissä.
• Julkinen tekstitesti perustui tuotekuvauslohkoon, ei oikeaan uutisartikkeliin.
• Sisäänrakennettua crawl/sitemap-spideria eikä CSV/XML-ulostuloja testattu tässä ajossa, joten en väitä niistä mitään.

Kenelle tämä sopii — ja kenen kannattaa ohittaa

trafilatura on suunnattu juuri sille ihmiselle, jonka ongelma on: ”Minulla on URL-osoitteita ja haluan siistin artikkelitekstin ilman navigaatiopalkkia, evästebanneria ja uutiskirjeen tyrkytystä.” Tekstikorpuksen rakentaminen, sivujen syöttäminen mallille, luettavan sisällön arkistointi, NLP-analyysi verkkoartikkeleista — siinä on tämän työkalun paikka, ja se on siinä todella hyvä. Jos haluat kevyen, selaimettoman vaiheen, joka muuntaa sotkuisen HTML:n siistiksi Markdowniksi tai JSONiksi, asenna se ja jatka päivääsi.

Ohita se, jos oikea tarpeesi on jäsennelty poiminta: tuotteiden hintarivit, tyypitetyt tietueet, key: value -kentät. Se antaa sinulle tekstiä, ei taulukoita — katalogitesti toi takaisin nimet mutta ei rivejä, eikä se muutu siitä. Ohita se myös, jos kohteesi renderöivät sisällön selaimessa etkä halua liittää mukaan erillistä renderöijää, koska trafilatura lukee staattista HTML:ää ja pysähtyy siihen. Vikatila ei ole dramaattinen; saat vain tyhjän tai ohkan tuloksen ja ihmettelet miksi. Valitse työkalu tehtävän mukaan — artikkeliteksti kyllä; jäsennelty JSON tai JavaScriptillä renderöidyt sivut, katso muualle.

Vaihtoehdot, mukaan lukien Thunderbitin paikka

Kokeile Thunderbitia verkkodatan poimintaan

Reilu kehystys ensin. trafilatura on ilmainen, Apache-2.0-lisensoitu, itse isännöitävä kirjasto, jota ajat itse. Omistat koodin, se ei maksa mitään per sivu, ja se on niin kevyt, että sen voi pudottaa mihin tahansa putkeen ilman operatiivista painolastia. Juuri artikkelin siivoamisessa puhtaaksi tekstiksi tuo yhdistelmä on vaikea voittaa, eikä maksullinen palvelu muuta sitä arviota.

Vertailu muuttuu kiinnostavaksi siinä kohdassa, jonka trafilatura jättää tarkoituksella tekemättä: jäsennellyssä datassa ja JavaScriptissä. Nuo ovat juuri ne kaksi asiaa, joita se ei tee, ja sattumalta ne ovat myös ne kaksi asiaa, jotka hallittu poiminta-API on rakennettu hoitamaan. Siellä Thunderbit -kehittäjäpino sijaitsee — tämän rajan toisella puolella, täydentämässä trafilaturaa eikä kilpailemassa sen kanssa staattisen HTML:n artikkelitekstistä. /distill-pääte tekee saman muotoisen työn kuin trafilatura: sivu puhtaaksi LLM-valmiiksi Markdowniksi, mutta JavaScript-renderöinti hoidetaan palvelinpuolella, mikä on juuri se puoli, jonka trafilatura ohittaa. Ja /extract palauttaa jäsenneltyä JSONia määrittelemäsi skeeman mukaan, mikä on se puoli, josta trafilatura kieltäytyy suunnittelunsa vuoksi: katalogi, joka palasi 478 merkkinä litteää tekstiä, on juuri se tapaus, jossa käyttäisit mieluummin /extract-päätepistettä. AI-agentteja ja koodiavustajia varten on MCP-palvelin, jonka kenttäehdotustyökalua voi kokeilla ilmaiseksi, sekä CLI komentoihin, CI:hin ja cron-ajoon muodossa npx @thunderbit/thunderbit-cli. Se toimii samalla moottorilla kuin Thunderbit Chrome Extension, jota käyttää yli 100 000 ihmistä, joten myös ei-tekninen reitti on olemassa. Mutta tälle yleisölle API, MCP ja CLI ovat se olennainen pinta.

Todellinen kompromissi ei siis koskaan ollut tekstinpoiminnan laatu — trafilatura voittaa siinä silloin, kun se on rakennettu oikeaan sivutyyppiin, ja sanon sen suoraan. Kyse on laajuudesta ja siitä, kuka ajaa selainta. Tarvitsetko puhdasta artikkelitekstiä staattisesta HTML:stä, itse isännöitynä ja ilman per-kutsu-kustannusta? trafilatura on kevyempi ja terävämpi työkalu, piste. Tarvitsetko jäsenneltyä JSONia skeemaa vasten tai sivun, joka ilmestyy vasta JavaScriptin jälkeen? Silloin liikut hallitun pinon puolella, eikä se ole taistelu, jota trafilatura edes yrittää käydä. Hallitun puolen hinnoittelu löytyy Thunderbitin hinnoittelusivulta, jos vertailet per-sivukustannusta oman renderöijän operointiin.

Jos vertailet vaihtoehtoja koko kategoriassa, pidän yllä jatkuvaa vertailua verkkoscraping-työkaluista, joita oikeasti käytän, ja siinä tämänkaltaiset kirjastot ovat rinnakkain selainpohjaisten ja hallittujen vaihtoehtojen kanssa.

Lopputulos

Kannattaako trafilaturaa käyttää? Kyllä — jos tehtäväsi on muuttaa sotkuinen HTML siistiksi artikkelitekstiksi ja ymmärrät selvästi kaksi asiaa, joita se ei tarkoituksella tee. Se siivosi sivusta pois jokaisen täytemerkin ja palautti otsikon, kaikki kolme kappaletta sekä tekijän ja päivämäärän yhdellä kevyellä asennuksella ilman selainta missään näkyvissä. Se tuottaa txt:n, Markdownin ja JSONin yhdessä, mikä tekee siitä aidosti LLM-valmiin tekstivaiheen. Alalla, jossa oletetaan, että tarvitset headless-selaimen ja AI-crawlerin saadaksesi mitään aikaan, työkalu, joka ei avaa selainta lainkaan, teki sen siivouksen, josta itse välitän.

Mutta mitoita se oikein. Se on poimija, ei jäsennelty scraper — katalogi palasi 12 nimenä tekstinä ja 0 rivinä. Se lukee staattista HTML:ää eikä aja JavaScriptiä. Sen metatietopoiminta on joillakin sivuilla vahvaa ja toisilla osittaista (tekijä ja sivuston nimi menivät nulliksi molemmissa tarkistamissani oikeissa artikkelifixtureissä). Ja julkinen tekstitesti nojasi tuotekuvauslohkoon, ei oikeaan uutisartikkeliin, joten suhtautuisin toimitustason väitteeseen lupaavana mutta ei vielä lopullisena. Noiden rajojen sisällä trafilatura tekee yhden tehtävänsä siistimmin kuin raskaammat työkalut, joihin vertasin sitä — ja tekee sen lähes ilman asennuksia.

Kokeile Thunderbitia verkkodatan poimintaan Get Started Free

Usein kysytyt kysymykset

Mitä trafilatura oikeasti poimii sivulta? Pääsisällön — artikkelin rungon, otsikon sekä metatiedot kuten tekijän ja päivämäärän — ja poistaa samalla täytemateriaalin. Omassa testissäni se palautti otsikon ja kaikki 3/3 kappaleesta sivulta, jonka ympärillä oli navigaatio-, kirjautumis-, tilaus- ja tekijänoikeusroinaa, ja kaikki nuo merkit puuttuivat tuloksesta. Se päättää heuristiikoilla, mikä on sisältöä, joten se ei tarvitse sivukohtaisia valitsimia siivotakseen sivun, jota se ei ole aiemmin nähnyt.

Pystyykö trafilatura muuttamaan tuotekatalogin jäsennellyiksi riveiksi? Ei. Se on sisällönpoimija, ei jäsennelty scraper. 12 tuotteen katalogifixturissa se palautti kaikki 12 tuotenimeä litteänä tekstinä (478 merkkiä) ja 0 jäsenneltyä riviä — nimet ovat tuloksessa, mutta eivät kenttinä. Jos tarvitset tyypitettyjä tietueita kuten nimi/hinta/arvostelu, käytä mieluummin valitsinpohjaista parseria tai skeemaan perustuvaa poiminta-APIa.

Renderöikö trafilatura JavaScriptin? Ei. Se käsittelee vain staattista HTML:ää. Jos osoitat sen asiakaspuolella renderöityyn sivuun, saat sen, minkä palvelin lähetti ennen kuin JavaScript ehti pyöriä — mikä on usein kaukana haluamastasi sisällöstä. Yhdistä se erilliseen renderöijään, jos kohteesi ovat JavaScript-painotteisia; trafilatura lukee staattisen dokumentin ja pysähtyy siihen.

Onko trafilaturan asentaminen hankalaa? Ei — se on yksi sen todellisista vahvuuksista. pip install trafilatura toi uuden virtuaaliympäristön Python 3.14:llä yhden siistin pakettipuun, ilman selaimen latausta, ilman jälkiasennusta ja ilman piilotettua extras-ryhmää. Pipin asentama versio (2.1.0) on sama kuin nykyinen julkaisu, joka ilmestyi 2026-06-07.

Kuinka tarkka trafilatura on verrattuna muihin poimijoihin? En benchmarkannut tarkkuutta tässä arviossa, joten viittaan mieluummin ulkoiseen näyttöön. trafilaturalla on oma arviointisivu, ja se raportoi avoimen lähdekoodin kärki-F1:n (noin 0,945) ScrapingHubin article-extraction-benchmarkissä verrattuna vertailijoihin kuten readability-lxml (~0,887). Huomaa, että luku tulee kyseisestä benchmarkista vanhemmasta 0.5.1-linjasta, ei testaamastani 2.1.0-versiosta — joten lue se ulkoisena todisteena työkalun maineesta, ei tämän artikkelin omana mittauksena.