Hoe krijg je een lijst van alle pagina's op een website: Een beginnersgids

Laten we eerlijk zijn: de meeste zakelijke websites zijn net als een ijsberg—wat je in het menu ziet, is maar een klein stukje van het geheel. Daaronder zit een hele wereld aan verborgen, vergeten of verweesde pagina’s die je nooit in de navigatie tegenkomt. Ik heb teams meegemaakt die dachten dat hun site uit 100 pagina’s bestond, om er vervolgens achter te komen dat er stiekem 1.000 pagina’s rondzwerven. En hier is een opvallend feit: grote bedrijfswebsites hebben gemiddeld meer dan 10 miljoen pagina’s, maar slechts . Dat betekent dat er talloze pagina’s zijn waarvan je het bestaan niet eens kent—totdat ze ineens opduiken bij een redesign, SEO-check of compliance-onderzoek.

Heb je ooit de vraag gekregen: “Kun je een lijst maken van álle pagina’s op onze website?” en voelde je de stress al opkomen? Je bent niet de enige. Het goede nieuws: je hoeft geen developer te zijn of dagenlang op elke link te klikken. In deze gids leg ik uit waarom een volledige paginalijst belangrijk is, hoe je dat vroeger deed, hoe het nu kan, en hoe tools als het proces super simpel maken—ook als je niet technisch bent.

Wat betekent het om een lijst van pagina’s op een website te krijgen?

Kort gezegd: je maakt een volledig overzicht van alle publieke URL’s op een website. Dus niet alleen wat in het hoofdmenu staat, maar ook elke blogpost, productpagina, landingspagina en zelfs die “weespagina’s” waar geen enkele link naartoe verwijst.

Het addertje onder het gras: de meeste websites hebben veel meer pagina’s dan je denkt. Denk aan:

• Diep geneste pagina’s en subpagina’s (zoals oude blogs of productoverzichten)
• Weespagina’s (pagina’s zonder interne links—digitale eilandjes)
• Niet-gelinkte bestanden (PDF’s, afbeeldingen of landingspagina’s die nergens gelinkt zijn)
• Dynamische of verborgen content (pagina’s die je alleen via zoekvelden, filters of “Meer laden”-knoppen bereikt)

De navigatie is dus als een plattegrond van de winkel, maar de volledige paginalijst is de complete inventaris—ook wat er in het magazijn ligt. Voor niet-technische gebruikers is het vinden van al die pagina’s vaak een uitdaging. Handmatig klikken is onbegonnen werk, en zelfs Google indexeert lang niet alles—.

Waarom is een volledige paginalijst belangrijk voor bedrijven?

Je vraagt je misschien af: “Waarom zou ik hier tijd in steken?” Nou, hier wordt het interessant. Weten welke pagina’s je hebt, is de basis voor:

• SEO- en contentaudits: Je kunt niet verbeteren wat je niet ziet. Weespagina’s, dubbele content of verouderde info kunnen je ranking schaden. Het verbinden en updaten van weespagina’s kan .
• Website redesigns & migraties: Zonder overzicht van alle URL’s loop je kans op kapotte links, SEO-verlies en gefrustreerde bezoekers na een relaunch.
• Compliance & onderhoud: Oude campagnepagina’s of verouderde info kunnen blijven hangen en voor problemen zorgen—of zelfs juridische risico’s opleveren.
• Concurrentieanalyse: Wil je alle product- of prijspagina’s van je concurrent zien? Dan heb je een volledige lijst nodig.
• Leadgeneratie & outreach: Sales-teams die directories of “Vind een dealer”-pagina’s scrapen, willen geen leads missen.
• Contentinventarisatie & governance: Voorkom dubbele content, ontdek hiaten en houd je site overzichtelijk.

Kortom: als je niet weet welke pagina’s je hebt, werk je in het duister. En uit ervaring weet ik: dan komen de “verrassings-404’s”, gemiste leads of SEO-problemen vanzelf.

Handmatig versus tools: Hoe mensen traditioneel een paginalijst maken

Eerst de ouderwetse methodes. Ik heb teams alles zien proberen: van op elke menuknop klikken tot URL’s uit de browsergeschiedenis kopiëren. Zo verhouden handmatige en tool-gebaseerde aanpakken zich:

Handmatige methodes

• Door de navigatie klikken: Kan bij kleine sites, maar je mist weespagina’s en wordt na 20 klikken tureluurs.
• Google site: zoekopdracht: Typ site:voorbeeld.nl in Google. Snel, maar toont alleen wat Google heeft geïndexeerd (vaak een fractie).
• XML Sitemap checken: Als de site een sitemap heeft (voorbeeld.nl/sitemap.xml), krijg je veel URL’s—maar niet alles, zeker geen wees- of verborgen pagina’s.
• Browserextensies/bookmarklets: Sommige tools halen links van de huidige pagina, maar je moet ze op elke sectie loslaten—nog steeds veel handwerk.

Voordelen: Geen technische kennis nodig.
Nadelen: Traag, incompleet en je mist gegarandeerd pagina’s.

Tool-gebaseerde methodes

• SEO Spider Tools (zoals Screaming Frog): Crawlt alle gelinkte pagina’s en exporteert de resultaten. Ideaal voor professionals, maar kan overweldigend zijn voor beginners en mist soms dynamische of JS-content.
• Webscrapingtools (zoals Thunderbit): Automatiseert het proces, volgt subpagina’s, verwerkt dynamische content en exporteert gestructureerde data—zonder code.
• Google Search Console (voor je eigen site): Laat zien wat Google kent, maar niet alles, en werkt alleen als je eigenaar bent.
• CMS-export: Met backend-toegang kun je soms alle pagina’s exporteren—maar niet bij concurrenten.

Voordelen: Veel sneller, vollediger en minder foutgevoelig.
Nadelen: Sommige tools hebben een leercurve, en agressief scrapen kan tot IP-blokkades leiden als je niet oplet.

Maak kennis met Thunderbit: De makkelijkste manier om een paginalijst te maken

Nu wordt het leuk. is een Chrome-extensie die fungeert als een slimme, AI-gedreven onderzoeksassistent. Gemaakt voor zakelijke gebruikers—geen code, geen technisch gedoe. Gewoon installeren, klikken en de AI doet het zware werk.

Wat maakt Thunderbit anders?

• AI Suggest Fields: Met één klik scant Thunderbit’s AI de pagina, herkent wat belangrijk is (zoals paginatitels en URL’s) en stelt de extractie automatisch in.
• Subpagina’s scrapen: Niet alleen haalt het links van de huidige pagina, maar het volgt automatisch die links om dieper te gaan—zoals categorieën, producten of blogs.
• Dynamische content verwerken: Omdat het in je browser (of in de cloud) draait, kan het omgaan met JavaScript, infinite scroll en “Meer laden”-knoppen.
• No-code, natuurlijke taal: Je hoeft geen selectors of scripts te schrijven. Beschrijf gewoon wat je wilt, en Thunderbit regelt het.
• Overal exporteren: Met één klik exporteer je naar Excel, Google Sheets, Airtable, Notion, CSV of JSON.
• Beginnersvriendelijk: Zelfs als je nog nooit een website hebt gescrapet, ben je binnen enkele minuten op weg.

Ik heb gebruikers gezien die van “Ik heb geen idee waar ik moet beginnen” naar “Hier is mijn spreadsheet met 500 URL’s” gingen—sneller dan je een kop koffie op hebt.

Stappenplan: Zo maak je een paginalijst met Thunderbit

Benieuwd hoe eenvoudig het is? Hier een stapsgewijze uitleg voor beginners.

Stap 1: Installeer en stel Thunderbit in

1. Installeer de Thunderbit Chrome-extensie via de .
2. Pin de extensie voor snelle toegang (klik op het puzzelstukje in Chrome en pin Thunderbit).
3. Maak een account aan of log in—met het gratis abonnement kun je direct aan de slag.

Dat is alles. Geen software downloaden, geen ingewikkelde installatie.

Stap 2: Gebruik AI Suggest Fields om websitepagina’s te herkennen

1. Navigeer naar de website die je wilt analyseren (begin op de homepage of sitemap).
2. Klik op het Thunderbit-icoon om het zijpaneel te openen.
3. Klik op “AI Suggest Fields.” Thunderbit’s AI scant de pagina en stelt kolommen voor zoals “Paginatitel” en “Pagina-URL.”
4. Controleer of pas de velden aan indien nodig. Meestal klopt het voorstel, maar je kunt kolommen hernoemen of toevoegen.

Wil je dieper gaan (bijvoorbeeld alle productpagina’s uit een categorie halen), markeer dan de URL-kolom als “Follow Link”—Thunderbit volgt automatisch elke link en herhaalt het proces.

Stap 3: Scrape en exporteer de paginalijst

1. Klik op “Scrape.” Thunderbit haalt alle links en titels van de huidige pagina—en, indien ingeschakeld, ook van subpagina’s.
2. Bekijk hoe de data binnenkomt in de Thunderbit-tabel. Bij grote sites gebeurt dit parallel (tot 50 pagina’s tegelijk in cloudmodus).
3. Exporteer je resultaten met één klik naar Excel, Google Sheets, Airtable, Notion, CSV of JSON.

Nu heb je een nette, gestructureerde lijst van alle pagina’s die Thunderbit heeft gevonden—klaar voor SEO-audits, migraties of welk project je ook hebt.

Tip: Voor sites met veel verborgen of weespagina’s kun je Thunderbit ook een lijst met URL’s geven (bijvoorbeeld uit een sitemap of Google Search Console-export) en die direct laten scrapen.

Thunderbit vergeleken met andere oplossingen voor paginalijsten

Hoe verhoudt Thunderbit zich tot andere populaire opties?

Thunderbit blinkt uit in toegankelijkheid—niet alleen voor techneuten, maar juist voor zakelijke gebruikers die snel resultaat willen zonder leercurve.

Blijf netjes: Juridische en ethische aandachtspunten bij het verzamelen van paginalijsten

Voordat je enthousiast aan de slag gaat op andermans website, even de spelregels:

• Respecteer de gebruiksvoorwaarden: Controleer altijd of de site scraping verbiedt. De meeste publieke sites zijn prima voor het verzamelen van URL’s, maar blijf weg van inlog- of privésecties.
• Beperk je tot publieke data: Publieke URL’s en paginatitels verzamelen is doorgaans toegestaan. Vermijd het scrapen van persoonlijke of gevoelige informatie.
• Overbelast servers niet: Thunderbit werkt standaard netjes, maar probeer niet duizenden pagina’s per seconde te scrapen. Wees een goede digitale buur.
• Check robots.txt: Niet wettelijk bindend, maar het is netjes om te kijken of de site bepaalde delen wil uitsluiten.
• Gebruik data verantwoord: Gebruik gescrapete data niet voor spam of schending van auteursrechten. Kom je gevoelige info tegen, meld het dan bij de sitebeheerder.

Meer weten? Lees .

Samenvatting: Paginalijsten maken is nu eenvoudig

• Weten welke pagina’s je hebt is cruciaal voor SEO, redesigns, compliance en meer.
• Handmatige methodes zijn traag en incompleet. Zelfs Google en sitemaps missen veel.
• Thunderbit maakt het snel en simpel voor iedereen om een volledige, gestructureerde paginalijst te krijgen—zonder code of gedoe.
• AI-functies zoals “AI Suggest Fields” en subpagina-scraping maken technisch zijn overbodig.
• Blijf netjes door voorwaarden te respecteren, alleen publieke data te verzamelen en je nieuwe superkracht verantwoord te gebruiken.

Zelf proberen? en maak een paginalijst van je eigen site—of die van een concurrent. Je zult versteld staan van wat je allemaal ontdekt.

Meer praktische tips en verdiepende artikelen vind je op de .

Veelgestelde vragen

1. Waarom zou ik een lijst van alle pagina’s op mijn website willen?
Een volledige paginalijst is onmisbaar voor SEO-audits, redesigns, contentupdates, compliance-checks en concurrentieonderzoek. Zo voorkom je gemiste pagina’s, kapotte links en misgelopen kansen.

2. Wat is het verschil tussen navigatielinks en een volledige paginalijst?
De navigatie toont alleen de hoofdrubrieken. Een volledige lijst bevat elke URL—blogposts, productpagina’s, weespagina’s en alles wat niet in het menu staat.

3. Kan Thunderbit verborgen of weespagina’s vinden?
Thunderbit volgt links, verwerkt dynamische content en scrapet subpagina’s. Voor echt verweesde pagina’s (zonder links) kun je een sitemap of lijst uit Google Search Console invoeren voor nog meer dekking.

4. Is het legaal om een lijst van pagina’s van een website te scrapen?
In het algemeen wel—zolang je je beperkt tot publieke URL’s en de gebruiksvoorwaarden respecteert. Vermijd het scrapen van privé, gevoelige of afgeschermde content en gebruik de data niet voor spam of inbreuk op auteursrechten.

5. Hoe verhoudt Thunderbit zich tot SEO-crawlers of handmatige methodes?
Thunderbit is gemaakt voor niet-technische gebruikers. Het is sneller, eenvoudiger en verwerkt dynamische content beter dan handmatig. In vergelijking met SEO-crawlers is het gebruiksvriendelijker en gericht op zakelijke teams die gestructureerde data willen zonder gedoe.

Geen pagina meer missen? Probeer Thunderbit en ontdek hoe eenvoudig website-audits kunnen zijn.

Meer weten