我永遠忘不了第一次試著替某個網站建立一份「完整」頁面清單的經驗。我還以為自己很聰明——只要一路點進導覽列，把每個連結記下來，事情就算搞定了。結果呢？根本像在玩數位版打地鼠，新頁面不斷冒出來：藏起來的產品列表、早就下線卻還在的活動頁、埋在無限捲動底下的部落格文章。那感覺就像你只沿著大馬路認識一座城市，卻沒發現地下還有整套捷運系統。
如果你曾經為了內容稽核、SEO 專案或競品研究，想把網站的所有頁面都找出來，你一定知道這件事沒有聽起來那麼簡單。事實上，高達 96.55% 的網頁沒有從 Google 獲得自然搜尋流量——這代表網站內容的大部分，對使用者和搜尋引擎來說都像是被藏起來一樣。這不只是一大堆機會被錯過，也代表許多數位蜘蛛網被晾著沒人管。那麼，到底要怎麼建立一份完整的網站連結清單？為什麼它又和內容規劃有那麼大的關係？一起來看看。
為什麼內容規劃需要一份完整的網站連結清單
用 AI 抓取所有網站頁面 Get Started Free
在講「怎麼做」之前，我們先聊聊「為什麼」。建立完整的網站連結清單，不只是 SEO 人員的宅宅練習（老實說，我自己也覺得挺有趣）。對任何重視內容、潛在客戶或數位成效的企業來說，這都是一項很有戰略價值的資產。
以下是每個團隊都應該在意的原因：
- 內容與 SEO 稽核： 只要知道每個 URL，就能找出過時、內容薄弱或孤兒頁面。孤兒頁面——也就是沒有任何內部連結指向的頁面——特別容易被忽略。它們可能會佔用高達 26% 的 Google 爬取資源，還會拖累網站權威性。
- 內容規劃與更新： 有了完整清單，就能看出現有內容有哪些、哪些需要更新，以及內容缺口在哪裡。許多公司在稽核時才發現一堆被遺忘的頁面，其中不少其實很適合重新整理。
- 競爭分析： 想看競爭對手所有的登陸頁、產品分類或隱藏資源？你需要的是完整網站地圖，不只是主選單裡看得到的內容。
- 銷售與開發名單： 抓出所有含有聯絡資訊或門市位置的頁面，就不會漏掉任何潛在線索。
- 營運與監控： 電商團隊可以追蹤每個商品頁的價格變動或庫存狀態，連那些沒放在主要分類裡的頁面也不會漏掉。
我們可以按團隊來拆解：
總之，如果你只看見冰山一角，就會錯過洞察、名單與機會。
「如何取得網站全部頁面」真正的意思
先釐清一個常見誤解：所謂「如何取得網站全部頁面」，不是一直點「下一頁」就好。網站很狡猾。它們會用無限捲動、「載入更多」按鈕、JavaScript 產生的連結、URL 參數，甚至直接把整個區塊從導覽列藏起來。有些頁面只有在你知道「暗號」時才能進去（更常見的是，你得知道它的直接 URL）。
所以，當我說要建立網站連結清單時，我指的是：
- 瀏覽無限捲動內容流（像是 Twitter、新聞網站）
- 點擊會展開隱藏內容的「載入更多」按鈕
- 偵測由 URL 參數產生的頁面（例如產品篩選）
- 找出沒有內部連結的孤兒頁面
- 找到私密或未連結區段（例如舊活動頁）
這比較不像翻書，反而像在探索一棟有密室和暗門的房子。你需要的不只是手電筒，還要藍圖，以及一點數位偵探功夫。
找出所有網站頁面的傳統方法
在像 Thunderbit 這類 AI 工具出現之前，大多數人會混合手動技巧和專門軟體來建立網站連結清單。這些方法現在還是有用，只是各有各的限制。
使用 Google 搜尋與 site 指令
經典做法：把 site:example.com 丟進 Google。這會列出該網域被 Google 收錄的所有頁面。你也可以進一步用 site:example.com/blog 之類的指令，鎖定特定區塊。
優點：
- 非常簡單
- 適合快速估算
缺點：
- 只會顯示 Google 已收錄的內容（而如前所述，通常只是很小一部分）
- Google 團隊自己也說 site: 查詢並不完整
- 看不到私密、孤兒或被封鎖的頁面
檢查 Sitemap 與 robots.txt
大多數商業網站都有 sitemap.xml——這是一個列出供搜尋引擎使用的 URL 檔案。你通常可以在 example.com/sitemap.xml 找到它，或是查看 robots.txt 裡有沒有 sitemap 連結。
優點：
- 很適合找出沒放在導覽列中的頁面
- 可能包含舊頁面或隱藏頁面
缺點：
- 不一定即時或完整
- 可能列出對機器人封鎖的頁面（你看得到，但無法存取）
- 有些頁面已被索引，卻不在 sitemap 中（Google Search Console 經常會顯示這種狀況）
使用 SEO Spider 工具爬取
像 Screaming Frog 或 WebSite Auditor 這類工具，會透過追蹤連結來爬取網站，建立出所有可到達頁面的地圖。
優點：
- 能找到深層連結頁面
- 可以檢查失效連結與網站結構
缺點：
- 對動態內容有困難（無限捲動、JavaScript 連結等）
- 需要設定與技術知識
- 免費版有爬取限制（例如 Screaming Frog 會停在 500 個 URL）
- 找不到孤兒頁面（沒有連結，就沒有發現）
傳統網站連結清單方法的限制
問題就出在這裡。即使你把上面那些方法都用過，還是常常會漏掉：
- 孤兒頁面： 沒有內部連結、不在 sitemap、也沒被索引——這些頁面就像數位隱士。
- 動態內容： 無限捲動、「載入更多」按鈕，或透過 JavaScript／AJAX 載入的內容。
- 藏在表單或腳本後面的頁面： 有些頁面只有在使用者操作後才會出現（例如輸入搜尋查詢）。
- 重複或帶參數的 URL： 同一內容有多條路徑，或只有透過調整 URL 參數才能看到的唯一內容。
簡單說，傳統方法就像拿一張破洞很多的網在釣魚。你會撈到不少，但還是會漏掉一大堆。
Thunderbit 的 AI 做法：更聰明地找出所有網站頁面
這就是 Thunderbit 的 AI Web Scraper 登場的地方，也是我對我們做出的東西真心感到興奮的原因。
Thunderbit 不只是單純爬連結。它會先像人類一樣「讀懂」頁面，將內容轉成類 Markdown 結構後再進行擷取。這代表 AI 能真正理解上下文，辨識清單、表格、標題，甚至推斷導覽邏輯。就像幫 AI 配上一副閱讀眼鏡，再加上一支螢光筆。
這為什麼重要？
- 語意理解： Thunderbit 會先把頁面預處理成 Markdown，讓 AI 得到網站的語意地圖。它能分辨側欄選單和產品清單的差異，也能看出不是一般連結的「載入更多」按鈕。
- 處理動態內容： Thunderbit 可以像使用者一樣捲動、點擊、與頁面互動。無限捲動？沒問題。JavaScript 產生的連結？照樣處理。
- AI 驅動的連結發現： AI 能辨識非傳統連結的導覽元素（像按鈕或卡片），並一路追到子頁面。
- 自然語言提示詞： 你可以直接對 Thunderbit 說：「找出所有產品頁並列出標題與價格」，它就會自己推敲步驟。
換句話說，Thunderbit 讓人類的瀏覽方式與機器的資料蒐集方式之間，終於接上了橋樑。它穩定、彈性高，而且——我敢說——用起來還挺有趣的。
免費試用 Thunderbit AI Web Scraper
處理分頁：從無限捲動到載入更多按鈕
這種情境我幾乎天天都會遇到：你正在看某個部落格或商品列表，前 10 筆之後，不是得一直往下捲，就是得不停按「載入更多」。傳統爬蟲只會停在一開始載入的內容。Thunderbit 的 AI 則知道要繼續往下走。
Thunderbit 如何處理不同的分頁類型
| 分頁類型 | 傳統工具流程 | Thunderbit AI 流程 |
|---|---|---|
| 編號頁面或「下一頁」連結 | 若有設定，會跟隨 | 自動偵測並點擊前往下一頁 |
| 「載入更多」按鈕 | 需要自訂腳本反覆點擊 | AI 會找出按鈕並持續點擊，直到完成 |
| 無限捲動（自動載入） | 只看得到第一批；需要寫腳本 | AI 會自動捲動並載入全部項目 |
| 隱藏或以 JS 驅動的導覽 | 常常整個漏掉 | AI 會視情況解讀並導覽 |
用了 Thunderbit，你只要點「AI 建議欄位」，再按「爬取」就好。AI 會辨識分頁邏輯——不管是按鈕、捲動還是 URL 參數——然後一路做下去，直到資料完整。再也不用自己調整爬取深度或寫腳本了。
如果想更了解 Thunderbit 如何處理分頁，可以參考官方文件。
子頁面爬取：不只抓主清單
如何用 AI 抓取任何網站 Get Started Free
我早期也犯過另一個菜鳥錯誤：我會抓產品或文章清單，卻忘了去每個詳情頁拿真正有料的資訊（像價格、評論或聯絡方式）。這就是子頁面爬取的用途。
使用 Thunderbit 的 子頁面爬取 功能，你可以：
- 自動拜訪主清單中連到的每個詳情頁
- 擷取額外欄位（像產品規格、作者簡介或聯絡資訊）
- 把所有資料合併成一個整齊的表格
想像你在爬一個房地產網站：你先拿到城市總覽中的所有物件列表，接著 Thunderbit 逐一拜訪每個物件頁，抓取臥室數、衛浴數、價格與仲介聯絡方式。一次完成，不用再複製貼上 URL，也不用跑第二次爬取。
想看視覺化教學，可以參考Thunderbit 的子頁面爬取指南。
AI 爬取與網站範本爬取，該怎麼選
不是每個網站都需要完整的 AI 模式。對 Amazon、Shopify、Zillow 這類標準平台，Thunderbit 提供即用型範本。這些都是預先建立好的爬蟲，知道資料在哪裡——所以你一鍵就能匯出。
什麼時候用 AI 模式：
- 不熟悉或客製化的網站
- 版面複雜或資料欄位特殊
- 你希望即時轉換或分類資料
什麼時候用範本：
- 知名、標準化的平台（Amazon、LinkedIn、Instagram 等）
- 你想要速度與可保證的準確度
如果你目前所在的網站有對應範本，Thunderbit 的介面甚至會直接推薦給你。不然就切到 AI 模式，讓它自己動腦。
讓網站頁面探索與商業目標對齊
這裡來個大膽說法：「找出網站所有頁面」不一定是最好的目標。你真正想找的，通常是和商業目標相關的所有頁面。
- 銷售團隊 可能只在乎有聯絡資訊的頁面。
- 行銷團隊 想要的是所有部落格文章、登陸頁或活動 URL。
- 營運團隊 則會聚焦在產品頁或法遵頁。
Thunderbit 讓你可以用自然語言描述目標——像是「找出所有有 email 地址的頁面」，或「列出每個有價格與 SKU 的產品頁」。AI 會據此調整爬取範圍，讓你不會把時間（或點數）浪費在不需要的頁面上。
定義有效爬取目標的小技巧：
- 在欄位名稱和指令中盡量具體
- 善用領域知識（例如「抓取所有 /resources/ 頁面」）
- 如果結果太多或太少，持續迭代與調整提示詞
這種做法能省時間、降低資料過載，也能確保你的網站連結清單是可以直接採取行動的，而不只是一大堆 URL。
逐步教學：用 Thunderbit 取得網站全部頁面
想自己試試看嗎？以下是我用 Thunderbit 建立完整網站連結清單的方式——完全不用寫程式。
- 安裝 Thunderbit Chrome 擴充功能： 安裝快速，也有免費方案。
- 前往目標網站： 從首頁或特定區塊開始。
- 打開 Thunderbit 並設定資料來源： 通常預設是「目前頁面」。
- 點擊「AI 建議欄位」： Thunderbit 會分析頁面並提出欄位建議（例如「頁面標題」、「URL」等）。
- 檢視並調整欄位： 依需求重新命名、增加或刪除欄位，並設定資料類型以利理解。
- 啟用子頁面爬取（如需要）： 如果是詳情頁，開啟「子頁面爬取」，並選擇哪個欄位是連結。
- 點擊「爬取」： Thunderbit 會自動處理分頁、無限捲動與子頁面。
- 監控進度： 看著表格逐步填滿，順手抽查幾筆資料是否正確。
- 匯出網站連結清單： 下載成 CSV，或直接匯出到 Excel、Google 試算表、Notion 或 Airtable。
- 調整並重跑： 如果漏掉某個區段，再跑一次爬取，或調整提示詞。
想看更多細節，可以參考 Thunderbit 文件 的快速入門指南。
重點整理：用 Thunderbit 建立完整網站連結清單
最後來總結幾個重點：
- 傳統方法（Google、sitemap、爬蟲）雖然有用，但常常會漏掉隱藏頁面、動態內容或孤兒頁面。
- Thunderbit 的 AI Web Scraper 提供更高層次的語意理解，能以極少設定處理複雜導覽、無限捲動和子頁面。
- 讓爬取目標對齊商業需求——不要只是把所有頁面抓下來，而是抓真正有用的頁面。
- Thunderbit 的獨特優勢： 在擷取前先把頁面轉成 Markdown，讓 AI 能深入理解網站結構與上下文，即使網站版型常變或內容是動態的，也依然穩定。
- 對非技術使用者也很友善： 不用寫程式、不用腳本，只要描述你要什麼，剩下交給 Thunderbit。
- 結果可直接行動： 可將結構化資料匯出到你常用的工具，立即用於內容稽核、SEO 專案或開發名單活動。
如果你還沒試過 AI 驅動的網站頁面探索，不妨去Thunderbit 玩玩看。你可能會對自己網站裡藏了什麼感到驚訝，或發現競爭對手把哪些東西塞進了他們的數位閣樓裡。
常見問題
1. 為什麼建立完整的網站頁面清單對內容規劃很重要？
完整的頁面清單有助於找出過時或孤兒內容、簡化內容稽核、發現 SEO 問題，並看見內容更新或重新運用的機會。它也能支援開發名單、競爭分析與營運監控。
2. 傳統方法找出所有網站頁面有哪些限制？
像 Google 搜尋指令、sitemap 和 SEO 爬蟲等傳統工具，常常會漏掉動態內容、孤兒頁面，或藏在腳本與使用者互動後面的內容。由於導覽複雜與渲染問題，這些方法通常無法找出全部。
3. Thunderbit 的 AI Web Scraper 和傳統網站爬蟲工具有什麼不同？
Thunderbit 會先把網頁轉成 Markdown，再利用 AI 理解網頁的語意結構，因此在擷取前就能掌握上下文。它可以處理無限捲動、JavaScript 產生的連結與「載入更多」按鈕，模擬真人使用者與網站互動的方式。
4. 哪些商業團隊會因為完整的網站連結清單而受益？又是如何受益？
SEO、內容行銷、銷售、電商與法遵等團隊都能從中受益。例如，SEO 團隊可以找出並修正孤兒頁面，銷售團隊可以擷取聯絡頁面，營運團隊則能監控那些不容易從導覽列找到的商品頁。
5. 什麼時候該用 Thunderbit 的 AI 模式，什麼時候該用範本？
在面對不熟悉、客製化或結構複雜、且有動態互動或特殊資料結構的網站時，建議使用 AI 模式。若是 Shopify 或 Amazon 這類知名平台，則可使用範本，利用預先建立好的爬蟲快速且準確地擷取資料。
延伸閱讀：
試用 Thunderbit AI Web Scraper 來探索網站頁面 Get Started Free
