CrewAI

Les Agents CrewAI ont besoin de contenu web frais et propre en entrée. Encapsule /distill comme Tool CrewAI pour que n'importe quel Agent du crew puisse lire des URLs à la demande.

Installation

pip install crewai httpx

Tool personnalisé

from crewai.tools import BaseTool
import httpx

API = "https://openapi.thunderbit.com/openapi/v1"
H = {"Authorization": "Bearer YOUR_API_KEY"}

class ReadUrlTool(BaseTool):
    name: str = "read_url"
    description: str = (
        "Fetch a URL and return clean Markdown. Use for any web research task: "
        "docs, articles, product pages, search results."
    )

    def _run(self, url: str) -> str:
        resp = httpx.post(f"{API}/distill",
                          headers=H,
                          json={"url": url, "renderMode": "basic"},
                          timeout=60.0)
        resp.raise_for_status()
        return resp.json()["data"]["markdown"]

Branche dans un Crew

from crewai import Agent, Task, Crew

researcher = Agent(
    role="Web Researcher",
    goal="Gather authoritative information from public web pages",
    backstory="Skilled at distilling long pages into key facts.",
    tools=[ReadUrlTool()],
)

task = Task(
    description="Research how vector databases compare in 2026.",
    expected_output="A concise comparison table.",
    agent=researcher,
)

Crew(agents=[researcher], tasks=[task]).kickoff()

Astuces

Pour la recherche multi-source, expose /batch/distill comme second Tool (read_urls) afin que l'Agent puisse paralléliser
Limite le Markdown retourné à environ 8k tokens avant de le passer à l'Agent — évite la saturation du contexte

Liens connexes

Cette intégration est en cours d'extension avec des templates de crew multi-agent — reviens bientôt.