As localizações de concessionárias raramente ficam reunidas em um único banco de dados prático. Um fabricante publica um diretório limpo, outro usa um mapa interativo, um terceiro exige busca por código postal e um quarto esconde os detalhes da concessionária em páginas de perfil individuais.
Quando o portfólio cresce para centenas de sites, o trabalho deixa de ser “capturar alguns endereços”. O verdadeiro produto passa a ser um cadastro mestre confiável de concessionárias, capaz de responder perguntas de negócio:
- Onde a distribuição está crescendo ou encolhendo?
- Quais territórios têm lacunas de cobertura?
- Quais concessionárias foram adicionadas, movidas ou removidas?
- Quais unidades oferecem uma linha de produto ou serviço específica?
- Qual responsável no CRM deve receber uma nova concessionária encontrada?
- Como a presença de canais de um concorrente muda ao longo do tempo?
A arquitetura prática é direta: descobrir as fontes, classificar os padrões de localizador, extrair tudo para um esquema canônico, preservar evidências de origem, resolver duplicidades, detectar mudanças relevantes e encaminhá-las para a equipe certa.
O Sistema-Alvo
Um fluxo de trabalho de rastreamento de concessionárias em produção tem seis camadas:
- Registro de fontes: Os sites, URLs dos localizadores, países, responsáveis, padrões, agendas e status da última execução.
- Descoberta: Uma forma repetível de encontrar páginas de diretório, sitemaps, APIs, formulários de busca e URLs de detalhes.
- Extração: Tarefas via navegador ou API que coletam os mesmos campos semânticos em layouts diferentes.
- Normalização: Endereços, telefones, países, categorias e rótulos de status consistentes, sem destruir os valores brutos.
- Camada de entidade e mudança: Identidades canônicas das concessionárias, vínculos com marcas, timestamps de primeira e última aparição e confirmações de inclusão ou remoção.
- Ativação: Alertas, roteamento para CRM, análise de cobertura, dashboards e filas de revisão.
Tentar pular direto dos sites para uma importação no CRM costuma gerar uma pilha frágil de scripts pontuais e registros duplicados. O registro de fontes e o modelo canônico são o que tornam centenas de sites administráveis.
Etapa 1: Defina o Esquema Canônico da Concessionária
Comece pelo resultado final, não pelo primeiro site. Um esquema mínimo útil é:
| Grupo | Campos |
|---|---|
| Evidência de origem | source_domain, source_locator_url, source_dealer_url, source_dealer_id |
| Identidade | dealer_name_raw, dealer_name_normalized, brand, manufacturer |
| Endereço | street_address, address_locality, address_region, postal_code, address_country |
| Contato | phone_raw, phone_normalized, website |
| Localização | latitude, longitude |
| Atributos comerciais | services, products, categories, authorized_status_raw |
| Observação | observed_at, first_seen, last_seen, record_status |
| Controle de mudança | source_hash, change_hash, parser_version |
PostalAddress do Schema.org oferece uma base útil de nomenclatura para rua, localidade, região, CEP e país. Prefira códigos de país ISO de duas letras nos dados normalizados, mantendo o país exatamente como a fonte publica.
Mantenha os campos brutos e normalizados lado a lado. Se um site exibe St. John's, NL e a camada de normalização produz uma província e um código telefônico padronizados, as duas versões continuam disponíveis para revisão.
Etapa 2: Monte um Registro de Fontes
O registro de fontes é a camada de controle da operação. Dê a cada site uma linha com:
- Domínio e marca
- País ou mercado
- URL suspeita do localizador
- Família de padrão do localizador
- Modo de coleta preferencial
- Versão do parser ou template
- Frequência de execução
- Responsável de negócio
- Última execução tentada, bem-sucedida, vazia e com falha
- Observações sobre campos de busca ou exigências de interação
Não espere até entender todos os localizadores. Crie o registro primeiro e deixe a classificação evoluir conforme o piloto avança.
Como Descobrir Fontes de Localizador
Verifique:
- Menu principal e links do rodapé, como “Encontrar uma concessionária”, “Onde comprar” ou “Localizador de lojas”
/sitemap.xmle índices de sitemap- Busca interna do site
- Consultas em mecanismos de busca como
site:brand.example dealer locator - Código-fonte da página e dados estruturados incorporados
- Requisições de rede disparadas por uma busca no localizador
- PDFs ou documentos de distribuidores como fonte alternativa
O protocolo de Sitemaps exige uma URL <loc> para cada item do sitemap e suporta índices de sitemap. Sitemaps podem acelerar a descoberta, mas não garantem que todos os resultados dinâmicos do localizador estejam incluídos, e o valor de <lastmod> não deve ser tratado como prova de que as informações da concessionária estão atualizadas.
Etapa 3: Classifique Cada Localizador Antes de Escalar
A maioria dos sites de concessionárias se encaixa em um pequeno conjunto de famílias de padrões:
- Lista ou tabela HTML estática — o caso mais simples; os registros já aparecem no código-fonte da página.
- Diretório paginado ou scroll infinito — os registros se repetem, mas exigem navegação.
- Cards de mapa com links para detalhes — os cards resumidos precisam de enriquecimento em subpáginas.
- Formulário de busca — o usuário precisa informar país, estado, cidade ou código postal.
- JSON incorporado ou resposta de rede — a página é apenas uma camada visual em cima de dados estruturados.
- Lista enxuta com páginas de detalhes da concessionária — a lista traz a identidade, enquanto endereço e serviços ficam nas subpáginas.
- Diretório em PDF ou documento — a extração e a revisão de mudanças exigem um fluxo específico para documentos.
Um scraper universal não vai funcionar bem para centenas de sites diferentes. A abordagem escalável é criar um fluxo reutilizável por família de padrões e depois aplicar configuração por fonte.
Etapa 4: Teste o Fluxo no Navegador com Thunderbit
Thunderbit é útil para validar o esquema em sites representativos antes de investir em automação em massa.
Procedimento do Piloto
- Abra um diretório de concessionárias representativo no Chrome.
- Inicie o Thunderbit e use AI Suggest Fields.
- Renomeie os campos sugeridos para o esquema canônico.
- Adicione Field AI Prompts para normalização ou classificação — por exemplo, mapear o nome do país exibido para um código ISO ou classificar serviços em um conjunto de categorias aprovadas.
- Ative o tratamento de paginação ou scroll infinito para páginas em lista.
- Use extração de subpáginas quando as páginas individuais trouxerem telefones, sites, serviços ou IDs de origem.
- Exporte uma amostra pequena para Sheets ou Excel e valide cada URL de origem.
O modo navegador é especialmente útil quando o localizador exige interação, sessão autenticada ou renderização que uma simples requisição não reproduz. Use apenas fontes e contas às quais a organização esteja autorizada a acessar.
Escolha Sites Representativos, Não os Mais Fáceis
O primeiro piloto deve incluir 20 sites cobrindo os principais padrões, regiões e tecnologias de página. Se todas as fontes do piloto forem tabelas estáticas simples, o fluxo parecerá perfeito até a primeira chegada de um localizador baseado em mapa.
Para cada família de padrão, valide pelo menos:
- Um exemplo limpo
- Um exemplo grande
- Um exemplo dinâmico ou irregular
- Um site com páginas de detalhes da concessionária
- Um site com campos escassos ou opcionais
Etapa 5: Escalone Fontes Estáveis com a API de Extração em Lote
Para páginas públicas repetíveis, mova tarefas estáveis da operação manual no navegador para a Thunderbit Web Scraper API.
O endpoint Batch Extract aceita até 50 URLs em uma única requisição com um único JSON Schema. Ele retorna um job ID, processa URLs em paralelo, suporta erros por URL, pode enviar notificações por webhook e oferece opções de renderMode como none, basic e full.
Desenho do Lote
- Agrupe URLs que compartilham o mesmo esquema de saída semântica.
- Mantenha os lotes em até 50 URLs por requisição.
- Escolha o modo de renderização mais leve que exponha os dados com confiabilidade.
- Armazene o job ID e a versão do parser junto da execução.
- Registre status de sucesso, vazio e erro por URL — não apenas um status para o lote inteiro.
- Refaça apenas as URLs com falha.
- Preserve os valores brutos extraídos e os links de origem antes da normalização.
Um único esquema pode cobrir sites com designs diferentes, desde que o significado de negócio dos campos seja consistente. É isso que permite que um diretório estático e um localizador em cards de mapa alimentem o mesmo cadastro mestre de concessionárias.
Etapa 6: Normalize sem Apagar Evidências
Normalização torna os registros comparáveis; ela não deve torná-los impossíveis de auditar.
Transformações recomendadas incluem:
- Remover espaços extras e padronizar pontuação
- Uniformizar maiúsculas e minúsculas, preservando
dealer_name_raw - Analisar números de telefone com contexto explícito de país
- Mapear nomes de países e regiões para códigos aprovados
- Separar ou combinar componentes de endereço de forma consistente
- Normalizar URLs e remover parâmetros de rastreamento quando apropriado
- Mapear serviços em texto livre para categorias controladas, mantendo a frase original da fonte
Não sobrescreva o rótulo de autorização da fonte. Se um fabricante diz “Authorized Dealer” e outro diz “Certified Reseller”, armazene a frase exata e, opcionalmente, adicione uma categoria normalizada em um campo separado.
Etapa 7: Faça a Resolução de Concessionárias entre Marcas e Fontes
Comparar apenas o nome da concessionária não basta. “Smith Auto”, “Smith Automotive” e “Smith Auto LLC” podem ser um único negócio — ou três empresas em cidades vizinhas.
Use uma chave candidata composta, como:
normalized name + postal code + phone
ou, quando houver coordenadas disponíveis:
normalized name + geospatial distance + address number
Depois, atribua uma pontuação às evidências:
- Nome normalizado exato ou quase exato
- Telefone exato
- Mesmo código postal
- Endereço semelhante
- Coordenadas dentro de um raio pequeno
- Domínio do site correspondente
Crie uma tabela de mapeamento entre fonte e entidade canônica em vez de fundir os registros de imediato. Vários fabricantes podem apontar para a mesma concessionária física, mantendo, ao mesmo tempo, vínculos de marca, serviços e rótulos de status separados.
Etapa 8: Detecte Mudanças Relevantes
Cada execução deve ser uma observação, não uma substituição destrutiva.
Armazene:
observed_atpara a execução atualfirst_seenquando o registro apareceu pela primeira vez na fontelast_seenpara a observação bem-sucedida mais recente- Um hash da fonte para o registro bruto
- Um hash de mudança para os campos de negócio normalizados
Tipos de mudança úteis incluem:
- Concessionária adicionada
- Concessionária ausente
- Nome, endereço, telefone ou site alterados
- Status de autorização alterado
- Serviço ou categoria de produto alterado
- Localização movida
- Falha na página de origem ou mudança de layout
Um registro ausente deve primeiro virar missing_pending_review. Confirme a remoção apenas após ausência repetida ou revisão manual. Uma coleta com falha, resposta vazia ou seletor quebrado não é prova de que a concessionária fechou.
Etapa 9: Adicione Google Places como Validação Opcional
Google Places Place Details pode enriquecer ou validar um registro de concessionária com um place ID estável, nome de exibição, endereço formatado, coordenadas, telefone, site, status comercial e informações de mudança de local, dependendo do campo solicitado e do SKU.
Use isso como sinal secundário, não como autoridade sobre se uma unidade pertence ao programa de concessionárias de um fabricante. A fonte do fabricante continua sendo a referência principal para esse vínculo. Armazene o provedor de validação e o timestamp, e não sobrescreva silenciosamente o status informado pelo fabricante.
Etapa 10: Meça a Qualidade da Extração por Padrão e por Fonte
Acompanhe a qualidade nos níveis de execução, padrão e domínio.
Métricas por Execução
- URLs de fonte registradas
- URLs tentadas
- URLs bem-sucedidas, vazias e com falha
- Registros extraídos
- Registros adicionados, alterados, ausentes e inalterados
- Completude dos campos principais
- Contagem de candidatos duplicados
- Remoções suspeitas aguardando revisão
- Incidentes de desvio de esquema
Validação por Amostragem
Para cada família de padrão e para cada grande execução:
- Compare 20 a 50 registros amostrados com suas páginas de origem.
- Confirme a contagem esperada de URLs versus as contagens tentadas e bem-sucedidas.
- Revise campos principais ausentes por domínio.
- Inspecione grupos duplicados e correspondências de entidade com baixa confiança.
- Verifique outliers de coordenadas e inconsistências de país/CEP.
- Reavalie uma amostra de remoções aparentes.
- Registre a versão do extractor ou template usada.
O objetivo não é um único percentual global de “acurácia”. O importante é saber quais padrões e fontes são confiáveis, quais campos são frágeis e onde o esforço de revisão deve ser concentrado.
Etapa 11: Encaminhe as Mudanças para os Fluxos de Negócio
Mudanças diferentes merecem destinos diferentes:
- Nova concessionária: Encaminhar para operações de vendas para criação no CRM, definição de responsável e atribuição territorial.
- Local removido ou fechado: Enviar para uma fila de revisão antes de alterar o status da conta.
- Mudança de endereço ou telefone: Atualizar o enriquecimento e verificar oportunidades em aberto ou cobertura de serviço.
- Mudança de autorização: Notificar a gestão de canais e as equipes de atendimento ao cliente.
- Lacuna de cobertura: Alimentar o planejamento territorial e o recrutamento de parceiros.
- Expansão do concorrente: Atualizar a inteligência de distribuição e a estratégia regional.
- Falha repetida na fonte: Enviar para a fila de operações de dados, não para a equipe de vendas.
Cada notificação deve incluir a concessionária canônica, o vínculo com a marca, o tipo de mudança, os valores antes e depois, a URL de origem, o horário da observação e o nível de confiança ou o estado de revisão.
Um Plano de Implementação em 30/60/90 Dias
Dias 1–30: Projetar e Comprovar
- Finalizar o esquema canônico e as categorias controladas.
- Construir o registro de fontes.
- Classificar 20 sites representativos.
- Comprovar de 3 a 5 famílias de padrões de localizador.
- Estabelecer regras de validação por amostragem e métricas de execução.
- Entregar um cadastro mestre inicial de concessionárias com evidência de origem.
Dias 31–60: Expandir e Automatizar
- Expandir a classificação por todo o portfólio.
- Mover grupos estáveis de URLs públicas para extração em lote.
- Adicionar agendas, rastreamento de jobs, lógica de retry e dashboards de erro.
- Introduzir o mapeamento entre entidade de origem e entidade canônica.
- Conectar adições e atualizações revisadas aos fluxos de CRM.
Dias 61–90: Operacionalizar a Inteligência de Mudança
- Adicionar alertas específicos por tipo de mudança e filas de revisão.
- Introduzir primeira aparição, última aparição e confirmação de remoção.
- Adicionar validação opcional com Places onde isso melhorar a confiança do endereço.
- Definir metas de serviço por execução.
- Revisar mensalmente o desempenho de padrões e templates.
- Atribuir um responsável para cada família de fonte e cada ação de negócio.
Falhas Comuns
Criar um scraper por site. Isso gera centenas de caminhos de manutenção. Classifique famílias de padrões e separe a lógica reutilizável da configuração por fonte.
Deduplicar apenas pelo nome da concessionária. Os nomes são inconsistentes e frequentemente reutilizados. Faça matching com endereço, CEP, telefone, coordenadas e evidências do site.
Sobrescrever valores brutos. Erros de normalização ficam impossíveis de auditar quando a representação original é perdida.
Tratar saída vazia como zero concessionárias. Saída vazia pode significar falha de interação, mudança de renderização ou requisição bloqueada. Mantenha a saúde da coleta separada do status de negócio.
Declarar remoção após uma única ausência. Exija ausência repetida ou verificação manual.
Usar um provedor de mapas como autoridade sobre a concessionária. Dados de mapa podem validar um local, mas não confirmam a relação de autorização com o fabricante.
Escalar antes de medir a qualidade dos padrões. Um pequeno erro de extração vira um grande problema operacional quando multiplicado por centenas de sites.
FAQs
Um único esquema funciona em centenas de sites diferentes de concessionárias?
Sim. Os layouts variam, mas os campos semânticos — nome da concessionária, endereço, telefone, site, marca, serviços, URL de origem e status — são em grande parte consistentes. Use padrões de extração diferentes para preencher um único esquema canônico.
Como automatizar páginas de localizador que exigem busca por código postal?
Trate o formulário de busca como sua própria família de padrão. Defina uma grade de cobertura de locais de entrada, capture os IDs ou URLs de resultado, elimine sobreposições de raio de busca e mantenha o input que gerou cada resultado para depuração.
Com que frequência as localizações de concessionárias devem ser atualizadas?
A frequência deve acompanhar o uso de negócio e o comportamento da fonte. Fontes competitivas ou de cobertura de serviço de alto valor podem rodar semanalmente; diretórios de fabricante mais lentos podem rodar mensalmente. Falhas na execução devem disparar revisão operacional independentemente da cadência de mudanças das concessionárias.
Como o sistema distingue uma concessionária removida de uma coleta com falha?
Acompanhe separadamente a saúde da fonte e a presença do registro. Uma coleta falha ou vazia não atualiza o status de última aparição da concessionária. Apenas execuções bem-sucedidas podem provar ausência, e a remoção deve exigir repetição ou revisão.
O Google Places deve substituir o endereço e o status comercial do site?
Não. Use o Places para enriquecimento ou validação, armazene o timestamp e o provedor, e mantenha o localizador do fabricante como a autoridade para o vínculo com o programa de concessionárias.
O rastreamento automatizado de concessionárias dá certo quando é tratado como um produto de dados: um registro de fontes governado, famílias de padrões reutilizáveis, evidências preservadas, resolução cuidadosa de entidades e fluxos de mudança de responsabilidade do negócio. Essa arquitetura pode crescer de 20 sites-piloto para centenas sem transformar cada redesign em uma reconstrução de emergência.
Saiba mais
