Como Usar Apify Para Monitorar Informações Públicas de Concorrentes

Três Tipos de Dado Que Justificam o Trabalho

Antes de configurar qualquer coisa, decida o que vai mudar de decisão se você tiver esse dado. Coleta que vira relatório que ninguém abre é custo puro. Três tipos costumam pagar a conta:

• Preços e disponibilidade em canais públicos. Marketplace, e-commerce do concorrente, catálogo público. Se você reage a preço com preço, monitorar diariamente informa a decisão de precificação e promoção — desde que a fonte permita.
• Conteúdo publicado em canais próprios do concorrente. Blog, sala de imprensa, biblioteca de casos, página de carreiras (sinal de expansão), páginas de produto novo. Recorrência semanal captura movimento estratégico com antecedência.
• Avaliações e menções em plataformas públicas. Reviews de Google Maps, avaliações em Reclame Aqui, comentários em marketplaces — desde que a plataforma permita coleta. Dá leitura de percepção que pesquisa qualitativa levaria meses para gerar.

O que não vale: monitorar tudo "por precaução". Coleta ampla vira dataset que ninguém lê, custo que ninguém rastreia e risco desnecessário de tocar em fontes que não deviam ser tocadas.

Só Colete o Que a Fonte Permite Coletar

Web scraping mora numa zona que exige atenção. Regra geral: coletar dado público (visível sem login, sem quebrar restrição técnica ou legal) que a fonte não proíba explicitamente é aceitável. Coletar dado atrás de login, ignorar robots.txt, driblar CAPTCHA ou violar termos de uso da plataforma não é — e coloca a operação em risco jurídico e reputacional.

Antes de configurar qualquer coleta, faça três verificações:

1. Leia o robots.txt da fonte. Ele lista o que a fonte pede que crawlers não acessem. Respeitar não é obrigação legal em todos os casos, é boa prática que separa quem opera dentro do razoável de quem opera na borda.
2. Leia os termos de uso. Muita plataforma proíbe scraping explicitamente. Fazer mesmo assim é decisão consciente de risco — que precisa ser tomada por quem responde pela empresa, não por quem configura a ferramenta.
3. Verifique se existe API oficial. Sempre que existe, é o caminho — mais estável, permitido e barato no longo prazo.

Não coletar dado pessoal identificável sem base legal (LGPD é lei brasileira, aplica-se a coleta feita a partir do Brasil). Preço público, texto público de site institucional e catálogo público em geral não são dado pessoal. Reviews com nome de pessoa podem ser — trate com cuidado.

Actors, Runs, Datasets

Actor é o programa que faz a coleta. Existem actors prontos na Apify Store para os alvos mais comuns (Google Maps, sites de e-commerce populares, redes sociais dentro do que essas plataformas permitem). Você configura parâmetros — URL, filtros, quantidade — e roda.

Run é uma execução do actor. Cada run tem custo em unidades de computação e memória, dura de segundos a minutos ou horas dependendo do escopo, e devolve os dados coletados.

Dataset é onde o resultado é armazenado. Você exporta em JSON, CSV ou Excel, ou consome via API para jogar em um n8n, em uma planilha, em um Baserow ou em um data warehouse. Datasets ficam disponíveis por tempo determinado no plano gratuito e por mais tempo nos planos pagos.

Para uma coleta recorrente, você configura o Scheduler: o actor roda automaticamente na frequência definida (diária, semanal, horária). É o que transforma coleta pontual em monitoramento contínuo.

Preço de 40 Produtos em 3 Concorrentes, Diário

Cenário: você quer saber se algum dos três concorrentes principais mudou preço de qualquer item de uma lista de 40 produtos-chave, todos os dias, para atualizar sua tabela e reagir dentro de 24 horas.

1. Escolha o actor. Se os concorrentes usam plataformas de e-commerce comuns (Shopify, VTEX, WooCommerce), procure na Apify Store por um scraper específico da plataforma. Se são sites customizados, um "Web Scraper" genérico configurado com seletores CSS resolve. Se algum bloqueia scraping ativamente, respeite — não force.
2. Configure o input. Lista de URLs (as 40 páginas de produto de cada concorrente = 120 URLs), campos a extrair (nome, preço, disponibilidade), timeout por página, número de páginas simultâneas (mantenha baixo — 2 a 5 — para não sobrecarregar o servidor da fonte).
3. Teste manualmente. Rode uma vez, abra o dataset, confira que os 120 registros vieram e que os campos estão corretos. Se algum preço está errado, é porque o seletor mudou ou a página tem variação. Corrija antes de agendar.
4. Agende. Diariamente às 6h, por exemplo. Configure notificação de falha para não descobrir tarde que o actor parou de funcionar.
5. Conecte a um destino. Via API do Apify, um fluxo em n8n pega o dataset do run mais recente, compara com o do dia anterior, gera uma linha em uma tabela "Mudanças de preço" para cada item alterado, e manda alerta no Slack se alguma variação passar de X%.

É o padrão. O trabalho real não é a coleta — é a comparação com a coleta anterior e o alerta acionável. Coleta sem comparação é dataset acumulado.

Duas Falhas Vão Aparecer

Falha 1: a página mudou. O concorrente rebateu o layout, o preço não está mais no mesmo elemento HTML, e o actor devolve preço vazio ou preço errado (que é pior — decisão certa em cima de dado errado é a mesma coisa que decisão errada). Solução: teste de sanidade no fluxo — se mais de 20% dos preços vierem vazios ou inconsistentes, o alerta é para o operador olhar a coleta, não para o time comercial reagir.

Falha 2: a fonte começou a bloquear. IP bloqueado, CAPTCHA aparecendo, taxa de erro subindo. Sinal claro para parar — não para escalar proxy, aumentar disfarce e brigar com a fonte. Se a fonte fechou, é a fonte comunicando "não quero ser coletada"; forçar é entrar em zona que não compensa. Procure API oficial, faça a coleta manualmente na frequência que sustenta, ou aceite que essa fonte saiu do monitoramento.