Verificador de backlinks em tempo real: mito, realidade e uma tabela de retry
Toda ferramenta com essa etiqueta é um crawler com um atraso. O nosso atualiza cerca de uma vez por mês. Veja como scriptar isso sem desperdiçar créditos.
Equipe editorial do Linkzoid ·
Mito versus realidade
Mito
Realidade
Verificar a cada hora captura um novo link mais cedo
O índice muda cerca de uma vez por mês, então 29 dos 30 polls retornam as mesmas linhas
Um link ausente significa que foi removido
Pode ser simplesmente mais recente que a última atualização
Mais fresco é sempre melhor
Para tendências, uma snapshot mensal estável supera uma diária com ruído
O Search Console tem os mesmos dados
Ele mostra o que o Google relata para sua propriedade, que é uma visão diferente e parcial
Um plano pago torna o crawl instantâneo
Nenhum vendor faz crawl de todas as páginas todos os dias
Como trabalhar com um índice mensal
A maior parte do trabalho é um hábito: execute semanalmente, compare mensalmente.
Se você acabou de criar um link e quer prova, não espere pelo índice. Abra a página, visualize o código-fonte e confirme o anchor text e o atributo rel. Depois, aguarde a próxima atualização. O próprio Google precisa de dias ou semanas para recrawlear, e a mudança do Penguin 4.0 em 2016 apenas tornou seu próprio processamento em tempo real, não o que ferramentas de terceiros podem ver.
Um verificador de backlinks em tempo real no sentido estrito precisaria monitorar a web inteira. Ninguém faz isso, e o truque barato de re-queryar um banco de dados desatualizado a cada hora apenas gasta créditos na mesma resposta.
Alertas para novos links, e por que eles decepcionam
As pessoas frequentemente pedem um alerta no momento em que um link aparece. O pedido é razoável. A resposta honesta é que um índice mensal não pode entregá-lo, porque um link que aparece na web hoje pode não chegar a nenhum índice por semanas.
Alertas baseados em polling repetido parecem ocupados e não dizem nada de novo. As três subseções abaixo explicam para onde vai o esforço e o que uma configuração mais tranquila pode fazer em vez disso.
O que um alerta pode realmente ver
Um alerta só pode monitorar o que o índice já contém. Entre as atualizações, as mesmas linhas retornam, e um alerta que dispara com dados idênticos é apenas ruído na sua caixa de entrada.
O polling adiciona chamadas, não linhas
O polling horário envia muitas requisições por uma única resposta. A nota de custo no final desta página mostra a matemática. A conta cresce com a frequência enquanto as linhas permanecem iguais.
Uma extração datada faz o mesmo trabalho
Um job semanal escreve um arquivo datado, e um diff contra a semana passada mostra o que mudou. O resultado corresponde ao ritmo real dos dados, e você ainda fica sabendo sobre novas linhas dentro de uma semana.
O arquivo também é sua evidência quando alguém pergunta o que mudou no mês passado. Mantenha a nomenclatura idêntica de execução para execução, para que os arquivos se organizem sozinhos.
Tabela de troubleshooting para loops
Resposta
Significado
O que o script deve fazer
HTTP 401
Chave ausente ou incorreta
Parar, alertar, não tentar novamente
HTTP 402
Créditos esgotados
Parar, recarregar com USDT, reexecutar manualmente
ok: false com 200
Parâmetro inválido, como uma ação desconhecida
Registrar o corpo e falhar o job
Timeout ou 5xx
Problema de rede ou servidor
Tentar novamente duas vezes com espera de 10 e 60 segundos
Linhas abaixo de total
Sua paginação parou cedo
Corrigir o loop; os dados estão corretos
O saldo cai mais rápido do que o planejado
Um loop está refazendo páginas
Comparar _credits antes e depois de cada execução
Um wrapper de retry que não gasta créditos duas vezes
Apenas falhas transitórias são retryadas. 401 e 402 encerram imediatamente.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Coloque o custo em uma linha. Um pull de refdomains semanal para um domínio custa 2 créditos, então cerca de $0,01 por ano.
Trate qualquer promessa de verificador de backlinks em tempo real com suspeita, a nossa incluída. A etiqueta honesta para o que você pode scriptar é um índice mensal com um hábito semanal ao redor, o que ainda supera uma verificação manual a cada trimestre.
Defina uma verificação de frescor que se adapte aos dados
Estes quatro passos substituem um alerta por um hábito que você pode manter.
01
Escolha uma cadência
Semanal para o pull, mensal para a comparação. Escreva ambos nas notas do repositório para que o cronograma não se desvie com o tempo.
02
Armazene a resposta bruta
Salve o JSON intacto sob a data de hoje. Você pode recalcular qualquer número depois, e nunca precisa confiar em um resumo que não pode verificar.
03
Compare conjuntos, não totais
Conte o que chegou e o que desapareceu entre dois pulls. Um total que permanece plano pode esconder uma troca de cinquenta domínios.
04
Pare o loop no primeiro erro
Um 401, um 402 ou um ok falso encerra a execução. A próxima execução agendada tenta novamente, o que é mais barato que qualquer loop de alerta.
Lendo um link ausente sem pânico
Um link que ainda não está no índice é um caso diferente de um link que foi removido. Misturá-los leva a decisões erradas, então verifique qual é o caso antes de agir.
Comece pela página. Se ainda estiver ativa e o link estiver lá, o índice está simplesmente atrasado. Aguarde a próxima atualização antes de concluir qualquer coisa sobre a página ou o site.
Mais recente que a última atualização
A maioria dos links ausentes é recente. Anote a data em que encontrou o link e compare com a data da última atualização. Uma lacuna de algumas semanas é normal para um índice mensal.
Um link que você encontrou na terça-feira e verificou na sexta-feira não teve tempo de chegar ao índice, então a lacuna é esperada, não alarmante.
Removido, movido ou nunca indexado
Alguns links realmente se foram. A página foi excluída, o link foi editado para fora, ou a página agora está atrás de um login. Verifique a página em si. Se o link estiver lá e o índice ainda não o tiver, isso é uma questão de índice, não uma mudança no outro site.
Anote qual caso você encontrou, porque a correção é diferente para cada um.
Três atualizações de links do Google que definiram o ritmo
Penguin 4.0
O Google disse que seu sinal de spam de links se tornou parte do algoritmo principal e foi executado em tempo real, do lado deles.
Atualização de spam de links
O Google anunciou uma atualização do SpamBrain destinada a neutralizar links spammy em vez de contá-los.
Atualizações Core e Spam
Uma grande rollout de março mudou como o Google lidava com conteúdo de baixo valor e links manipulativos, e levou semanas para se estabilizar.
O que fazer quando você precisa de prova hoje
Verificar leva menos tempo do que discutir sobre isso. Visualize o código-fonte da página. Procure sua URL, o anchor text e qualquer atributo nofollow, sponsored ou ugc.
Para um conjunto maior, busque as páginas linkantes você mesmo com um script educado e um delay, e faça grep no HTML pelo seu domínio. Isso é um trabalho diferente de pedir ao índice, e é o único que vê um link publicado há uma hora.
Um ritmo mensal que permanece barato
Imagine um site pequeno com um domínio alvo. O job roda toda segunda-feira, escreve um arquivo e não faz nada mais até o primeiro do mês. Isso se alinha com a atualização. O uso de créditos permanece estável.
A primeira segunda-feira de cada mês é o dia da comparação. Abra os dois arquivos mais recentes, conte os domínios novos e desaparecidos e escreva uma linha nas suas notas. Dez minutos geralmente são suficientes. Essas notas se tornam um histórico que você pode confiar.
Mantenha a comparação no mesmo lugar todo mês, para que o histórico seja lido como uma única linha.
O que fazer com um pico
Um salto repentino em novas linhas após uma atualização é normal, já que o índice pode recuperar várias semanas de uma vez. Leia uma amostra dos novos domínios antes de decidir se é uma campanha ou um problema.
Se o pico for um domínio com centenas de linhas, procure um template ou um widget antes de ler isso como uma campanha.
O que fazer com um mês tranquilo
Um mês plano é frequentemente apenas um mês plano. Verifique se o job rodou e escreveu um arquivo, porque um job que parou silenciosamente parece exatamente como um índice tranquilo.
Perguntas sobre tempo real, respondidas
As mesmas poucas perguntas surgem toda vez que um cronograma é configurado pela primeira vez.
Existe um verificador de backlinks verdadeiramente em tempo real?
Não um que cubra a web inteira. Qualquer ferramenta que promete tempo real está descrevendo um crawler com um atraso, e o atraso é a parte a ser questionada. O nosso atualiza cerca de uma vez por mês, e a página diz isso.
Com que frequência um script deve chamar a API?
Semanal é suficiente para um pull e mensal para comparar tendências. Polling mais frequentemente custa créditos e retorna as mesmas linhas até que o índice seja atualizado.
Por que outra ferramenta pode mostrar um link que minha API não mostra?
Cada índice faz crawl de uma fatia diferente da web em seu próprio cronograma. Um link pode chegar a um índice antes de outro, então compare tendências dentro de uma única fonte em vez de entre duas.
Posso receber um email quando um novo link aparecer?
Apenas se o seu job enviar um. Um script agendado pode comparar duas extrações datadas e postar os novos domínios para email ou chat. Mantenha os alertas de falha também, para que uma quebra silenciosa não passe despercebida.
Um retry gasta créditos duas vezes?
Um retry após um timeout pode gastar uma segunda chamada, é por isso que o wrapper acima para em 401 e 402 e espera entre as tentativas. Leia _credits antes e depois de cada execução para ver quanto o job realmente custa.
Custo do hábito
Polling dos refdomains de um domínio a cada hora são 24 chamadas por dia a 2 créditos cada, então 48 créditos ou $0,0048 por dia. Barato em dinheiro, inútil em informação. Semanal custa um sétimo de um polling diário e mostra a mesma coisa.
