Realtime backlinkcheck: mythe, realiteit en een retry-tabel
Elke tool met dat label is een crawler met een vertraging. Onze vernieuwt ongeveer maandelijks. Hier lees je hoe je dat kunt omzeilen zonder credits te verspillen.
Redactieteam van Linkzoid ·
Mythe versus realiteit
Mythe
Realiteit
Pollen per uur vangt een nieuwe link eerder
De index verandert ongeveer één keer per maand, dus 29 van de 30 polls leveren dezelfde rijen op
Een ontbrekende link betekent dat deze is verwijderd
De link is misschien gewoon nieuwer dan de laatste vernieuwing
Verser is altijd beter
Voor trends is een stabiele maandelijkse snapshot beter dan een ruisende dagelijkse
Search Console is dezelfde data
Het toont wat Google rapporteert voor jouw eigendom, wat een ander, gedeeltelijk beeld is
Een betaald plan maakt de crawl direct
Geen enkele vendor crawlt elke pagina elke dag
Werken met een maandelijkse index
Het meeste werk is één gewoonte: wekelijks uitvoeren, maandelijks vergelijken.
Als je net een link hebt gebouwd en bewijs wilt, wacht dan niet op een index. Open de pagina, bekijk de broncode en controleer de anchor en het rel-attribuut. Wacht daarna op de volgende vernieuwing. Google zelf heeft dagen of weken nodig om opnieuw te crawlen, en de wijziging van Penguin 4.0 in 2016 maakte alleen zijn eigen verwerking realtime, niet wat third-party tools kunnen zien.
Een realtime backlinkcheck in de strikte zin zou de hele web moeten bewaken. Niemand doet dat, en de goedkope truc om elke uur een verouderde database opnieuw te queryen, verspillt alleen credits voor hetzelfde antwoord.
Alerts voor nieuwe links, en waarom ze teleurstellen
Mensen vragen vaak om een alert op het moment dat een link verschijnt. Dat is een redelijk verzoek. Het eerlijke antwoord is dat een maandelijkse index dit niet kan leveren, omdat een link die vandaag op het web verschijnt wekenlang niet in enige index kan verschijnen.
Alerts die op herhaaldelijk pollen zijn gebaseerd, zien er druk uit en vertellen je niets nieuws. De drie subsecties hieronder leggen uit waar de inspanning naartoe gaat, en wat een rustigere opstelling wel kan doen.
Wat een alert eigenlijk kan zien
Een alert kan alleen bewaken wat de index al bevat. Tussen vernieuwingen komen dezelfde rijen terug, en een alert die afvinkt op identieke data is gewoon ruis in je inbox.
Pollen voegt calls toe, geen rijen
Pollen per uur stuurt veel requests voor één antwoord. De kostennota aan het einde van deze pagina toont de rekenkunde. De rekening groeit met de frequentie terwijl de rijen op hun plaats blijven.
Een gedateerde pull doet hetzelfde werk
Een wekelijkse job schrijft een gedateerd bestand, en een diff met vorige week toont wat er is veranderd. Het resultaat komt overeen met de echte ritme van de data, en je hoort nog steeds over nieuwe rijen binnen een week.
Het bestand is ook je bewijs wanneer iemand vraagt wat er vorige maand is veranderd. Houd de bestandsnaam identiek van run tot run, zodat de bestanden zichzelf sorteren.
Foutoplossingstabel voor loops
Antwoord
Betekenis
Wat het script moet doen
HTTP 401
Sleutel ontbreekt of is fout
Stoppen, alerten, niet opnieuw proberen
HTTP 402
Credits zijn op
Stoppen, bijvullen met USDT, handmatig opnieuw uitvoeren
ok: false met 200
Foute parameter, zoals een onbekende actie
Log de body en faal de job
Time-out of 5xx
Netwerk- of serverstoring
Twee keer opnieuw proberen met een wachttijd van 10 en 60 seconden
Rijen onder total
Je paging stopte te vroeg
Fix de loop; de data is in orde
Salda daalt sneller dan gepland
Een loop haalt pagina's opnieuw op
Vergelijk _credits voor en na elke run
Een retry-wrapper die niet dubbel uitgeeft
Alleen tijdelijke fouten worden opnieuw geprobeerd. 401 en 402 stoppen direct.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Zet de kosten in één regel. Een wekelijkse refdomains-pull voor één domein kost 2 credits, dus ongeveer $0,01 per jaar.
Behandel elke belofte van een realtime backlinkcheck met argwaan, de onze inbegrepen. Het eerlijke label voor wat je kunt scripten is een maandelijkse index met een wekelijkse gewoonte eromheen, wat nog steeds beter is dan een handmatige check elk kwartaal.
Stel een versheidcontrole in die past bij de data
Deze vier stappen vervangen een alert door een gewoonte die je kunt volhouden.
01
Kies één frequentie
Wekelijks voor de pull, maandelijks voor de vergelijking. Schrijf beide in de repo-notities zodat de planning niet langzaam afwijkt.
02
Bewaar de ruwe response
Sla de JSON ongewijzigd op onder de datum van vandaag. Je kunt later elk aantal opnieuw berekenen, en je hoeft nooit een samenvatting te vertrouwen die je niet kunt controleren.
03
Vergelijk sets, geen totalen
Tel wat er is bijgekomen en wat is verdwenen tussen twee pulls. Een totale telling die vlak blijft, kan een uitwisseling van vijftig domeinen verbergen.
04
Stop de loop bij de eerste fout
Een 401, een 402 of een ok die false is, beëindigt de run. De volgende geplande run probeert het opnieuw, wat goedkoper is dan elke alert-loop.
Een ontbrekende link lezen zonder paniek
Een link die nog niet in de index zit, is een ander geval dan een link die is verwijderd. Ze door elkaar halen leidt tot foute beslissingen, dus controleer welk geval je hebt voordat je handelt.
Begin met de pagina. Als deze nog live is en de link er nog staat, is de index gewoon achter. Wacht op de volgende vernieuwing voordat je conclusies trekt over de pagina of de site.
Nieuwer dan de laatste vernieuwing
De meeste ontbrekende links zijn recent. Noteer de datum waarop je de link vond, en vergelijk deze met de datum van de laatste vernieuwing. Een gap van een paar weken is normaal voor een maandelijkse index.
Een link die je op dinsdag vond en op vrijdag controleerde, had nog geen tijd om de index te bereiken, dus de gap is verwacht en niet alarmerend.
Verwijderd, verplaatst of nooit geïndexeerd
Sommige links zijn echt weg. De pagina is verwijderd, de link is eruit bewerkt, of de pagina zit nu achter een login. Controleer de pagina zelf. Als de link er nog staat en de index mist hem nog steeds, is dat een indexvraag, geen wijziging op de andere site.
Schrijf op welk geval je hebt gevonden, omdat de oplossing voor elk geval anders is.
Drie Google link-updates die het tempo bepalen
Penguin 4.0
Google zei dat zijn link-spam-signaal deel ging uitmaken van de core-algoritme en realtime zou draaien, aan hun kant.
Link spam update
Google kondigde een SpamBrain-update aan gericht op het neutraliseren van spammy links in plaats van het tellen ervan.
Core en spam updates
Een grote maart-rollout veranderde hoe Google omging met low-value content en manipulatieve links, en het kostte weken om zich te stabiliseren.
Wat te doen als je vandaag bewijs nodig hebt
Controleren duurt minder tijd dan erover discussiëren. Bekijk de paginabron. Zoek naar je URL, de anchor text en eventuele nofollow, sponsored of ugc-attributen.
Voor een grotere set haal je de linking pages zelf op met een beleefd script en een delay, en grep je de HTML op je domein. Dat is een andere taak dan een index vragen, en het is de enige die een link ziet die een uur geleden is gepubliceerd.
Een maandelijkse ritme die goedkoop blijft
Stel je een kleine site met één target domain voor. De job draait elke maandag, schrijft een bestand, en doet verder niets tot de eerste van de maand. Dat komt overeen met de vernieuwing. Creditgebruik blijft stabiel.
De eerste maandag van elke maand is de vergelijkingsdag. Open de twee meest recente bestanden, tel de nieuwe en verdwenen domeinen, en schrijf één regel in je notities. Tien minuten is meestal genoeg. Die notities worden een geschiedenis die je kunt vertrouwen.
Houd de vergelijking elke maand op dezelfde plek, zodat de geschiedenis als één regel leest.
Wat te doen met een spike
Een plotselinge sprong in nieuwe rijen na een vernieuwing is normaal, omdat de index misschien meerdere weken in één keer inhalen. Lees een sample van de nieuwe domeinen voordat je beslist of het een campagne of een probleem is.
Als de spike één domein is met honderden rijen, zoek dan naar een template of widget voordat je het als een campagne leest.
Wat te doen met een stille maand
Een vlakke maand is vaak gewoon een vlakke maand. Controleer of de job draaide en een bestand schreef, omdat een job die stil stopt er precies hetzelfde uitziet als een stille index.
Realtime vragen, beantwoord
Dezelfde paar vragen komen elke keer terug als een schema voor de eerste keer wordt ingesteld.
Is er een echt realtime backlinkcheck?
Geen enkele die de hele web dekt. Elke tool die realtime belooft, beschrijft een crawler met een vertraging, en de vertraging is het deel waar je naar moet vragen. Onze vernieuwt ongeveer één keer per maand, en de pagina zegt dat ook.
Hoe vaak moet een script de API aanroepen?
Wekelijks is genoeg voor een pull en maandelijks voor het vergelijken van trends. Vaker pollen kost credits en levert dezelfde rijen op totdat de index vernieuwt.
Waarom kan een andere tool een link tonen die mijn API niet toont?
Elke index crawlt een ander deel van de web op zijn eigen schema. Een link kan één index bereiken voordat een andere, dus vergelijk trends binnen één bron in plaats van over twee.
Kan ik een e-mail krijgen wanneer een nieuwe link verschijnt?
Alleen als je job er een stuurt. Een gepland script kan twee gedateerde pulls vergelijken en de nieuwe domeinen naar e-mail of chat posten. Houd failure alerts ook aan, zodat een stille breuk niet onopgemerkt blijft.
Verspilt een retry credits twee keer?
Een retry na een time-out kan een tweede call kosten, vandaar dat de wrapper hierboven stopt bij 401 en 402 en wacht tussen pogingen. Lees _credits voor en na elke run om te zien wat de job echt kost.
Kosten van de gewoonte
Pollen van refdomains van één domein per uur is 24 calls per dag bij 2 credits elk, dus 48 credits of $0,0048 per dag. Goedkoop in geld, nutteloos in informatie. Wekelijks kost een zevende van een dagelijkse poll en toont hetzelfde.
