Räknare för backlänkar i realtid: myt, verklighet och en tabell för omförsök
Varje verktyg med den etiketten är en crawler med en fördröjning. Vårt uppdateras ungefär en gång i månaden. Här är hur du skripar runt det utan att slösa krediter.
Linkzoids redaktionella team ·
Myt mot verklighet
Myt
Verklighet
Pollning varannan timme fångar en ny länk tidigare
Indexet ändras ungefär en gång i månaden, så 29 av 30 pollningar returnerar samma rader
En saknad länk betyder att den har tagits bort
Den kan helt enkelt vara nyare än den senaste uppdateringen
Färska är alltid bättre
För trender slår en stabil månatlig ögonblicksbild en brusig daglig
Search Console har samma data
Den visar vad Google rapporterar för din egendom, vilket är en annan, partiell vy
Ett betalkonto gör crawlingen omedelbar
Ingen leverantör crawlar varje sida varje dag
Hur man arbetar med ett månatligt index
Det mesta av arbetet är en vana: kör veckovis, jämför månatligen.
Om du precis byggt en länk och vill ha bevis, vänta inte på något index. Öppna sidan, visa källkoden och bekräfta ankartexten och rel-attributet. Vänta sedan på nästa uppdatering. Google behöver själv dagar eller veckor för att crawla om, och förändringen i Penguin 4.0 2016 gjorde bara dess egen bearbetning realtids, inte vad tredjepartsverktyg kan se.
En räknare för backlänkar i realtid i strikt mening skulle behöva bevaka hela webben. Ingen gör det, och den billiga tricken att fråga om en föråldrad databas varannan timme spenderar bara krediter på samma svar.
Varningar för nya länkar, och varför de besviker
Människor frågar ofta efter en varning i det ögonblick en länk landar. Begäran är rimlig. Det ärliga svaret är att ett månatligt index inte kan leverera det, eftersom en länk som dyker upp på webben idag kanske inte når något index på veckor.
Varningar byggda på upprepade pollningar ser upptagna ut och berättar inget nytt. De tre underrubrikerna nedan förklarar var ansträngningen går, och vad en tystare installation kan göra istället.
Vad en varning faktiskt kan se
En varning kan bara bevaka vad indexet redan innehåller. Mellan uppdateringar kommer samma rader tillbaka, och en varning som utlöses på identisk data är bara brus i din inkorg.
Pollning lägger till anrop, inte rader
Pollning varannan timme skickar många begäranden för ett svar. Kostnadsnoteringen i slutet av denna sida visar aritmetiken. Fakturan växer med frekvensen medan raderna stannar.
En daterad hämtning gör samma jobb
En veckovis jobb skriver en daterad fil, och en diff mot förra veckan visar vad som har ändrats. Resultatet matchar datans verkliga rytm, och du hör fortfarande om nya rader inom en vecka.
Filen är också ditt bevis när någon frågar vad som hände förra månaden. Behåll namngivningen identisk från körning till körning, så att filerna sorterar sig själva.
Felsökningstabell för loopar
Svar
Betydelse
Vad skriptet ska göra
HTTP 401
Nyckel saknas eller fel
Stoppa, varna, försök inte igen
HTTP 402
Krediterna tog slut
Stoppa, ladda upp med USDT, kör om manuellt
ok: false med 200
Fel parameter som en okänd åtgärd
Logga kroppen och misslyckas med jobbet
Timeout eller 5xx
Nätverks- eller serverhickup
Försök igen två gånger med en väntan på 10 och 60 sekunder
Rader under total
Din paginering slutade tidigt
Fixa loopen; datan är okej
Balansen sjunker snabbare än planerat
En loop hämtar sidor om igen
Jämför _credits före och efter varje körning
En retry-wrapper som inte spenderar krediter dubbelt
Endast tillfälliga fel försöks igen. 401 och 402 avslutas direkt.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Sätt kostnaden på en rad. En veckovis refdomains-hämtning för ett domän är 2 krediter, så ungefär $0,01 om året.
Behandla alla löften om en räknare för backlänkar i realtid med misstank, inklusive vårt. Den ärliga etiketten för det du kan skripa är ett månatligt index med en veckovis vana runt det, vilket fortfarande slår en manuell kontroll varannan kvartal.
Ställ in en färschhetskontroll som passar datan
Dessa fyra steg ersätter en varning med en vana du kan behålla.
01
Välj en rytm
Veckovis för hämtningen, månatlig för jämförelsen. Skriv båda i repo-noterna så att schemat inte glider över tid.
02
Lagra det råa svaret
Spara JSON:et orört under dagens datum. Du kan beräkna om vilket nummer som helst senare, och du behöver aldrig lita på en sammanfattning du inte kan kontrollera.
03
Jämför set, inte totaler
Räkna vad som kom och vad som försvann mellan två hämtningar. En total som stannar kan dölja en utbyte av femtio domäner.
04
Stoppa loopen på det första felet
En 401, en 402 eller en ok som är false avslutar körningen. Nästa schemalagda körning försöker igen, vilket är billigare än varje varningsloop.
Att läsa en saknad länk utan panik
En länk som inte är i indexet än är ett annat fall än en länk som har tagits bort. Att blanda ihop dem leder till fel beslut, så kontrollera vilket du har innan du agerar.
Börja med sidan. Om den fortfarande är live och länken finns där, är indexet helt enkelt bakom. Vänta på nästa uppdatering innan du drar slutsats om sidan eller webbplatsen.
Nyare än den senaste uppdateringen
De flesta saknade länkar är nya. Notera datumet du hittade länken, och jämför det med datumet för den senaste uppdateringen. En glipa på några veckor är normal för ett månatligt index.
En länk du hittade på tisdag och kontrollerade på fredag har inte haft tid att nå indexet, så glipan är förväntad snarare än alarmerande.
Borttagen, flyttad eller aldrig indexerad
Vissa länkar är verkligen borta. Sidan raderades, länken redigerades bort, eller sidan sitter nu bakom en inloggning. Kontrollera sidan själv. Om länken finns där och indexet fortfarande saknar den, är det ett indexfråga, inte en förändring på den andra webbplatsen.
Skriv ner vilket fall du hittade, eftersom fixen är annorlunda för varje en.
Tre Google-länkuppdateringar som satte takten
Penguin 4.0
Google sa att dess link-spam-signal blev en del av kärnalgorithm och kördes i realtid, på sin egen sida.
Länkspam-uppdatering
Google tillkännagav en SpamBrain-uppdatering som syftade till att neutralisera spammy-länkar istället för att räkna dem.
Kärn- och spam-uppdateringar
En stor marsrullning ändrade hur Google hanterade innehåll av lågt värde och manipulerande länkar, och tog veckor att släta ut.
Vad man ska göra när man behöver bevis idag
Att kontrollera tar mindre tid än att argumentera om det. Visa sidkällkoden. Leta efter din URL, ankartexten och eventuella nofollow, sponsored eller ugc-attribut.
För en större uppsättning, hämta länksidorna själv med ett artigt skript och en fördröjning, och grep HTML:en för ditt domän. Det är ett annat jobb från att fråga ett index, och det är det enda som ser en länk publicerad en timme sedan.
En månatlig rytm som förblir billig
Tänk dig en liten webbplats med ett måldomän. Jobbet körs varje måndag, skriver en fil, och gör inget annat fram till första i månaden. Det stämmer överens med uppdateringen. Kreditanvändningen förblir platt.
Första måndagen i varje månad är jämförelsedagen. Öppna de två senaste filerna, räkna de nya och försvunna domänerna, och skriv en rad i dina anteckningar. Tio minuter är oftast tillräckligt. Dessa anteckningar blir en historia du kan lita på.
Behåll jämförelsen på samma ställe varje månad, så att historien läses som en rad.
Vad man ska göra med en topp
En plötslig hopp i nya rader efter en uppdatering är normalt, eftersom indexet kan hänga på flera veckor på en gång. Läs ett urval av de nya domänerna innan du bestämmer om det är en kampanj eller ett problem.
Om toppen är ett domän med hundratals rader, leta efter en mall eller en widget innan du läser det som en kampanj.
Vad man ska göra med en tyst månad
En platt månad är ofta bara en platt månad. Kontrollera att jobbet körde och skrev en fil, eftersom ett jobb som tystnade ser exakt ut som en tyst index.
Realtidsfrågor, besvarade
De samma få frågorna dyker upp varje gång ett schema ställs in för första gången.
Finns det en verkligen realtids räknare för backlänkar?
Inte en som täcker hela webben. Varje verktyg som lovar realtid beskriver en crawler med en fördröjning, och fördröjningen är delen att fråga om. Vårt uppdateras ungefär en gång i månaden, och sidan säger så.
Hur ofta ska ett skript anropa API:et?
Veckovis är tillräckligt för en hämtning och månatlig för att jämföra trender. Polla oftare kostar krediter och returnerar samma rader tills indexet uppdateras.
Varför kan ett annat verktyg visa en länk som mitt API inte gör?
Varje index crawlar en annan skiva av webben på sitt eget schema. En länk kan nå ett index innan ett annat, så jämför trender inom en källa snarare än över två.
Kan jag få ett e-postmeddelande när en ny länk dyker upp?
Endast om ditt jobb skickar ett. Ett schemalagt skript kan jämföra två daterade hämtningar och posta de nya domänerna till e-post eller chatt. Håll också felvarningar på, så att en tyst brytning inte går obemärkt förbi.
Kostar en retry krediter två gånger?
En retry efter en timeout kan spendera ett andra anrop, vilket är varför omvandlaren ovan stannar på 401 och 402 och väntar mellan försöken. Läs _credits före och efter varje körning för att se vad jobbet faktiskt kostar.
Kostnaden för vanan
Pollning av ett domäns refdomains varannan timme är 24 anrop om dagen vid 2 krediter vardera, så 48 krediter eller $0,0048 om dagen. Billigt i pengar, meningslöst i information. Veckovis kostar en sjundedel av en daglig pollning och visar samma sak.
