Verificator de backlink-uri în timp real: mit, realitate și un tabel de reîncercare
Fiecare instrument cu această etichetă este un crawler cu o întârziere. Al nostru se reîmprospătează aproximativ lunar. Iată cum poți scrie scripturi pentru a ocoli această limitare fără a risipi credite.
Echipa editorială Linkzoid ·
Mit versus realitate
Mit
Realitate
Interogarea orară prinde un link nou mai devreme
Indexul se modifică aproximativ o dată pe lună, astfel încât 29 din 30 de interogări returnează aceleași rânduri
Un link lipsă înseamnă că a fost eliminat
Este posibil să fie pur și simplu mai nou decât ultima reîmprospatare
Mai proaspăt este întotdeauna mai bine
Pentru tendințe, o instantaneu lunar stabil bate unul zilnic zgomotos
Search Console are aceleași date
Arată ce raportează Google pentru proprietatea ta, care este o perspectivă diferită și parțială
Un plan plătit face crawl-ul instant
Niciun vendor nu face crawl la fiecare pagină în fiecare zi
Cum să lucrezi cu un index lunar
Majoritatea muncii constă într-un singur obicei: rulează săptămânal, compară lunar.
Dacă tocmai ai construit un link și vrei dovadă, nu aștepta indexarea. Deschide pagina, vizualizează sursa și confirmă anchor text-ul și atributul rel. Apoi așteaptă următoarea reîmprospatare. Însuși Google are nevoie de zile sau săptămâni pentru a recrawl-ui, iar modificarea Penguin 4.0 din 2016 a făcut doar procesarea proprie real-time, nu ceea ce pot vedea instrumentele terțe.
Un verificator de backlink-uri în timp real în sensul strict ar necesita monitorizarea întregului web. Nimeni nu face acest lucru, iar trucul ieftin de a reinteroga o bază de date învechită în fiecare oră cheltuiește credite pentru același răspuns.
Alerte pentru link-uri noi și de ce dezamăgesc
Oamenii cer adesea o alertă în momentul în care un link apare. Solicitarea este rezonabilă. Răspunsul onest este că un index lunar nu o poate livra, deoarece un link care apare pe web astăzi poate să nu ajungă în niciun index timp de săptămâni.
Alertele construite pe baza interogărilor repetate par ocupate și nu îți spun nimic nou. Cele trei subsecțiuni de mai jos explică unde se duce efortul și ce poate face în schimb o configurație mai liniștită.
Ce poate vedea de fapt o alertă
O alertă poate monitoriza doar ceea ce indexul deține deja. Între reîmprospatări se returnează aceleași rânduri, iar o alertă care se declanșează pe date identice este doar zgomot în inbox-ul tău.
Interogarea adaugă apeluri, nu rânduri
Interogarea orară trimite multe solicitări pentru un singur răspuns. Nota de cost de la sfârșitul acestei pagini arată aritmetica. Factura crește cu frecvența, în timp ce rândurile rămân neschimbate.
O extragere datată face aceeași treabă
Un job săptămânal scrie un fișier datat, iar o diferențiere față de săptămâna trecută arată ce s-a schimbat. Rezultatul se potrivește cu ritmul real al datelor, iar totuși afli despre rândurile noi în decurs de o săptămână.
Fișierul este, de asemenea, dovada ta când cineva întreabă ce s-a schimbat luna trecută. Păstrează denumirea identică de la o execuție la alta, astfel încât fișierele să se sorteze singure.
Tabel de depanare pentru bucle
Răspuns
Semnificație
Ce ar trebui să facă scriptul
HTTP 401
Cheie lipsă sau greșită
Oprește, alertează, nu reîncerca
HTTP 402
Creditele s-au epuizat
Oprește, reîncarcă cu USDT, rulează manual
ok: false cu 200
Parametru greșit, cum ar fi o acțiune necunoscută
Loghează corpul și eșuează jobul
Timeout sau 5xx
Probleme de rețea sau server
Reîncearcă de două ori cu o așteptare de 10 și 60 de secunde
Rânduri sub total
Paginare s-a oprit prematur
Corectează bucla; datele sunt corecte
Balanța scade mai repede decât era planificat
O buclă refoltește paginile
Compară _credits înainte și după fiecare execuție
Un wrapper de reîncercare care nu cheltuie de două ori creditele
Doar eșecurile tranzitorii sunt reîncercate. 401 și 402 ies imediat.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Unde te lasă acest lucru în ceea ce privește programul
Pune costul într-o singură linie. O extragere săptămânală a refdomains pentru un domeniu este de 2 credite, deci aproximativ $0.01 pe an.
Tratează cu suspiciune orice promisiune de verificator de backlink-uri în timp real, inclusiv pe a noastră. Eticheta onestă pentru ceea ce poți scriptui este un index lunar cu un obicei săptămânal în jurul lui, care tot bate o verificare manuală o dată pe trimestru.
Setează o verificare de prospețime care se potrivește cu datele
Acești pași înlocuiesc o alertă cu un obicei pe care îl poți menține.
01
Alege un singur cadru
Săptămânal pentru extragere, lunar pentru compararea tendințelor. Scrie ambele în notele repo-ului astfel încât programul să nu se abată în timp.
02
Stoarcă răspunsul brut
Salvează JSON-ul neatins sub data de azi. Poți recalcula orice număr mai târziu și nu trebuie să ai încredere într-un rezumat pe care nu îl poți verifica.
03
Compară seturi, nu totaluri
Numără ce a sosit și ce a dispărut între două extrageri. Un total care rămâne plat poate ascunde un schimb de cincizeci de domenii.
04
Oprește bucla la prima eroare
Un 401, un 402 sau un ok fals termină execuția. Următoarea execuție planificată încearcă din nou, ceea ce este mai ieftin decât orice buclă de alertă.
Citirea unui link lipsă fără panică
Un link care nu este încă în index este un caz diferit de un link care a fost eliminat. Confundarea lor duce la decizii greșite, așa că verifică care este cazul înainte de a acționa.
Începe cu pagina. Dacă este încă activă și link-ul este acolo, indexul este pur și simplu în urmă. Așteaptă următoarea reîmprospatare înainte de a trage orice concluzie despre pagină sau site.
Mai nou decât ultima reîmprospatare
Majoritatea link-urilor lipsă sunt recente. Notează data în care ai găsit link-ul și compar-o cu data ultimei reîmprospatări. Un decalaj de câteva săptămâni este normal pentru un index lunar.
Un link pe care l-ai găsit marți și l-ai verificat vineri nu a avut timp să ajungă în index, astfel încât decalajul este așteptat, nu alarmant.
Eliminat, mutat sau niciodată indexat
Unele link-uri sunt într-adevăr dispărute. Pagina a fost ștearsă, link-ul a fost eliminat sau pagina se află acum în spatele unei autentificări. Verifică pagina în sine. Dacă link-ul este acolo și indexul îl lipsește încă, aceasta este o problemă de index, nu o modificare pe celălalt site.
Scrie cazul pe care l-ai găsit, deoarece remedierea este diferită pentru fiecare.
Trei actualizări de link-uri Google care au stabilit ritmul
Penguin 4.0
Google a spus că semnalul său de spam de link-uri a devenit parte a algoritmului de bază și a funcționat în timp real, din partea lor.
Actualizare spam de link-uri
Google a anunțat o actualizare SpamBrain menită să neutralizeze link-urile spammy în loc să le numere.
Actualizări de bază și spam
O lansare mare din martie a schimbat modul în care Google a gestionat conținutul cu valoare scăzută și link-urile manipulative și a durat săptămâni până s-a așezat.
Ce să faci când ai nevoie de dovadă astăzi
Verificarea durează mai puțin timp decât dezbaterea despre ea. Vizualizează sursa paginii. Caută URL-ul tău, anchor text-ul și orice atribut nofollow, sponsored sau ugc.
Pentru un set mai mare, extrage paginile care fac link către tine folosind un script politicos cu o întârziere și grepează HTML-ul pentru domeniul tău. Aceasta este o treabă diferită de a întreba un index și este singura care vede un link publicat acum o oră.
Un ritm lunar care rămâne ieftin
Imaginează-ți un site mic cu un domeniu țintă. Jobul rulează în fiecare luni, scrie un fișier și nu face altceva până pe prima a lunii. Acest lucru se aliniază cu reîmprospatarea. Utilizarea creditelor rămâne constantă.
Prima luni a fiecărei luni este ziua de comparare. Deschide cele mai recente două fișiere, numără domeniile noi și dispărute și scrie o linie în notele tale. Zece minute sunt de obicei suficiente. Aceste note devin un istoric pe care îl poți avea încredere.
Păstrează comparația în același loc în fiecare lună, astfel încât istoricul să fie citit ca o singură linie.
Ce să faci cu un spike
O săritură bruscă în rânduri noi după o reîmprospatare este normală, deoarece indexul poate prinde câteva săptămâni odată. Citește un eșantion al domeniilor noi înainte de a decide dacă este o campanie sau o problemă.
Dacă spike-ul este un domeniu cu sute de rânduri, caută un șablon sau un widget înainte de a-l interpreta ca o campanie.
Ce să faci cu o lună liniștită
O lună plată este adesea doar o lună plată. Verifică dacă jobul a rulat și a scris un fișier, deoarece un job care s-a oprit în tăcere arată exact ca un index liniștit.
Întrebări despre real-time, răspunsuri
Aceleași câteva întrebări apar de fiecare dată când un program este configurat pentru prima dată.
Există un verificator de backlink-uri cu adevărat în timp real?
Nu unul care acoperă întregul web. Orice instrument care promite real-time descrie un crawler cu o întârziere, iar întârzierea este partea despre care trebuie să întrebi. Al nostru se reîmprospătează aproximativ o dată pe lună, iar pagina spune asta.
De câte ori ar trebui un script să apeleze API-ul?
Săptămânal este suficient pentru o extragere și lunar pentru compararea tendințelor. Interogarea mai des costă credite și returnează aceleași rânduri până când indexul se reîmprospătează.
De ce poate arăta un alt instrument un link pe care API-ul meu nu îl are?
Fiecare index face crawl la o felie diferită a web-ului pe propriul său program. Un link poate ajunge la un index înainte de altul, așa că compară tendințele în interiorul unei singure surse, nu între două.
Pot primi un email când apare un link nou?
Doar dacă jobul tău trimite unul. Un script programat poate compara două extrageri datate și poate posta domeniile noi la email sau chat. Păstrează alertele de eșec activate, astfel încât o întrerupere tăcută să nu treacă neobservată.
O reîncercare cheltuie de două ori credite?
O reîncercare după un timeout poate cheltui un al doilea apel, de aceea wrapper-ul de mai sus se oprește la 401 și 402 și așteaptă între încercări. Citește _credits înainte și după fiecare execuție pentru a vedea cât costă cu adevărat jobul.
Costul obiceiului
Interogarea refdomains-urilor unui domeniu în fiecare oră este de 24 de apeluri pe zi la 2 credite fiecare, deci 48 de credite sau $0.0048 pe zi. Ieftin în bani, inutil în informații. Săptămânal costă o șapteime dintr-o interogare zilnică și arată același lucru.
