Kontrola zpětných odkazů v reálném čase: mýtus, realita a tabulka opakování
Každý nástroj s tímto označením je crawler s určitým zpožděním. Náš se obnovuje přibližně měsíčně. Zde je návod, jak to obejít bez plýtvání kredity.
Redakce Linkzoid ·
Mýtus proti realitě
Mýtus
Realita
Polling každou hodinu zachytí nový odkaz dříve
Index se mění přibližně jednou měsíčně, takže 29 ze 30 pollingů vrátí stejné řádky
Chybějící odkaz znamená, že byl odstraněn
Může to být jednoduše novější než poslední obnova
Čerstvější je vždy lepší
Pro trendy je stabilní měsíční snímek lepší než hlučný denní
Search Console poskytuje stejná data
Ukazuje, co Google hlásí pro váš vlastnictví, což je jiný, částečný pohled
Placený plán zajišťuje okamžitý crawl
Žádný dodavatel necrawluje každou stránku každý den
Jak pracovat s měsíčním indexem
Většina práce spočívá v jedné návyku: spouštět týdně, porovnávat měsíčně.
Pokud jste právě vytvořili odkaz a chcete důkaz, nečekejte na žádný index. Otevřete stránku, zobrazte zdrojový kód a potvrďte anchor text a atribut rel. Poté počkejte na další obnovu. Samotný Google potřebuje k opětovnému otestování dny nebo týdny a změna v roce 2016 u Penguin 4.0 učinila pouze vlastní zpracování Google v reálném čase, nikoliv to, co mohou vidět nástroje třetích stran.
Kontrola zpětných odkazů v reálném čase ve přísném smyslu by musela sledovat celý web. Nikdo to nedělá a levný trik znovuzadávání staré databáze každou hodinu jen vyčerpává kredity za stejnou odpověď.
Upozornění na nové odkazy a proč klamou
Lidé často žádají upozornění v okamžiku, kdy odkaz vznikne. Žádost je rozumná. Poctivá odpověď zní, že měsíční index to nedokáže poskytnout, protože odkaz, který se objeví na webu dnes, se může v indexu objevit až za týdny.
Upozornění založená na opakovaném pollingů vypadají rušivě a neříkají nic nového. Níže uvedené tři podsekce vysvětlují, kam úsilí směřuje, a co může tišší nastavení udělat místo toho.
Co upozornění ve skutečnosti vidí
Upozornění může sledovat pouze to, co index již obsahuje. Mezi obnovami se vrátí stejné řádky a upozornění, které se spustí na identických datech, je jen šum ve vašem inboxu.
Polling přidává volání, ne řádky
Hodinový polling odesílá mnoho požadavků na jednu odpověď. Poznámka o nákladech na konci této stránky ukazuje aritmetiku. Účet roste s frekvencí, zatímco řádky zůstávají stejné.
Stažení s datem vykoná stejnou práci
Týdenní úloha zapíše soubor s datem a diff oproti minulému týdnu ukáže, co se změnilo. Výsledek odpovídá skutečnému rytmu dat a stále se dozvíte o nových řádcích do týdne.
Soubor je také vaším důkazem, když se někdo zeptá, co se změnilo minulý měsíc. Udržujte stejný název od spuštění ke spuštění, aby se soubory třídily samy.
Tabulka řešení problémů pro smyčky
Odpověď
Význam
Co by měl skript dělat
HTTP 401
Chybějící nebo nesprávný klíč
Zastavit, upozornit, neopakovat
HTTP 402
Došly kredity
Zastavit, doplnit USDT, spustit ručně
ok: false s kódem 200
Špatný parametr, např. neznámá akce
Logovat tělo a ukončit úlohu
Časový limit nebo 5xx
Problém sítě nebo serveru
Opakovat dvakrát s čekáním 10 a 60 sekund
Řádky pod total
Vaše stránkování skončilo předčasně
Opravit smyčku; data jsou v pořádku
Zůstatek klesá rychleji, než bylo plánováno
Smyčka znovu načítá stránky
Porovnat _credits před a po každém spuštění
Obal pro opakování, který nevyčerpá kredity dvakrát
Opakují se pouze přechodné chyby. 401 a 402 ukončí běh okamžitě.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Uveďte náklady na jednom řádku. Týdenní stažení refdomains pro jednu doménu stojí 2 kredity, tedy přibližně 0,01 $ ročně.
Vezměte s rezervou každé sliby o kontrolě zpětných odkazů v reálném čase, včetně našich. Poctivé označení toho, co můžete skriptovat, je měsíční index s týdenním návykem kolem něj, což stále překoná ruční kontrolu každé čtvrtletí.
Nastavte kontrolu čerstvosti, která odpovídá datům
Tyto čtyři kroky nahradí upozornění návykem, který můžete udržet.
01
Vyberte jednu frekvenci
Týdně pro stažení, měsíčně pro porovnání trendů. Zapište obě do poznámek v repozitáři, aby se harmonogram časem nedeformoval.
02
Uložte surovou odpověď
Uložte JSON beze změny pod dnešním datem. Jakékoliv číslo můžete později přepočítat a nikdy nemusíte věřit souhrnu, který nemůžete zkontrolovat.
03
Porovnávejte sady, ne celkové počty
Spočítejte, co přišlo a co zmizelo mezi dvěma staženími. Celkový počet, který zůstává stejný, může skrývat výměnu padesáti domén.
04
Zastavte smyčku při první chybě
401, 402 nebo ok false ukončí běh. Další plánované spuštění se pokusí znovu, což je levnější než jakákoliv smyčka upozornění.
Čtení chybějícího odkazu bez paniky
Odkaz, který ještě není v indexu, je jiný případ než odkaz, který byl odstraněn. Záměna vede k nesprávným rozhodnutím, takže před akcí zkontrolujte, o který případ jde.
Začněte stránkou. Pokud je stále živá a odkaz je na ní, index je jednoduše pozadu. Počkejte na další obnovu, než vyvodíte nějaké závěry o stránce nebo webu.
Novější než poslední obnova
Většina chybějících odkazů je nedávná. Zapište si datum, kdy jste odkaz našli, a porovnejte jej s datem poslední obnovy. Mezera několika týdnů je u měsíčního indexu normální.
Odkaz, který jste našli v úterý a zkontrolovali v pátek, nestihl dorazit do indexu, takže mezera je očekávaná, nikoliv alarmující.
Odstraněno, přesunuto nebo nikdy neindexováno
Některé odkazy opravdu zmizely. Stránka byla smazána, odkaz byl odstraněn nebo stránka nyní vyžaduje přihlášení. Zkontrolujte samotnou stránku. Pokud je odkaz na ní a index ho stále nemá, jde o problém indexu, nikoliv o změnu na jiném webu.
Zapište si, jaký případ jste našli, protože oprava je pro každý případ jiná.
Tři aktualizace odkazů od Google, které určují tempo
Penguin 4.0
Google uvedl, že jeho signál proti spamu se stal součástí základního algoritmu a běží v reálném čase na jeho straně.
Aktualizace spamu odkazů
Google oznámil aktualizaci SpamBrain zaměřenou na neutralizaci spamových odkazů místo jejich počítání.
Základní a spamové aktualizace
Velká březnová aktualizace změnila, jak Google zachází s obsahem nízké hodnoty a manipulačními odkazy, a trvala týdny, než se ustálila.
Co dělat, když potřebujete důkaz dnes
Kontrola trvá méně času než hádání o ní. Zobrazte zdrojový kód stránky. Hledejte svou URL, anchor text a atributy nofollow, sponsored nebo ugc.
Pro větší sadu si stáhněte odkazující stránky sami pomocí slušného skriptu s prodlevou a grepujte HTML pro svou doménu. To je jiná práce než ptát se na index a je to jediná, která uvidí odkaz publikovaný před hodinou.
Měsíční rytmus, který zůstává levný
Představte si malý web s jednou cílovou doménou. Úloha běží každý pondělí, zapíše soubor a nic jiného nedělá až do prvního v měsíci. To ladí s obnovou. Využití kreditů zůstává stejné.
První pondělí každého měsíce je den porovnání. Otevřete dva nejnovější soubory, spočítejte nové a zmizelé domény a zapište jeden řádek do poznámek. Obvykle stačí deset minut. Tyto poznámky se stanou historií, které můžete věřit.
Udržujte porovnání na stejném místě každý měsíc, aby historie čítala jako jeden řádek.
Co dělat s nárůstem
Náhlý skok v nových řádcích po obnově je normální, protože index může dohnat několik týdnů najednou. Přečtěte si vzorek nových domén, než rozhodnete, zda jde o kampaň nebo problém.
Pokud je nárůst jedna doména s hundreds řádky, hledejte šablonu nebo widget, než to čtete jako kampaň.
Co dělat s klidným měsícem
Klidný měsíc je často jen klidný měsíc. Zkontrolujte, zda úloha běžela a zapsala soubor, protože úloha, která tiše přestala, vypadá přesně jako klidný index.
Otázky o reálném čase zodpovězeny
>Stejné pár otázek se objeví pokaždé, když se nastaví harmonogram poprvé.
Existuje opravdu kontrola zpětných odkazů v reálném čase?
Ne taková, která pokrývá celý web. Jakýkoli nástroj, který slibuje reálný čas, popisuje crawler se zpožděním a zpoždění je část, na kterou se ptát. Náš se obnovuje přibližně jednou měsíčně a stránka to uvádí.
Jak často by měl skript volat API?
Týdně stačí pro stažení a měsíčně pro porovnání trendů. Častější polling stojí kredity a vrací stejné řádky, dokud se index neobnoví.
Proč jiný nástroj může zobrazit odkaz, který moje API ne?
Každý index crawluje jinou část webu ve vlastním harmonogramu. Odkaz může dorazit do jednoho indexu dříve než do druhého, takže porovnávejte trendy uvnitř jednoho zdroje spíše než napříč dvěma.
Mohu dostávat e-mail, když se objeví nový odkaz?
Pouze pokud to vaše úloha pošle. Plánovaný skript může porovnat dvě stažení s datem a poslat nové domény na e-mail nebo chat. Udržte také upozornění na selhání, aby tichá přestávka neunikla.
Způsobí opakování dvojnásobné vyčerpání kreditů?
Opakování po časovém limitu může spotřebovat druhé volání, proto obal výše ukončí na 401 a 402 a čeká mezi pokusy. Přečtěte si _credits před a po každém spuštění, abyste viděli, kolik úloha skutečně stojí.
Náklady na návyk
Polling refdomains jedné domény každou hodinu je 24 volání denně při 2 kreditech každé, tedy 48 kreditů nebo 0,0048 $ denně. Levné v penězích, zbytečné v informacích. Týdně stojí jednu sedminu denního pollingu a ukazuje stejnou věc.