Mýtus versus realita

Kontrola zpětných odkazů v reálném čase: mýtus, realita a tabulka opakování

Každý nástroj s tímto označením je crawler s určitým zpožděním. Náš se obnovuje přibližně měsíčně. Zde je návod, jak to obejít bez plýtvání kredity.

Dřevěný most přes údolí s jednou vlhkou deskou ukazující nedávný kontakt

Mýtus proti realitě

MýtusRealita
Polling každou hodinu zachytí nový odkaz dříveIndex se mění přibližně jednou měsíčně, takže 29 ze 30 pollingů vrátí stejné řádky
Chybějící odkaz znamená, že byl odstraněnMůže to být jednoduše novější než poslední obnova
Čerstvější je vždy lepšíPro trendy je stabilní měsíční snímek lepší než hlučný denní
Search Console poskytuje stejná dataUkazuje, co Google hlásí pro váš vlastnictví, což je jiný, částečný pohled
Placený plán zajišťuje okamžitý crawlŽádný dodavatel necrawluje každou stránku každý den

Jak pracovat s měsíčním indexem

Většina práce spočívá v jedné návyku: spouštět týdně, porovnávat měsíčně.

Pokud jste právě vytvořili odkaz a chcete důkaz, nečekejte na žádný index. Otevřete stránku, zobrazte zdrojový kód a potvrďte anchor text a atribut rel. Poté počkejte na další obnovu. Samotný Google potřebuje k opětovnému otestování dny nebo týdny a změna v roce 2016 u Penguin 4.0 učinila pouze vlastní zpracování Google v reálném čase, nikoliv to, co mohou vidět nástroje třetích stran.

Kontrola zpětných odkazů v reálném čase ve přísném smyslu by musela sledovat celý web. Nikdo to nedělá a levný trik znovuzadávání staré databáze každou hodinu jen vyčerpává kredity za stejnou odpověď.

Upozornění na nové odkazy a proč klamou

Lidé často žádají upozornění v okamžiku, kdy odkaz vznikne. Žádost je rozumná. Poctivá odpověď zní, že měsíční index to nedokáže poskytnout, protože odkaz, který se objeví na webu dnes, se může v indexu objevit až za týdny.

Upozornění založená na opakovaném pollingů vypadají rušivě a neříkají nic nového. Níže uvedené tři podsekce vysvětlují, kam úsilí směřuje, a co může tišší nastavení udělat místo toho.

Co upozornění ve skutečnosti vidí

Upozornění může sledovat pouze to, co index již obsahuje. Mezi obnovami se vrátí stejné řádky a upozornění, které se spustí na identických datech, je jen šum ve vašem inboxu.

Polling přidává volání, ne řádky

Hodinový polling odesílá mnoho požadavků na jednu odpověď. Poznámka o nákladech na konci této stránky ukazuje aritmetiku. Účet roste s frekvencí, zatímco řádky zůstávají stejné.

Stažení s datem vykoná stejnou práci

Týdenní úloha zapíše soubor s datem a diff oproti minulému týdnu ukáže, co se změnilo. Výsledek odpovídá skutečnému rytmu dat a stále se dozvíte o nových řádcích do týdne.

Soubor je také vaším důkazem, když se někdo zeptá, co se změnilo minulý měsíc. Udržujte stejný název od spuštění ke spuštění, aby se soubory třídily samy.

Tabulka řešení problémů pro smyčky

OdpověďVýznamCo by měl skript dělat
HTTP 401Chybějící nebo nesprávný klíčZastavit, upozornit, neopakovat
HTTP 402Došly kredityZastavit, doplnit USDT, spustit ručně
ok: false s kódem 200Špatný parametr, např. neznámá akceLogovat tělo a ukončit úlohu
Časový limit nebo 5xxProblém sítě nebo serveruOpakovat dvakrát s čekáním 10 a 60 sekund
Řádky pod totalVaše stránkování skončilo předčasněOpravit smyčku; data jsou v pořádku
Zůstatek klesá rychleji, než bylo plánovánoSmyčka znovu načítá stránkyPorovnat _credits před a po každém spuštění

Obal pro opakování, který nevyčerpá kredity dvakrát

Opakují se pouze přechodné chyby. 401 a 402 ukončí běh okamžitě.

python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
    for i in range(tries):
        try:
            with u.urlopen(url, timeout=30) as r:
                return json.load(r)
        except e.HTTPError as x:
            if x.code in (401, 402):
                raise SystemExit(f'stop: HTTP {x.code}')
            if i == tries - 1:
                raise
        except (e.URLError, TimeoutError):
            if i == tries - 1:
                raise
        time.sleep(10 * 6 ** i)
Zahradní chata se zálivkou a jednou kapkou vody na listu

Kde to zanechá váš harmonogram

Nastavte snímek na týdenní časovač, viz manuál Actions. Porovnávejte měsíčně pomocí skriptu SQLite.

Uveďte náklady na jednom řádku. Týdenní stažení refdomains pro jednu doménu stojí 2 kredity, tedy přibližně 0,01 $ ročně.

Vezměte s rezervou každé sliby o kontrolě zpětných odkazů v reálném čase, včetně našich. Poctivé označení toho, co můžete skriptovat, je měsíční index s týdenním návykem kolem něj, což stále překoná ruční kontrolu každé čtvrtletí.

Nastavte kontrolu čerstvosti, která odpovídá datům

Tyto čtyři kroky nahradí upozornění návykem, který můžete udržet.

01

Vyberte jednu frekvenci

Týdně pro stažení, měsíčně pro porovnání trendů. Zapište obě do poznámek v repozitáři, aby se harmonogram časem nedeformoval.

02

Uložte surovou odpověď

Uložte JSON beze změny pod dnešním datem. Jakékoliv číslo můžete později přepočítat a nikdy nemusíte věřit souhrnu, který nemůžete zkontrolovat.

03

Porovnávejte sady, ne celkové počty

Spočítejte, co přišlo a co zmizelo mezi dvěma staženími. Celkový počet, který zůstává stejný, může skrývat výměnu padesáti domén.

04

Zastavte smyčku při první chybě

401, 402 nebo ok false ukončí běh. Další plánované spuštění se pokusí znovu, což je levnější než jakákoliv smyčka upozornění.

Čtení chybějícího odkazu bez paniky

Odkaz, který ještě není v indexu, je jiný případ než odkaz, který byl odstraněn. Záměna vede k nesprávným rozhodnutím, takže před akcí zkontrolujte, o který případ jde.

Začněte stránkou. Pokud je stále živá a odkaz je na ní, index je jednoduše pozadu. Počkejte na další obnovu, než vyvodíte nějaké závěry o stránce nebo webu.

Novější než poslední obnova

Většina chybějících odkazů je nedávná. Zapište si datum, kdy jste odkaz našli, a porovnejte jej s datem poslední obnovy. Mezera několika týdnů je u měsíčního indexu normální.

Odkaz, který jste našli v úterý a zkontrolovali v pátek, nestihl dorazit do indexu, takže mezera je očekávaná, nikoliv alarmující.

Odstraněno, přesunuto nebo nikdy neindexováno

Některé odkazy opravdu zmizely. Stránka byla smazána, odkaz byl odstraněn nebo stránka nyní vyžaduje přihlášení. Zkontrolujte samotnou stránku. Pokud je odkaz na ní a index ho stále nemá, jde o problém indexu, nikoliv o změnu na jiném webu.

Zapište si, jaký případ jste našli, protože oprava je pro každý případ jiná.

Tři aktualizace odkazů od Google, které určují tempo

  1. Penguin 4.0

    Google uvedl, že jeho signál proti spamu se stal součástí základního algoritmu a běží v reálném čase na jeho straně.

  2. Aktualizace spamu odkazů

    Google oznámil aktualizaci SpamBrain zaměřenou na neutralizaci spamových odkazů místo jejich počítání.

  3. Základní a spamové aktualizace

    Velká březnová aktualizace změnila, jak Google zachází s obsahem nízké hodnoty a manipulačními odkazy, a trvala týdny, než se ustálila.

Lupa zkoumající révu rostoucí skrz kamennou zeď

Co dělat, když potřebujete důkaz dnes

Kontrola trvá méně času než hádání o ní. Zobrazte zdrojový kód stránky. Hledejte svou URL, anchor text a atributy nofollow, sponsored nebo ugc.

Pro větší sadu si stáhněte odkazující stránky sami pomocí slušného skriptu s prodlevou a grepujte HTML pro svou doménu. To je jiná práce než ptát se na index a je to jediná, která uvidí odkaz publikovaný před hodinou.

Měsíční rytmus, který zůstává levný

Představte si malý web s jednou cílovou doménou. Úloha běží každý pondělí, zapíše soubor a nic jiného nedělá až do prvního v měsíci. To ladí s obnovou. Využití kreditů zůstává stejné.

První pondělí každého měsíce je den porovnání. Otevřete dva nejnovější soubory, spočítejte nové a zmizelé domény a zapište jeden řádek do poznámek. Obvykle stačí deset minut. Tyto poznámky se stanou historií, které můžete věřit.

Udržujte porovnání na stejném místě každý měsíc, aby historie čítala jako jeden řádek.

Co dělat s nárůstem

Náhlý skok v nových řádcích po obnově je normální, protože index může dohnat několik týdnů najednou. Přečtěte si vzorek nových domén, než rozhodnete, zda jde o kampaň nebo problém.

Pokud je nárůst jedna doména s hundreds řádky, hledejte šablonu nebo widget, než to čtete jako kampaň.

Co dělat s klidným měsícem

Klidný měsíc je často jen klidný měsíc. Zkontrolujte, zda úloha běžela a zapsala soubor, protože úloha, která tiše přestala, vypadá přesně jako klidný index.

Otázky o reálném čase zodpovězeny

>Stejné pár otázek se objeví pokaždé, když se nastaví harmonogram poprvé.

Existuje opravdu kontrola zpětných odkazů v reálném čase?

Ne taková, která pokrývá celý web. Jakýkoli nástroj, který slibuje reálný čas, popisuje crawler se zpožděním a zpoždění je část, na kterou se ptát. Náš se obnovuje přibližně jednou měsíčně a stránka to uvádí.

Jak často by měl skript volat API?

Týdně stačí pro stažení a měsíčně pro porovnání trendů. Častější polling stojí kredity a vrací stejné řádky, dokud se index neobnoví.

Proč jiný nástroj může zobrazit odkaz, který moje API ne?

Každý index crawluje jinou část webu ve vlastním harmonogramu. Odkaz může dorazit do jednoho indexu dříve než do druhého, takže porovnávejte trendy uvnitř jednoho zdroje spíše než napříč dvěma.

Mohu dostávat e-mail, když se objeví nový odkaz?

Pouze pokud to vaše úloha pošle. Plánovaný skript může porovnat dvě stažení s datem a poslat nové domény na e-mail nebo chat. Udržte také upozornění na selhání, aby tichá přestávka neunikla.

Způsobí opakování dvojnásobné vyčerpání kreditů?

Opakování po časovém limitu může spotřebovat druhé volání, proto obal výše ukončí na 401 a 402 a čeká mezi pokusy. Přečtěte si _credits před a po každém spuštění, abyste viděli, kolik úloha skutečně stojí.

Náklady na návyk

Polling refdomains jedné domény každou hodinu je 24 volání denně při 2 kreditech každé, tedy 48 kreditů nebo 0,0048 $ denně. Levné v penězích, zbytečné v informacích. Týdně stojí jednu sedminu denního pollingu a ukazuje stejnou věc.