Narzędzie do sprawdzania backlinków w czasie rzeczywistym: mit, rzeczywistość i tabela ponownych prób
Każde narzędzie z tą etykietą to crawler z opóźnieniem. Nasz odświeża się około raz w miesiącu. Oto jak napisać skrypt, aby to obejść bez marnowania kredytów.
Zespół redakcyjny Linkzoid ·
Mit versus rzeczywistość
Mit
Rzeczywistość
Odpytywanie co godzinę wychwyci nowy link szybciej
Indeks zmienia się około raz w miesiącu, więc 29 z 30 odpytań zwróci te same wiersze
Brakujący link oznacza, że został usunięty
Może po prostu jest nowszy niż ostatnie odświeżenie
Świeższe dane są zawsze lepsze
W przypadku trendów stabilny miesięczny snapshot jest lepszy niż hałaśliwy dzienny
Search Console to te same dane
Pokazuje to, co Google raportuje dla Twojej witryny, co jest innym, częściowym widokiem
Płatny plan sprawia, że skanowanie jest natychmiastowe
Żaden dostawca nie skanuje każdej strony każdego dnia
Jak pracować z miesięcznym indeksem
Większość pracy to jedna nawyk: uruchamiaj co tydzień, porównuj co miesiąc.
Jeśli właśnie zbudowałeś link i chcesz proofu, nie czekaj na indeks. Otwórz stronę, wyświetl źródło i potwierdź anchor text oraz atrybut rel. Następnie poczekaj na kolejne odświeżenie. Sam Google potrzebuje kilku dni lub tygodni na ponowne skanowanie, a zmiana w Penguin 4.0 z 2016 roku uczyniła tylko jego własne przetwarzanie rzeczywistym, a nie to, co widzą narzędzia stron trzecich.
Narzędzie do sprawdzania backlinków w czasie rzeczywistym w ścisłym sensie wymagałoby obserwowania całego internetu. Nikt tego nie robi, a tani trik polegający na ponownym odpytywaniu przestarzałej bazy danych co godzinę po prostu zużywa kredyty na tę samą odpowiedź.
Alerty o nowych linkach i dlaczego rozczarowują
Często ludzie pytają o alert w momencie pojawienia się linku. Żądanie jest rozsądne. Szczera odpowiedź brzmi, że miesięczny indeks nie może go dostarczyć, ponieważ link, który pojawia się w internecie dzisiaj, może nie trafić do żadnego indeksu przez tygodnie.
Alerty oparte na powtórnym odpytywaniu wyglądają na aktywne i nie mówią nic nowego. Poniższe trzy podsekcje wyjaśniają, gdzie idzie wysiłek i co może zrobić cichszy setup.
Co alert faktycznie może zobaczyć
Alert może obserwować tylko to, co indeks już zawiera. Między odświeżeniami zwracane są te same wiersze, a alert, który uruchamia się na identycznych danych, to tylko szum w Twojej skrzynce odbiorczej.
Odpytywanie dodaje wywołania, a nie wiersze
Odpytywanie co godzinę wysyła wiele żądań na jedną odpowiedź. Notatka dotycząca kosztów na końcu tej strony pokazuje rachunek. Rachunek rośnie wraz z częstotliwością, podczas gdy wiersze pozostają bez zmian.
Pobranie z datą wykonuje tę samą pracę
Zadanie tygodniowe zapisuje plik z datą, a diff względem zeszłego tygodnia pokazuje, co się zmieniło. Wynik odpowiada rzeczywistemu rytmowi danych, a nadal dowiadujesz się o nowych wierszach w ciągu tygodnia.
Plik jest również Twoim dowodem, gdy ktoś zapyta, co zmieniło się w zeszłym miesiącu. Zachowaj identyczną nazwę od uruchomienia do uruchomienia, aby pliki sortowały się same.
Tabela rozwiązywania problemów dla pętli
Odpowiedź
Znaczenie
Co powinien zrobić skrypt
HTTP 401
Brakujący lub błędny klucz
Zatrzymaj, alert, nie ponawiaj
HTTP 402
Brak kredytów
Zatrzymaj, doładuj USDT, uruchom ręcznie
ok: false z kodem 200
Błędny parametr, np. nieznana akcja
Zaloguj treść i zakończ zadanie niepowodzeniem
Przekroczenie limitu czasu lub 5xx
Problem sieciowy lub serwera
Ponów dwa razy z oczekiwaniem 10 i 60 sekund
Wiersze poniżej total
Twoje stronicowanie zakończyło się wcześnie
Napraw pętlę; dane są poprawne
Saldo spada szybciej niż planowano
Pętla ponownie pobiera strony
Porównaj _credits przed i po każdym uruchomieniu
Obwiednia ponownych prób, która nie podwaja wydatków
Ponawiane są tylko błędy przejściowe. 401 i 402 kończą działanie natychmiast.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Umieść koszt w jednym wierszu. Cotygodniowe pobranie refdomains dla jednej domeny to 2 kredyty, czyli około $0,01 rocznie.
Traktuj z sceptycyzmem każdą obietnicę narzędzia do sprawdzania backlinków w czasie rzeczywistym, w tym naszą. Szczera etykieta dla tego, co możesz zautomatyzować, to miesięczny indeks z cotygodniową nawykiem, co i tak bije manualne sprawdzanie raz na kwartał.
Ustaw sprawdzenie świeżości dopasowane do danych
Te cztery kroki zastąpią alert nawykiem, który możesz utrzymać.
01
Wybierz jedną częstotliwość
Tygodniowo dla pobrania, miesięcznie dla porównania. Zapisz oba w notach repozytorium, aby harmonogram nie ulegał driftowi w czasie.
02
Przechowuj surową odpowiedź
Zapisz JSON bez zmian pod dzisiejszą datą. Możesz później przeliczyć dowolną liczbę i nigdy nie musisz ufać podsumowaniu, którego nie możesz sprawdzić.
03
Porównuj zestawy, nie sumy
Policz, co przybyło i co znikło między dwoma pobraniami. Suma, która pozostaje płaska, może ukryć wymianę pięćdziesięciu domen.
04
Zatrzymaj pętlę przy pierwszym błędzie
401, 402 lub ok równe false kończą uruchomienie. Następne zaplanowane uruchomienie spróbuje ponownie, co jest tańsze niż dowolna pętla alertów.
Czytanie brakującego linku bez paniki
Link, który nie jest jeszcze w indeksie, to inny przypadek niż link, który został usunięty. Pomieszanie ich prowadzi do błędnych decyzji, więc sprawdź, który przypadek masz, zanim zaczniesz działać.
Zacznij od strony. Jeśli jest nadal aktywna i link tam jest, indeks jest po prostu opóźniony. Poczekaj na kolejne odświeżenie, zanim wyciągniesz wnioski na temat strony lub witryny.
Nowszy niż ostatnie odświeżenie
Większość brakujących linków jest świeża. Zapisz datę, w której znalazłeś link, i porównaj ją z datą ostatniego odświeżenia. Różnica kilku tygodni jest normalna dla miesięcznego indeksu.
Link, który znalazłeś we wtorek i sprawdziłeś w piątek, nie miał czasu, aby trafić do indeksu, więc luka jest oczekiwana, a nie alarmująca.
Usunięty, przeniesiony lub nigdy niezaindeksowany
Niektóre linki naprawdę zniknęły. Strona została usunięta, link został usunięty lub strona znajduje się teraz za logowaniem. Sprawdź samą stronę. Jeśli link tam jest, a indeks go nadal nie ma, to kwestia indeksu, a nie zmiany na innej stronie.
Zapisz, który przypadek znalazłeś, ponieważ naprawa jest inna w każdym przypadku.
Trzy aktualizacje linków Google, które wyznaczają tempo
Penguin 4.0
Google powiedział, że jego sygnał spamu linkowego stał się częścią algorytmu głównego i działał w czasie rzeczywistym, po jego stronie.
Aktualizacja spamu linkowego
Google ogłosił aktualizację SpamBrain mającą na celu zneutralizowanie spamowych linków zamiast ich liczenia.
Aktualizacje Core i Spam
Duża aktualizacja w marcu zmieniła sposób, w jaki Google radził sobie z treściami niskiej wartości i manipulacyjnymi linkami, i zajęła kilka tygodni, zanim się ustabilizowała.
Co zrobić, gdy potrzebujesz dowodu dzisiaj
Sprawdzenie zajmuje mniej czasu niż spory o to. Wyświetl źródło strony. Szukaj swojego URL, anchor text oraz dowolnego atrybutu nofollow, sponsored lub ugc.
Dla większego zbioru pobierz strony odsyłające samodzielnie za pomocą uprzejmego skryptu z opóźnieniem i przefiltruj HTML pod kątem swojej domeny. To inna praca niż pytanie indeksu i jedyna, która widzi link opublikowany godzinę temu.
Miesięczny rytm, który pozostaje tani
Wyobraź sobie małą witrynę z jedną domeną docelową. Zadanie uruchamia się każdego poniedziałku, zapisuje plik i nic więcej nie robi do pierwszego dnia miesiąca. To pasuje do odświeżenia. Zużycie kredytów pozostaje płaskie.
Pierwszy poniedziałek każdego miesiąca to dzień porównania. Otwórz dwa najnowsze pliki, policz nowe i zniknięte domeny i zapisz jeden wiersz w notach. Dziesięć minut zwykle wystarczy. Te noty staną się historią, której możesz ufać.
Utrzymuj porównanie w tym samym miejscu każdego miesiąca, aby historia czytała się jako jeden wiersz.
Co zrobić z szczytem
Nagły skok nowych wierszy po odświeżeniu jest normalny, ponieważ indeks może nadrobić kilka tygodni naraz. Przeczytaj próbkę nowych domen, zanim zdecydujesz, czy to kampania, czy problem.
Jeśli szczyt to jedna domena z setkami wierszy, szukaj szablonu lub widgetu, zanim odczytasz to jako kampanię.
Co zrobić z cichym miesiącem
Płaski miesiąc to często po prostu płaski miesiąc. Sprawdź, czy zadanie uruchomiło się i zapisało plik, ponieważ zadanie, które cicho się zatrzymało, wygląda dokładnie jak cichy indeks.
Pytania o czas rzeczywisty, odpowiedzi
Te same kilka pytań pojawia się za każdym razem, gdy harmonogram jest ustawiany po raz pierwszy.
Czy istnieje prawdziwe narzędzie do sprawdzania backlinków w czasie rzeczywistym?
Nie takie, które obejmuje cały internet. Każde narzędzie, które obiecuje czas rzeczywisty, opisuje crawler z opóźnieniem, a opóźnienie to część, o którą warto zapytać. Nasz odświeża się około raz w miesiącu, a strona to mówi.
Jak często skrypt powinien odpytywać API?
Tydzień wystarczy do pobrania, a miesiąc do porównania trendów. Odpytywanie częściej kosztuje kredyty i zwraca te same wiersze, dopóki indeks się nie odświeży.
Dlaczego inne narzędzie może pokazywać link, którego moje API nie ma?
Każdy indeks skanuje inną część internetu w swoim własnym harmonogramie. Link może trafić do jednego indeksu wcześniej niż do drugiego, więc porównuj trendy w ramach jednego źródła, a nie między dwoma.
Czy mogę otrzymać e-mail, gdy pojawi się nowy link?
Tylko jeśli Twoje zadanie go wyśle. Zaplanowany skrypt może porównać dwa pobrania z datą i wysłać nowe domeny na e-mail lub czat. Zachowaj również alerty o błędach, aby cicha przerwa nie pozostała niezauważona.
Czy ponowna próba zużywa kredyty dwa razy?
Ponowna próba po przekroczeniu limitu czasu może zużyć drugie wywołanie, dlatego powyższa obwiednia zatrzymuje się na 401 i 402 i czeka między próbami. Przeczytaj _credits przed i po każdym uruchomieniu, aby zobaczyć, ile zadanie naprawdę kosztuje.
Koszt nawyku
Odpytywanie refdomains jednej domeny co godzinę to 24 wywołania dziennie po 2 kredyty każde, czyli 48 kredytów lub $0,0048 dziennie. Tanie w pieniądzach, bezwartościowe w informacji. Tydzień kosztuje jedną siódmą dziennego odpytywania i pokazuje to samo.
