Pemeriksa backlink real-time: mitos, realita, dan tabel retry
Setiap alat dengan label tersebut adalah crawler dengan penundaan. Alat kami menyegarkan sekitar sebulan sekali. Berikut cara membuat skrip di sekitarnya tanpa membuang kredit.
Tim editorial Linkzoid ·
Mitos versus realita
Mitos
Realita
Polling setiap jam menangkap tautan baru lebih cepat
Indeks berubah sekitar sebulan sekali, sehingga 29 dari 30 polling mengembalikan baris yang sama
Tautan yang hilang berarti telah dihapus
Mungkin hanya saja lebih baru daripada pembaruan terakhir
Lebih segar selalu lebih baik
Untuk tren, snapshot bulanan yang stabil mengalahkan data harian yang bising
Search Console adalah data yang sama
Ini menampilkan apa yang dilaporkan Google untuk properti Anda, yang merupakan pandangan parsial yang berbeda
Paket berbayar membuat crawling instan
Tidak ada vendor yang melakukan crawling setiap halaman setiap hari
Cara bekerja dengan indeks bulanan
Sebagian besar pekerjaan adalah satu kebiasaan: jalankan mingguan, bandingkan bulanan.
Jika Anda baru saja membuat tautan dan ingin bukti, jangan menunggu indeks. Buka halaman, lihat sumbernya, dan konfirmasi anchor serta atribut rel. Kemudian tunggu pembaruan berikutnya. Google sendiri membutuhkan waktu beberapa hari atau minggu untuk melakukan crawling ulang, dan perubahan Penguin 4.0 tahun 2016 hanya membuat pemrosesan internalnya menjadi real-time, bukan apa yang dapat dilihat oleh alat pihak ketiga.
Pemeriksa backlink real-time dalam arti ketat harus memantau seluruh web. Tidak ada yang melakukannya, dan trik murah untuk melakukan query ulang database yang usang setiap jam hanya menghabiskan kredit untuk jawaban yang sama.
Pemberitahuan untuk tautan baru, dan mengapa hal itu mengecewakan
Orang sering meminta pemberitahuan saat tautan muncul. Permintaannya masuk akal. Jawaban yang jujur adalah bahwa indeks bulanan tidak dapat menyediakannya, karena tautan yang muncul di web hari ini mungkin tidak mencapai indeks selama berminggu-minggu.
Pemberitahuan yang dibangun berdasarkan polling berulang terlihat sibuk dan tidak memberi tahu Anda apa pun yang baru. Tiga subbagian di bawah ini menjelaskan ke mana upaya tersebut dihabiskan, dan apa yang dapat dilakukan oleh pengaturan yang lebih tenang sebagai gantinya.
Apa yang sebenarnya dapat dilihat oleh pemberitahuan
Pemberitahuan hanya dapat memantau apa yang sudah dimiliki indeks. Di antara pembaruan, baris yang sama kembali, dan pemberitahuan yang aktif karena data identik hanyalah gangguan di kotak masuk Anda.
Polling menambah panggilan, bukan baris
Polling setiap jam mengirim banyak permintaan untuk satu jawaban. Catatan biaya di akhir halaman ini menunjukkan aritmetiknya. Tagihan tumbuh seiring frekuensi sementara baris tetap sama.
Penarikan berdasarkan tanggal melakukan pekerjaan yang sama
Pekerjaan mingguan menulis file bertanggal, dan diff terhadap minggu lalu menunjukkan apa yang berubah. Hasilnya sesuai dengan ritme data yang sebenarnya, dan Anda tetap mendengar tentang baris baru dalam waktu seminggu.
File tersebut juga menjadi bukti Anda ketika seseorang bertanya apa yang berubah bulan lalu. Pertahankan penamaan yang identik dari satu run ke run berikutnya, agar file mengurutkan dirinya sendiri.
Tabel pemecahan masalah untuk loop
Respons
Arti
Apa yang harus dilakukan skrip
HTTP 401
Kunci hilang atau salah
Berhenti, beri tahu, jangan coba lagi
HTTP 402
Kredit habis
Berhenti, isi ulang dengan USDT, jalankan ulang secara manual
ok: false dengan 200
Parameter buruk seperti tindakan yang tidak dikenal
Log body dan gagalkan pekerjaan
Timeout atau 5xx
Gangguan jaringan atau server
Coba lagi dua kali dengan jeda 10 dan 60 detik
Baris di bawah total
Pagging Anda berhenti lebih awal
Perbaiki loop; data baik-baik saja
Saldo turun lebih cepat dari rencana
Loop melakukan pengambilan ulang halaman
Bandingkan _credits sebelum dan sesudah setiap run
Pembungkus retry yang tidak menghabiskan kredit dua kali
Hanya kegagalan sementara yang dicoba lagi. 401 dan 402 langsung berhenti.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
Masukkan biaya dalam satu baris. Penarikan refdomains mingguan untuk satu domain adalah 2 kredit, jadi sekitar $0,01 per tahun.
Perlakukan janji pemeriksa backlink real-time dengan curiga, termasuk milik kami. Label yang jujur untuk apa yang dapat Anda skrip adalah indeks bulanan dengan kebiasaan mingguan di sekitarnya, yang masih mengalahkan pemeriksaan manual setiap kuartal.
Atur pemeriksaan kesegaran yang sesuai dengan data
Empat langkah ini mengganti pemberitahuan dengan kebiasaan yang dapat Anda jaga.
01
Pilih satu ritme
Mingguan untuk penarikan, bulanan untuk perbandingan. Tulis keduanya di catatan repositori agar jadwal tidak menyimpang seiring waktu.
02
Simpan respons mentah
Simpan JSON tanpa perubahan di bawah tanggal hari ini. Anda dapat menghitung ulang angka apa pun nanti, dan Anda tidak perlu mempercayai ringkasan yang tidak dapat Anda periksa.
03
Bandingkan himpunan, bukan total
Hitung apa yang tiba dan apa yang hilang antara dua penarikan. Total yang tetap datar dapat menyembunyikan pertukaran lima puluh domain.
04
Hentikan loop pada kesalahan pertama
401, 402, atau ok yang false mengakhiri run. Run terjadwal berikutnya akan mencoba lagi, yang lebih murah daripada loop pemberitahuan apa pun.
Membaca tautan yang hilang tanpa panik
Tautan yang belum ada di indeks adalah kasus yang berbeda dari tautan yang telah dihapus. Mencampuradakkannya mengarah pada keputusan yang salah, jadi periksa mana yang Anda miliki sebelum bertindak.
Mulailah dengan halaman. Jika masih aktif dan tautan ada di sana, indeks hanya tertinggal. Tunggu pembaruan berikutnya sebelum menyimpulkan apa pun tentang halaman atau situs tersebut.
Lebih baru daripada pembaruan terakhir
Sebagian besar tautan yang hilang adalah yang baru. Catat tanggal Anda menemukan tautan tersebut, dan bandingkan dengan tanggal pembaruan terakhir. Jarak beberapa minggu adalah hal yang normal untuk indeks bulanan.
Tautan yang Anda temukan pada hari Selasa dan diperiksa pada hari Jumat belum memiliki waktu untuk mencapai indeks, sehingga kesenjangan tersebut diharapkan daripada mengkhawatirkan.
Dihapus, dipindahkan, atau tidak pernah diindeks
Beberapa tautan benar-benar hilang. Halaman dihapus, tautan dihapus, atau halaman sekarang berada di balik login. Periksa halamannya sendiri. Jika tautan ada dan indeks masih kurang, itu adalah pertanyaan indeks, bukan perubahan di situs lain.
Tuliskan kasus mana yang Anda temukan, karena perbaikannya berbeda untuk masing-masing.
Tiga pembaruan tautan Google yang menentukan ritme
Penguin 4.0
Google mengatakan sinyal spam tautannya menjadi bagian dari algoritma inti dan berjalan secara real-time, di sisi mereka sendiri.
Pembaruan spam tautan
Google mengumumkan pembaruan SpamBrain yang bertujuan menetralkan tautan spammy alih-alih menghitungnya.
Pembaruan inti dan spam
Peluncuran besar-besaran pada bulan Maret mengubah cara Google menangani konten bernilai rendah dan tautan manipulatif, dan membutuhkan waktu berminggu-minggu untuk stabil.
Apa yang harus dilakukan ketika Anda membutuhkan bukti hari ini
Pemeriksaan memakan waktu lebih sedikit daripada berdebat tentang hal itu. Lihat sumber halaman. Cari URL Anda, teks anchor, dan atribut nofollow, sponsored, atau ugc apa pun.
Untuk himpunan yang lebih besar, ambil halaman penghubung sendiri dengan skrip yang sopan dan jeda, dan grep HTML untuk domain Anda. Itu adalah pekerjaan yang berbeda dari meminta indeks, dan itu satu-satunya yang melihat tautan yang diterbitkan satu jam yang lalu.
Ritme bulanan yang tetap murah
Bayangkan situs kecil dengan satu domain target. Pekerjaan berjalan setiap Senin, menulis file, dan tidak melakukan apa pun lainnya hingga tanggal 1 bulan itu. Itu sejalan dengan pembaruan. Penggunaan kredit tetap datar.
Senin pertama setiap bulan adalah hari perbandingan. Buka dua file terbaru, hitung domain baru dan yang hilang, dan tulis satu baris di catatan Anda. Sepuluh menit biasanya sudah cukup. Catatan tersebut menjadi sejarah yang dapat Anda percayai.
Pertahankan perbandingan di tempat yang sama setiap bulan, agar sejarah terbaca sebagai satu baris.
Apa yang harus dilakukan dengan lonjakan
Lonjakan tiba-tiba dalam baris baru setelah pembaruan adalah hal yang normal, karena indeks mungkin mengejar beberapa minggu sekaligus. Baca sampel domain baru sebelum memutuskan apakah itu kampanye atau masalah.
Jika lonjakan adalah satu domain dengan ratusan baris, cari template atau widget sebelum membacanya sebagai kampanye.
Apa yang harus dilakukan dengan bulan yang sepi
Bulan yang datar sering kali hanya bulan yang datar. Periksa apakah pekerjaan berjalan dan menulis file, karena pekerjaan yang berhenti secara diam-diam terlihat persis seperti indeks yang sepi.
Pertanyaan real-time, dijawab
Beberapa pertanyaan yang sama muncul setiap kali jadwal diatur untuk pertama kalinya.
Apakah ada pemeriksa backlink real-time yang sebenarnya?
Tidak ada yang mencakup seluruh web. Alat apa pun yang menjanjikan real-time menggambarkan crawler dengan penundaan, dan penundaan adalah bagian yang harus ditanyakan. Alat kami menyegarkan sekitar sebulan sekali, dan halamannya mengatakan demikian.
Seberapa sering skrip harus memanggil API?
Mingguan sudah cukup untuk penarikan dan bulanan untuk membandingkan tren. Polling lebih sering menghabiskan kredit dan mengembalikan baris yang sama hingga indeks disegarkan.
Mengapa alat lain dapat menampilkan tautan yang API saya tidak miliki?
Setiap indeks melakukan crawling pada bagian web yang berbeda pada jadwalnya sendiri. Tautan dapat mencapai satu indeks sebelum indeks lainnya, jadi bandingkan tren di dalam satu sumber daripada di antara dua sumber.
Bisakah saya mendapatkan email saat tautan baru muncul?
Hanya jika pekerjaan Anda mengirimnya. Skrip terjadwal dapat membandingkan dua penarikan bertanggal dan memposting domain baru ke email atau obrolan. Tetap aktifkan pemberitahuan kegagalan, agar gangguan diam tidak terlewatkan.
Apakah retry menghabiskan kredit dua kali?
Retry setelah timeout dapat menghabiskan panggilan kedua, itulah sebabnya pembungkus di atas berhenti pada 401 dan 402 dan menunggu di antara percobaan. Baca _credits sebelum dan sesudah setiap run untuk melihat berapa biaya sebenarnya pekerjaan tersebut.
Biaya kebiasaan
Polling refdomains satu domain setiap jam adalah 24 panggilan sehari dengan 2 kredit masing-masing, jadi 48 kredit atau $0,0048 sehari. Murah dalam uang, tidak berguna dalam informasi. Mingguan memakan biaya satu-pertujuh dari polling harian dan menunjukkan hal yang sama.