Mitos vs realita

Pemeriksa backlink real-time: mitos, realita, dan tabel retry

Setiap alat dengan label tersebut adalah crawler dengan penundaan. Alat kami menyegarkan sekitar sebulan sekali. Berikut cara membuat skrip di sekitarnya tanpa membuang kredit.

Jembatan kayu di atas lembah dengan satu papan lembap menunjukkan kontak baru-baru ini

Mitos versus realita

MitosRealita
Polling setiap jam menangkap tautan baru lebih cepatIndeks berubah sekitar sebulan sekali, sehingga 29 dari 30 polling mengembalikan baris yang sama
Tautan yang hilang berarti telah dihapusMungkin hanya saja lebih baru daripada pembaruan terakhir
Lebih segar selalu lebih baikUntuk tren, snapshot bulanan yang stabil mengalahkan data harian yang bising
Search Console adalah data yang samaIni menampilkan apa yang dilaporkan Google untuk properti Anda, yang merupakan pandangan parsial yang berbeda
Paket berbayar membuat crawling instanTidak ada vendor yang melakukan crawling setiap halaman setiap hari

Cara bekerja dengan indeks bulanan

Sebagian besar pekerjaan adalah satu kebiasaan: jalankan mingguan, bandingkan bulanan.

Jika Anda baru saja membuat tautan dan ingin bukti, jangan menunggu indeks. Buka halaman, lihat sumbernya, dan konfirmasi anchor serta atribut rel. Kemudian tunggu pembaruan berikutnya. Google sendiri membutuhkan waktu beberapa hari atau minggu untuk melakukan crawling ulang, dan perubahan Penguin 4.0 tahun 2016 hanya membuat pemrosesan internalnya menjadi real-time, bukan apa yang dapat dilihat oleh alat pihak ketiga.

Pemeriksa backlink real-time dalam arti ketat harus memantau seluruh web. Tidak ada yang melakukannya, dan trik murah untuk melakukan query ulang database yang usang setiap jam hanya menghabiskan kredit untuk jawaban yang sama.

Pemberitahuan untuk tautan baru, dan mengapa hal itu mengecewakan

Orang sering meminta pemberitahuan saat tautan muncul. Permintaannya masuk akal. Jawaban yang jujur adalah bahwa indeks bulanan tidak dapat menyediakannya, karena tautan yang muncul di web hari ini mungkin tidak mencapai indeks selama berminggu-minggu.

Pemberitahuan yang dibangun berdasarkan polling berulang terlihat sibuk dan tidak memberi tahu Anda apa pun yang baru. Tiga subbagian di bawah ini menjelaskan ke mana upaya tersebut dihabiskan, dan apa yang dapat dilakukan oleh pengaturan yang lebih tenang sebagai gantinya.

Apa yang sebenarnya dapat dilihat oleh pemberitahuan

Pemberitahuan hanya dapat memantau apa yang sudah dimiliki indeks. Di antara pembaruan, baris yang sama kembali, dan pemberitahuan yang aktif karena data identik hanyalah gangguan di kotak masuk Anda.

Polling menambah panggilan, bukan baris

Polling setiap jam mengirim banyak permintaan untuk satu jawaban. Catatan biaya di akhir halaman ini menunjukkan aritmetiknya. Tagihan tumbuh seiring frekuensi sementara baris tetap sama.

Penarikan berdasarkan tanggal melakukan pekerjaan yang sama

Pekerjaan mingguan menulis file bertanggal, dan diff terhadap minggu lalu menunjukkan apa yang berubah. Hasilnya sesuai dengan ritme data yang sebenarnya, dan Anda tetap mendengar tentang baris baru dalam waktu seminggu.

File tersebut juga menjadi bukti Anda ketika seseorang bertanya apa yang berubah bulan lalu. Pertahankan penamaan yang identik dari satu run ke run berikutnya, agar file mengurutkan dirinya sendiri.

Tabel pemecahan masalah untuk loop

ResponsArtiApa yang harus dilakukan skrip
HTTP 401Kunci hilang atau salahBerhenti, beri tahu, jangan coba lagi
HTTP 402Kredit habisBerhenti, isi ulang dengan USDT, jalankan ulang secara manual
ok: false dengan 200Parameter buruk seperti tindakan yang tidak dikenalLog body dan gagalkan pekerjaan
Timeout atau 5xxGangguan jaringan atau serverCoba lagi dua kali dengan jeda 10 dan 60 detik
Baris di bawah totalPagging Anda berhenti lebih awalPerbaiki loop; data baik-baik saja
Saldo turun lebih cepat dari rencanaLoop melakukan pengambilan ulang halamanBandingkan _credits sebelum dan sesudah setiap run

Pembungkus retry yang tidak menghabiskan kredit dua kali

Hanya kegagalan sementara yang dicoba lagi. 401 dan 402 langsung berhenti.

python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
    for i in range(tries):
        try:
            with u.urlopen(url, timeout=30) as r:
                return json.load(r)
        except e.HTTPError as x:
            if x.code in (401, 402):
                raise SystemExit(f'stop: HTTP {x.code}')
            if i == tries - 1:
                raise
        except (e.URLError, TimeoutError):
            if i == tries - 1:
                raise
        time.sleep(10 * 6 ** i)
Gudang taman dengan alat penyiram dan satu tetes air di daun

Di mana ini meninggalkan jadwal Anda

Letakkan snapshot pada timer mingguan, seperti di buku panduan Actions. Bandingkan bulanan dengan skrip SQLite.

Masukkan biaya dalam satu baris. Penarikan refdomains mingguan untuk satu domain adalah 2 kredit, jadi sekitar $0,01 per tahun.

Perlakukan janji pemeriksa backlink real-time dengan curiga, termasuk milik kami. Label yang jujur untuk apa yang dapat Anda skrip adalah indeks bulanan dengan kebiasaan mingguan di sekitarnya, yang masih mengalahkan pemeriksaan manual setiap kuartal.

Atur pemeriksaan kesegaran yang sesuai dengan data

Empat langkah ini mengganti pemberitahuan dengan kebiasaan yang dapat Anda jaga.

01

Pilih satu ritme

Mingguan untuk penarikan, bulanan untuk perbandingan. Tulis keduanya di catatan repositori agar jadwal tidak menyimpang seiring waktu.

02

Simpan respons mentah

Simpan JSON tanpa perubahan di bawah tanggal hari ini. Anda dapat menghitung ulang angka apa pun nanti, dan Anda tidak perlu mempercayai ringkasan yang tidak dapat Anda periksa.

03

Bandingkan himpunan, bukan total

Hitung apa yang tiba dan apa yang hilang antara dua penarikan. Total yang tetap datar dapat menyembunyikan pertukaran lima puluh domain.

04

Hentikan loop pada kesalahan pertama

401, 402, atau ok yang false mengakhiri run. Run terjadwal berikutnya akan mencoba lagi, yang lebih murah daripada loop pemberitahuan apa pun.

Membaca tautan yang hilang tanpa panik

Tautan yang belum ada di indeks adalah kasus yang berbeda dari tautan yang telah dihapus. Mencampuradakkannya mengarah pada keputusan yang salah, jadi periksa mana yang Anda miliki sebelum bertindak.

Mulailah dengan halaman. Jika masih aktif dan tautan ada di sana, indeks hanya tertinggal. Tunggu pembaruan berikutnya sebelum menyimpulkan apa pun tentang halaman atau situs tersebut.

Lebih baru daripada pembaruan terakhir

Sebagian besar tautan yang hilang adalah yang baru. Catat tanggal Anda menemukan tautan tersebut, dan bandingkan dengan tanggal pembaruan terakhir. Jarak beberapa minggu adalah hal yang normal untuk indeks bulanan.

Tautan yang Anda temukan pada hari Selasa dan diperiksa pada hari Jumat belum memiliki waktu untuk mencapai indeks, sehingga kesenjangan tersebut diharapkan daripada mengkhawatirkan.

Dihapus, dipindahkan, atau tidak pernah diindeks

Beberapa tautan benar-benar hilang. Halaman dihapus, tautan dihapus, atau halaman sekarang berada di balik login. Periksa halamannya sendiri. Jika tautan ada dan indeks masih kurang, itu adalah pertanyaan indeks, bukan perubahan di situs lain.

Tuliskan kasus mana yang Anda temukan, karena perbaikannya berbeda untuk masing-masing.

Tiga pembaruan tautan Google yang menentukan ritme

  1. Penguin 4.0

    Google mengatakan sinyal spam tautannya menjadi bagian dari algoritma inti dan berjalan secara real-time, di sisi mereka sendiri.

  2. Pembaruan spam tautan

    Google mengumumkan pembaruan SpamBrain yang bertujuan menetralkan tautan spammy alih-alih menghitungnya.

  3. Pembaruan inti dan spam

    Peluncuran besar-besaran pada bulan Maret mengubah cara Google menangani konten bernilai rendah dan tautan manipulatif, dan membutuhkan waktu berminggu-minggu untuk stabil.

Kaca pembesar memeriksa tanaman merambat yang tumbuh melalui dinding batu

Apa yang harus dilakukan ketika Anda membutuhkan bukti hari ini

Pemeriksaan memakan waktu lebih sedikit daripada berdebat tentang hal itu. Lihat sumber halaman. Cari URL Anda, teks anchor, dan atribut nofollow, sponsored, atau ugc apa pun.

Untuk himpunan yang lebih besar, ambil halaman penghubung sendiri dengan skrip yang sopan dan jeda, dan grep HTML untuk domain Anda. Itu adalah pekerjaan yang berbeda dari meminta indeks, dan itu satu-satunya yang melihat tautan yang diterbitkan satu jam yang lalu.

Ritme bulanan yang tetap murah

Bayangkan situs kecil dengan satu domain target. Pekerjaan berjalan setiap Senin, menulis file, dan tidak melakukan apa pun lainnya hingga tanggal 1 bulan itu. Itu sejalan dengan pembaruan. Penggunaan kredit tetap datar.

Senin pertama setiap bulan adalah hari perbandingan. Buka dua file terbaru, hitung domain baru dan yang hilang, dan tulis satu baris di catatan Anda. Sepuluh menit biasanya sudah cukup. Catatan tersebut menjadi sejarah yang dapat Anda percayai.

Pertahankan perbandingan di tempat yang sama setiap bulan, agar sejarah terbaca sebagai satu baris.

Apa yang harus dilakukan dengan lonjakan

Lonjakan tiba-tiba dalam baris baru setelah pembaruan adalah hal yang normal, karena indeks mungkin mengejar beberapa minggu sekaligus. Baca sampel domain baru sebelum memutuskan apakah itu kampanye atau masalah.

Jika lonjakan adalah satu domain dengan ratusan baris, cari template atau widget sebelum membacanya sebagai kampanye.

Apa yang harus dilakukan dengan bulan yang sepi

Bulan yang datar sering kali hanya bulan yang datar. Periksa apakah pekerjaan berjalan dan menulis file, karena pekerjaan yang berhenti secara diam-diam terlihat persis seperti indeks yang sepi.

Pertanyaan real-time, dijawab

Beberapa pertanyaan yang sama muncul setiap kali jadwal diatur untuk pertama kalinya.

Apakah ada pemeriksa backlink real-time yang sebenarnya?

Tidak ada yang mencakup seluruh web. Alat apa pun yang menjanjikan real-time menggambarkan crawler dengan penundaan, dan penundaan adalah bagian yang harus ditanyakan. Alat kami menyegarkan sekitar sebulan sekali, dan halamannya mengatakan demikian.

Seberapa sering skrip harus memanggil API?

Mingguan sudah cukup untuk penarikan dan bulanan untuk membandingkan tren. Polling lebih sering menghabiskan kredit dan mengembalikan baris yang sama hingga indeks disegarkan.

Mengapa alat lain dapat menampilkan tautan yang API saya tidak miliki?

Setiap indeks melakukan crawling pada bagian web yang berbeda pada jadwalnya sendiri. Tautan dapat mencapai satu indeks sebelum indeks lainnya, jadi bandingkan tren di dalam satu sumber daripada di antara dua sumber.

Bisakah saya mendapatkan email saat tautan baru muncul?

Hanya jika pekerjaan Anda mengirimnya. Skrip terjadwal dapat membandingkan dua penarikan bertanggal dan memposting domain baru ke email atau obrolan. Tetap aktifkan pemberitahuan kegagalan, agar gangguan diam tidak terlewatkan.

Apakah retry menghabiskan kredit dua kali?

Retry setelah timeout dapat menghabiskan panggilan kedua, itulah sebabnya pembungkus di atas berhenti pada 401 dan 402 dan menunggu di antara percobaan. Baca _credits sebelum dan sesudah setiap run untuk melihat berapa biaya sebenarnya pekerjaan tersebut.

Biaya kebiasaan

Polling refdomains satu domain setiap jam adalah 24 panggilan sehari dengan 2 kredit masing-masing, jadi 48 kredit atau $0,0048 sehari. Murah dalam uang, tidak berguna dalam informasi. Mingguan memakan biaya satu-pertujuh dari polling harian dan menunjukkan hal yang sama.