अफवाह बनाम हकीकत

रियल-टाइम बैकलिंक चेकर: अफवाह, हकीकत और एक रीट्राई टेबल

उस लेबल वाला हर टूल एक क्रॉलर है जिसमें देरी है। हमारा टूल लगभग मासिक आधार पर रिफ्रेश होता है। यहाँ बताया गया है कि क्रेडिट्स बर्बाद किए बिना उससे कैसे स्क्रिप्ट करें।

एक घाटी पर एक लकड़ी का पुल जिसमें एक गीली प्लैंक हालिया संपर्क दिखा रही है

अफवाह बनाम हकीकत

अफवाहहकीकत
घंटे-घंटे पोलिंग करने से नया लिंक जल्दी मिल जाता हैइंडेक्स लगभग मासिक आधार पर बदलता है, इसलिए 30 में से 29 पोलिंग समान पंक्तियाँ ही लौटाती हैं
एक लिंक का गायब होना इसका मतलब है कि उसे हटा दिया गया हैयह बस पिछले रिफ्रेश से नया हो सकता है
जितना ताज़ा, उतना बेहतरट्रेंड्स के लिए, एक स्थिर मासिक स्नैपशॉट एक शोर वाले दैनिक डेटा से बेहतर है
सर्च कंसोल वही डेटा दिखाता हैयह दिखाता है कि Google आपके प्रॉपर्टी के लिए क्या रिपोर्ट करता है, जो एक अलग और आंशिक नज़रिया है
एक पेड प्लान से क्रालिंग तुरंत हो जाती हैकोई भी विक्रेता हर पेज को हर दिन क्राल नहीं करता

मासिक इंडेक्स के साथ कैसे काम करें

ज़्यादातर काम एक आदत है: साप्ताहिक आधार पर चलाएं, मासिक तुलना करें।

अगर आपने अभी लिंक बनाया है और सबूत चाहिए, तो किसी इंडेक्स का इंतज़ार न करें। पेज खोलें, 'view source' करें, और एंकर टेक्स्ट और rel एट्रिब्यूट की पुष्टि करें। फिर अगले रिफ्रेश का इंतज़ार करें। Google को स्वयं क्राल करने में दिनों या हफ्तों का समय लगता है, और 2016 के Penguin 4.0 बदलाव ने केवल Google की प्रोसेसिंग को रियल-टाइम बनाया, न कि यह कि थर्ड-पार्टी टूल्स क्या देख सकते हैं।

एक सख्त अर्थ में रियल-टाइम बैकलिंक चेकर के लिए पूरे वेब को देखने की ज़रूरत होगी। कोई ऐसा नहीं करता, और एक पुराने डेटाबेस को हर घंटे फिर से क्वेरी करने का सस्ता चाल बस समान जवाब पर क्रेडिट्स खर्च करता है।

नए लिंक्स के लिए अलर्ट, और वे क्यों निराश करते हैं

लोग अक्सर तुरंत लिंक आने पर अलर्ट मांगते हैं। यह अनुरोध उचित है। ईमानदार जवाब यह है कि एक मासिक इंडेक्स इसे नहीं दे सकता, क्योंकि वेब पर आज आया लिंक किसी भी इंडेक्स तक हफ्तों तक नहीं पहुंच सकता है।

दोहराई गई पोलिंग पर बने अलर्ट व्यस्त दिखते हैं और कुछ नया नहीं बताते। नीचे दिए गए तीन सबसेक्शन समझाते हैं कि प्रयास कहाँ जाता है, और एक शांत सेटअप इसके बजाय क्या कर सकता है।

एक अलर्ट वास्तव में क्या देख सकता है

एक अलर्ट केवल उही देख सकता है जो इंडेक्स में पहले से मौजूद है। रिफ्रेश के बीच समान पंक्तियाँ वापस आती हैं, और एक अलर्ट जो समान डेटा पर फायर करता है, सिर्फ आपकी इनबॉक्स में शोर है।

पोलिंग कॉल्स जोड़ता है, पंक्तियाँ नहीं

घंटे-घंटे पोलिंग करने से एक जवाब के लिए कई रिक्वेस्ट भेजी जाती हैं। इस पेज के अंत में लागत नोट में अंकगणित दिखाया गया है। फ्रीक्वेंसी बढ़ने पर बिल बढ़ता है जबकि पंक्तियाँ वही रहती हैं।

एक तारीख वाला ड्राइव वही काम करता है

एक साप्ताहिक जॉब एक तारीख वाली फाइल लिखती है, और पिछले सप्ताह के साथ डीफ़ से पता चलता है कि क्या बदला है। नतीजा डेटा की वास्तविक लय से मेल खाता है, और आपको नई पंक्तियों के बारे में एक सप्ताह के भीतर पता चल जाता है।

जब कोई पूछे कि पिछले महीने क्या बदला था, तो फाइल आपका सबूत भी है। नामकरण को हर रन के लिए समान रखें, ताकि फाइलें अपने आप सॉर्ट हो जाएं।

लूप्स के लिए ट्रबलशूटिंग टेबल

प्रतिक्रियामतलबस्क्रिप्ट को क्या करना चाहिए
HTTP 401कुंजी गायब या गलतरोकें, अलर्ट करें, रीट्राई न करें
HTTP 402क्रेडिट खत्म हो गएरोकें, USDT से टॉप अप करें, मैन्युअल रूप से ररन करें
ok: false 200 के साथगलत पैरामीटर जैसे अज्ञात एक्शनबॉडी लॉग करें और जॉब फेल करें
टाइमआउट या 5xxनेटवर्क या सर्वर में खराबी10 और 60 सेकंड की वेट के साथ दो बार रीट्राई करें
पंक्तियाँ total से नीचेआपका पेजिंग जल्दी खत्म हो गयालूप ठीक करें; डेटा सही है
बैलेंस योजना से तेज़ी से गिर रहा हैएक लूप पेजों को फिर से फेच कर रहा हैहर रन से पहले और बाद में _credits की तुलना करें

एक रीट्राई व्रैपर जो डबल-स्पेंड नहीं करता

केवल अस्थायी विफलताओं को रीट्राई किया जाता है। 401 और 402 पर तुरंत बाहर निकलें।

python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
    for i in range(tries):
        try:
            with u.urlopen(url, timeout=30) as r:
                return json.load(r)
        except e.HTTPError as x:
            if x.code in (401, 402):
                raise SystemExit(f'stop: HTTP {x.code}')
            if i == tries - 1:
                raise
        except (e.URLError, TimeoutError):
            if i == tries - 1:
                raise
        time.sleep(10 * 6 ** i)
एक बगीचे का शेड जिसमें एक वॉटरिंग कैन और एक पत्ती पर एक अकेला पानी का बूंद है

यह आपकी शेड्यूल को कहाँ छोड़ता है

स्नैपशॉट को साप्ताहिक टाइमर पर रखें, जैसे एक्शन्स रनबुक में है। SQLite स्क्रिप्ट के साथ मासिक डीफ करें।

लागत को एक लाइन में लिखें। एक डोमेन के लिए साप्ताहिक refdomains ड्राइव 2 क्रेडिट्स है, इसलिए सालाना लगभग $0.01।

रियल-टाइम बैकलिंक चेकर के किसी भी वादे पर शक करें, हमारा भी शामिल है। आपकी स्क्रिप्ट के लिए ईमानदार लेबल एक मासिक इंडेक्स है जिसके चारों ओर साप्ताहिक आदत है, जो हर तिमाही में मैन्युअल चेक से बेहतर है।

एक फ्रेशनेस चेक सेट करें जो डेटा के अनुकूल हो

ये चार कदम एक अलर्ट को उस आदत से बदल देते हैं जिसे आप बनाए रख सकते हैं।

01

एक कैडेंस चुनें

ड्राइव के लिए साप्ताहिक, तुलना के लिए मासिक। शेड्यूल के समय न खिसकने के लिए दोनों को रिपो नोट्स में लिखें।

02

रॉ रिस्पॉन्स स्टोर करें

आज की तारीख के तहत JSON को बिना बदले सेव करें। आप बाद में कोई भी नंबर फिर से कंप्यूट कर सकते हैं, और आपको उस सारांश पर भरोसा नहीं करना पड़ेगा जिसे आप चेक नहीं कर सकते।

03

सेट्स की तुलना करें, टोटल्स की नहीं

गिनें कि दो ड्राइव के बीच क्या आया और क्या गायब हुआ। एक समान रहने वाला टोटल पचास डोमेनों के स्विप को छिपा सकता है।

04

पहली त्रुटि पर लूप रोकें

एक 401, एक 402 या एक ok जो गलत है, रन समाप्त कर देता है। अगली शेड्यूल रन फिर कोशिश करेगी, जो किसी भी अलर्ट लूप से सस्ता है।

गायब लिंक को बिना घबराए पढ़ें

एक लिंक जो इंडेक्स में अभी नहीं है, एक ऐसे लिंक से अलग मामला है जो हटा दिया गया है। उन्हें मिलाने से गलत निर्णय होते हैं, इसलिए एक्शन लेने से पहले चेक करें कि आपके पास कौन सा मामला है।

पेज से शुरू करें। अगर यह अभी भी लाइव है और लिंक वहां है, तो इंडेक्स बस पीछे है। पेज या साइट के बारे में कुछ निष्कर्ष निकालने से पहले अगले रिफ्रेश का इंतज़ार करें।

पिछले रिफ्रेश से नया

ज़्यादातर गायब लिंक हालिया होते हैं। लिंक मिलने की तारीख नोट करें, और इसे पिछले रिफ्रेश की तारीख से तुलना करें। एक मासिक इंडेक्स के लिए कुछ हफ्तों का अंतर सामान्य है।

एक लिंक जिसे आप मंगलवार को पाया और शुक्रवार को चेक किया, उसे इंडेक्स तक पहुंचने का समय नहीं मिला, इसलिए अंतर उम्मीद के अनुसार है, चिंताजनक नहीं।

हटाया गया, स्थानांतरित या कभी इंडेक्स नहीं किया गया

कुछ लिंक वास्तव में गायब हैं। पेज डिलीट हो गया, लिंक को एडिट करके हटा दिया गया, या पेज अब लॉगिन के पीछे है। पेज स्वयं चेक करें। अगर लिंक वहां है और इंडेक्स में अभी भी नहीं है, तो यह इंडेक्स का सवाल है, दूसरी साइट पर कोई बदलाव नहीं।

नोट करें कि आपको कौन सा मामला मिला, क्योंकि हर एक का फिक्स अलग है।

तीन Google लिंक अपडेट्स जिन्होंने गति तय की

  1. Penguin 4.0

    Google ने कहा कि उसका लिंक-स्पैम सिग्नल कोर एल्गोरिदम का हिस्सा बन गया और रियल-टाइम चलता है, अपनी ही तरफ से।

  2. लिंक स्पैम अपडेट

    Google ने एक SpamBrain अपडेट की घोषणा की जिसका उद्देश्य स्पैमी लिंक्स को गिनने के बजाय निष्क्रिय करना है।

  3. कोर और स्पैम अपडेट्स

    मार्च का एक बड़ा रोलआउट बदल गया कि Google कम-मूल्य वाले कंटेंट और मैनिपुलेटिव लिंक्स को कैसे हैंडल करता है, और इसमें हफ्तों लग गए।

एक कांच जो एक पत्थर की दीवार से गुजरती लता की जांच कर रहा है

आज सबूत चाहिए तो क्या करें

चेकिंग करने में बहस करने से कम समय लगता है। पेज सोर्स देखें। अपना URL, एंकर टेक्स्ट और किसी भी nofollow, sponsored या ugc एट्रिब्यूट के लिए देखें।

बड़े सेट के लिए, एक पॉलिट स्क्रिप्ट और डिले के साथ लिंकिंग पेज स्वयं फेच करें, और अपने डोमेन के लिए HTML में grep करें। यह इंडेक्स से पूछने से एक अलग जॉब है, और यह एकमात्र चीज़ है जो एक घंटे पहले प्रकाशित लिंक देखती है।

एक मासिक लय जो सस्ती रहती है

एक छोटी साइट की कल्पना करें जिसका एक टारगेट डोमेन है। जॉब हर सोमवार चलती है, एक फाइल लिखती है, और महीने के पहले दिन तक कुछ नहीं करती। यह रिफ्रेश के साथ मेल खाता है। क्रेडिट उपयोग स्थिर रहता है।

हर महीने का पहला सोमवार तुलना का दिन है। दो सबसे हालिया फाइलें खोलें, नए और गायब डोमेनों की गिनती करें, और अपने नोट्स में एक लाइन लिखें। दस मिनट आमतौर पर काफी हैं। वे नोट्स एक ऐसी इतिहास बन जाएंगे जिस पर आप भरोसा कर सकें।

तुलना को हर महीने उसी जगह रखें, ताकि इतिहास एक लाइन के रूप में पढ़ा जा सके।

स्पिक के साथ क्या करें

रिफ्रेश के बाद नई पंक्तियों में अचानक वृद्धि सामान्य है, क्योंकि इंडेक्स एक साथ कई हफ्तों का अपडेट कर सकता है। यह तय करने से कि यह एक कैम्पेन है या समस्या, नए डोमेनों के नमूने को पढ़ें।

अगर स्पिक एक डोमेन के साथ सैकड़ों पंक्तियों वाला है, तो इसे कैम्पेन मानने से पहले टेम्पलेट या विजेट के लिए देखें।

शांत महीने के साथ क्या करें

एक फ्लैट महीना अक्सर बस एक फ्लैट महीना होता है। चेक करें कि जॉब चली और फाइल लिखी, क्योंकि एक जॉब जो चुपचाप रुक गई है, एक शांत इंडेक्स जैसी ही दिखती है।

रियल-टाइम सवाल, जवाब दिए गए

हर बार जब शेड्यूल पहली बार सेट होता है, तो वही कुछ सवाल आते हैं।

क्या कोई सचमुच रियल-टाइम बैकलिंक चेकर है?

पूरे वेब को कवर करने वाला नहीं। कोई भी टूल जो रियल-टाइम का वादा करता है, वह एक क्रॉलर का वर्णन कर रहा है जिसमें देरी है, और वह देरी ही वह हिस्सा है जिसके बारे में पूछना चाहिए। हमारा टूल लगभग मासिक आधार पर रिफ्रेश होता है, और पेज पर वही लिखा है।

स्क्रिप्ट को API कितनी बार कॉल करनी चाहिए?

ड्राइव के लिए साप्ताहिक पर्याप्त है और ट्रेंड्स की तुलना के लिए मासिक। बार-बार पोलिंग करने से क्रेडिट्स खर्च होते हैं और इंडेक्स रिफ्रेश होने तक समान पंक्तियाँ लौटती हैं।

दूसरा टूल एक लिंक क्यों दिखा सकता है जो मेरी API नहीं दिखाती?

हर इंडेक्स वेब के एक अलग हिस्से को अपनी शेड्यूल पर क्राल करता है। एक लिंक एक इंडेक्स तक दूसरे से पहले पहुंच सकता है, इसलिए दो स्रोतों के बीच तुलना करने के बजाय एक स्रोत के अंदर ट्रेंड्स की तुलना करें।

क्या नया लिंक आने पर मुझे ईमेल मिल सकता है?

केवल अगर आपकी जॉब एक भेजती है। एक शेड्यूल स्क्रिप्ट दो तारीख वाले ड्राइव की तुलना कर सकती है और नए डोमेनों को ईमेल या चैट पर पोस्ट कर सकती है। फेल्योर अलर्ट्स को भी रखें, ताकि एक चुपचाप टूटना नज़रअंदाज़ न हो।

क्या रीट्राई क्रेडिट्स दो बार खर्च करता है?

टाइमआउट के बाद रीट्राई एक दूसरी कॉल खर्च कर सकता है, इसलिए ऊपर दिया गया व्रैपर 401 और 402 पर रुक जाता है और कोशिशों के बीच इंतज़ार करता है। देखें कि जॉब वास्तव में कितना खर्च करती है, हर रन से पहले और बाद में _credits पढ़ें।

आदत की लागत

घंटे-घंटे एक डोमेन के refdomains को पोलिंग करना 24 कॉल्स प्रति दिन है, 2 क्रेडिट्स प्रति कॉल, इसलिए 48 क्रेडिट्स या $0.0048 प्रति दिन। पैसे में सस्ता, जानकारी में बेकार। साप्ताहिक दैनिक पोलिंग का एक-सातवां हिस्सा खर्च करता है और वही दिखाता है।