أداة فحص الروابط الخلفية الفورية: الخيال، الواقع، وجدول إعادة المحاولة
كل أداة تحمل هذا الوصف هي زاحف مع تأخير زمني. تقوم أداتنا بالتحديث حوالي مرة واحدة شهريًا. إليك كيفية كتابة سكريبت يتجاوز ذلك دون إهدار الرصيد.
فريق التحرير في Linkzoid ·
الخيال مقابل الواقع
الخيال
الواقع
يكتشف الاستعلام كل ساعة ظهور رابط جديد أسرع
يتغير الفهرس مرة واحدة تقريبًا كل شهر، لذا فإن 29 من كل 30 استعلامًا ستعيد نفس الصفوف
اختفاء الرابط يعني أنه تم إزالته
قد يكون ببساطة أحدث من آخر تحديث
الأحدث دائمًا أفضل
لأغراض تحليل الاتجاهات، تكون لقطة شهرية مستقرة أفضل من لقطة يومية مليئة بالضوضاء
بحث Google هو نفس البيانات
يعرض ما تقرره Google لموقعك، وهو عرض مختلف وجزئي
الخطة المدفوعة تجعل الزحف فوريًا
لا يقوم أي بائع بزحف كل صفحة كل يوم
كيفية العمل مع فهرس شهري
معظم العمل يعتمد على عادة واحدة: التشغيل أسبوعيًا والمقارنة شهريًا.
إذا قمت للتو ببناء رابط وتريد إثباتًا، فلا تنتظر أي فهرس. افتح الصفحة، اعرض الكود المصدري، وتأكد من نص الرابط وسم rel. ثم انتظر التحديث التالي. تحتاج Google نفسها إلى أيام أو أسابيع لإعادة الزحف، وقد جعلت تغييرات Penguin 4.0 في عام 2016 معالجة Google نفسها فورية، وليس ما يمكن للأدوات الخارجية رؤيته.
تتطلب أداة فحص الروابط الخلفية الفورية بالمعنى الدقيق مراقبة الويب بأكمله. لا يفعل أحد ذلك، وخدعة إعادة الاستعلام عن قاعدة بيانات قديمة كل ساعة هي مجرد إنفاق للرصيد على نفس الإجابة.
التنبيهات حول الروابط الجديدة، ولماذا تخيب آمالها
غالبًا ما يطلب الناس تنبيهًا في اللحظة التي يظهر فيها رابط. الطلب معقول. الإجابة الصادقة هي أن الفهرس الشهري لا يمكنه تقديم ذلك، لأن الرابط الذي يظهر على الويب اليوم قد لا يصل إلى أي فهرس لعدة أسابيع.
التنبيهات المبنية على الاستعلام المتكرر تبدو نشطة ولا تخبرك بشيء جديد. تشرح الأقسام الفرعية الثلاثة أدناه أين يذهب الجهد، وما الذي يمكن أن تفعله الإعدادات الهادئة بدلاً من ذلك.
ما يمكن للتنبيه رؤيته فعليًا
يمكن للتنبيه مراقبة ما يحتويه الفهرس بالفعل. بين التحديثات، تعود نفس الصفوف، والتنبيه الذي ينشط بسبب بيانات متطابقة هو مجرد ضوضاء في بريدك الوارد.
يضيف الاستعلام مكالمات، وليس صفوفًا
يؤدي الاستعلام كل ساعة إلى إرسال العديد من الطلبات للحصول على إجابة واحدة. يوضح ملاحظة التكلفة في نهاية هذه الصفحة الحساب. يزداد الفاتورة مع التكرار بينما تبقى الصفوف كما هي.
السحب المؤرخ يؤدي نفس المهمة
يكتب المهام الأسبوعية ملفًا مؤرخًا، ويظهر الاختلاف مقارنة بالأسبوع الماضي ما تغير. تتطابق النتيجة مع الإيقاع الحقيقي للبيانات، ولا تزال تسمع عن الصفوف الجديدة خلال أسبوع.
الملف هو أيضًا دليلك عندما يسأل أحد ما تغير الشهر الماضي. حافظ على تسمية الملفات متطابقة من تشغيل لآخر، حتى ترتب الملفات نفسها.
جدول استكشاف الأخطاء للدورات
الاستجابة
المعنى
ما يجب أن يفعله السكريبت
HTTP 401
المفتاح مفقود أو غير صحيح
توقف، تنبيه، لا تعيد المحاولة
HTTP 402
نفد الرصيد
توقف، قم بشحن الرصيد باستخدام USDT، وأعد التشغيل يدويًا
ok: false مع 200
معلمة غير صالحة مثل إجراء غير معروف
سجل الجسم وأخفق المهمة
انقطاع الاتصال أو 5xx
مشكلة في الشبكة أو الخادم
أعد المحاولة مرتين مع انتظار 10 و60 ثانية
صفوف أقل من total
توقف التجزئة الخاص بك مبكرًا
أصلح الحلقة؛ البيانات سليمة
ينخفض الرصيد أسرع من المخطط
تعيد الحلقة جلب الصفحات
قارن _credits قبل وبعد كل تشغيل
غلاف إعادة المحاولة الذي لا ينفق الرصيد مرتين
يتم إعادة محاولة الأعطال العابرة فقط. 401 و402 ينتهيان على الفور.
python
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
ضع التكلفة في سطر واحد. سحب المجالات المرجعية الأسبوعي لنطاق واحد هو 2 رصيد، أي حوالي $0.01 في السنة.
عامل أي وعد بأداة فحص روابط خلفية فورية بشك، بما في ذلك وعدنا. الوصف الصادق لما يمكنك سكريبت هو فهرس شهري مع عادة أسبوعية حوله، وهو لا يزال أفضل من الفحص اليدوي كل ربع سنة.
حدد فحص حدة يتناسب مع البيانات
تستبدل هذه الخطوات الأربع التنبيه بعادة يمكنك الحفاظ عليها.
01
اختر وتيرة واحدة
أسبوعيًا للسحب، شهريًا للمقارنة. اكتب كليهما في ملاحظات المستودع حتى لا يبتعد الجدول مع مرور الوقت.
02
احفظ الاستجابة الخام
احفظ JSON دون تغيير تحت تاريخ اليوم. يمكنك إعادة حساب أي رقم لاحقًا، ولا تحتاج أبدًا إلى الوثوق بملخص لا يمكنك التحقق منه.
03
قارن المجموعات، وليس الإجمالي
احسب ما وصل وما اختفى بين سحبين. الإجمالي الذي يبقى ثابتًا يمكن أن يخفي تبديل خمسين مجالًا.
04
أوقف الحلقة عند الخطأ الأول
يؤدي 401، أو 402، أو ok التي هي خطأ إلى إنهاء التشغيل. يحاول التشغيل المجدول التالي مرة أخرى، وهو أرخص من أي حلقة تنبيه.
قراءة الرابط المفقود دون ذعر
الرابط الذي لم يظهر في الفهرس بعد هو حالة مختلفة عن الرابط الذي تم إزالته. الخلط بينهما يؤدي إلى قرارات خاطئة، لذا تحقق من أي نوع لديك قبل أن تتصرف.
ابدأ بالصفحة. إذا كانت لا تزال نشطة والرابط موجود، فإن الفهرس متأخر ببساطة. انتظر التحديث التالي قبل أن تستنتج أي شيء حول الصفحة أو الموقع.
أحدث من آخر تحديث
معظم الروابط المفقودة حديثة. لاحظ التاريخ الذي وجدت فيه الرابط، وقارنه بتاريخ آخر تحديث. فجوة من بضعة أسابيع أمر طبيعي لفهرس شهري.
رابط وجدته يوم الثلاثاء وتحقق منه يوم الجمعة لم يكن لديه الوقت للوصول إلى الفهرس، لذا فإن الفجوة متوقعة وليست مقلقة.
تمت إزالته أو نقله أو لم يتم فهرسته أبدًا
بعض الروابط تذهب حقًا. تم حذف الصفحة، أو تم تحرير الرابط، أو أن الصفحة الآن خلف تسجيل الدخول. تحقق من الصفحة نفسها. إذا كان الرابط موجودًا والفهرس لا يزال يفتقده، فهذه مشكلة في الفهرس، وليست تغييرًا في الموقع الآخر.
اكتب أي حالة وجدت، لأن الإصلاح مختلف لكل واحدة.
ثلاث تحديثات لروابط Google حددت الإيقاع
Penguin 4.0
قالت Google إن إشارة البريد العشوائي للروابط أصبحت جزءًا من الخوارزمية الأساسية وتعمل في الوقت الفعلي، من جانبها الخاص.
تحديث البريد العشوائي للروابط
أعلنت Google عن تحديث SpamBrain المصمم لتحييد الروابط المزعجة بدلاً من عدّها.
التحديثات الأساسية والبريد العشوائي
أحدث إطلاق كبير في مارس تغييرًا في كيفية تعامل Google مع المحتوى منخفض القيمة والروابط التلاعبية، واستغرق الأمر أسابيع ليستقر.
ماذا تفعل عندما تحتاج إلى إثبات اليوم
الفحص يستغرق وقتًا أقل من الجدل حوله. اعرض مصدر الصفحة. ابحث عن URL الخاص بك، ونص الرابط، وأي سمات nofollow أو sponsored أو ugc.
مجموعة أكبر، احصل على صفحات الربط بنفسك باستخدام سكريبت مهذب مع تأخير، وابحث في HTML عن نطاقك. هذه مهمة مختلفة عن طلب الفهرس، وهي الوحيدة التي ترى رابطًا تم نشره منذ ساعة.
إيقاع شهري يظل رخيصًا
تخيل موقعًا صغيرًا مع مجال هدف واحد. تعمل المهمة كل يوم اثنين، وتكتب ملفًا، ولا تفعل شيئًا آخر حتى الأول من الشهر. هذا يتماشى مع التحديث. يبقى استخدام الرصيد ثابتًا.
أول يوم اثنين من كل شهر هو يوم المقارنة. افتح الملفين الأحدث، احسب المجالات الجديدة والمختفية، واكتب سطرًا واحدًا في ملاحظاتك. عشر دقائق عادة ما تكون كافية. تصبح هذه الملاحظات تاريخًا يمكنك الوثوق به.
حافظ على المقارنة في نفس المكان كل شهر، حتى يقرأ التاريخ كسطر واحد.
ماذا تفعل مع الارتفاع المفاجئ
قفزة مفاجئة في الصفوف الجديدة بعد التحديث أمر طبيعي، حيث قد يلحق الفهرز بعدة أسابيع مرة واحدة. اقرأ عينة من المجالات الجديدة قبل أن تقرر ما إذا كانت حملة أو مشكلة.
إذا كانت الارتفاع لمجال واحد يحتوي على مئات الصفوف، ابحث عن قالب أو أداة قبل أن تقرأها كحملة.
ماذا تفعل مع شهر هادئ
الشهر المسطح هو غالبًا مجرد شهر مسطح. تحقق من أن المهمة تعمل وتكتب ملفًا، لأن المهمة التي توقفت بصمت تبدو تمامًا مثل فهرس هادئ.
أسئلة الفورية، تم الإجابة عليها
تظهر نفس الأسئلة القليلة كل مرة يتم فيها إعداد جدول زمني لأول مرة.
هل توجد أداة فحص روابط خلفية فورية حقًا؟
لا واحدة تغطي الويب بأكمله. أي أداة تعدك بالبيانات الفورية تصف زاحفًا مع تأخير، والتأخير هو الجزء الذي يجب أن تسأل عنه. تقوم أدتنا بالتحديث مرة واحدة تقريبًا في الشهر، والصفحة تقول ذلك.
كم مرة يجب أن يستدعي السكريبت API؟
أسبوعيًا يكفي للسحب وشهريًا لمقارنة الاتجاهات. الاستعلام أكثر من ذلك يكلف الرصيد ويعيد نفس الصفوف حتى يتم تحديث الفهرس.
لماذا يمكن لأداة أخرى عرض رابط لا تظهره API الخاصة بي؟
كل فهرس يزحف شريحة مختلفة من الويب على جدول زمني خاص به. يمكن أن يصل الرابط إلى فهرس واحد قبل آخر، لذا قارن الاتجاهات داخل مصدر واحد بدلاً من عبر اثنين.
هل يمكنني الحصول على بريد إلكتروني عندما يظهر رابط جديد؟
فقط إذا أرسلت مهمتك واحدة. يمكن لسكريبت مجدول مقارنة سحبين مؤرخين ونشر المجالات الجديدة إلى البريد الإلكتروني أو الدردشة. احتفظ بتنبيهات الفشل أيضًا، حتى لا يمر الانقطاع الصامت دون أن يلاحظه أحد.
هل تنفق إعادة المحاولة الرصيد مرتين؟
يمكن أن تنفق إعادة المحاولة بعد انقطاع الاتصال مكالمة ثانية، ولهذا السبب يتوقف الغلاف أعلاه عند 401 و402 وينتظر بين المحاولات. اقرأ _credits قبل وبعد كل تشغيل لمعرفة التكلفة الحقيقية للمهمة.
تكلفة العادة
استعلام مجالات مرجعية لمجال واحد كل ساعة هو 24 مكالمة في اليوم بسعر 2 رصيد لكل منها، أي 48 رصيدًا أو $0.0048 في اليوم. رخيص من حيث المال، عديم الفائدة من حيث المعلومات. يكلف الأسبوعي سبعة أضعاف الاستعلام اليومي ويظهر نفس الشيء.
