신화와 현실
그런 라벨을 달고 있는 모든 도구는 지연이 있는 크롤러입니다. 저희 도구는 약 한 달마다 새로 고침합니다. 크레딧을 낭비하지 않고 이를 스크립팅하는 방법을 확인하세요.
| 신화 | 현실 |
|---|---|
| 매시간 폴링하면 새 링크를 더 빨리 포착할 수 있습니다 | 인덱스는 약 한 달에 한 번 변경되므로 30번의 폴링 중 29번은 동일한 행을 반환합니다 |
| 누락된 링크는 제거되었음을 의미합니다 | 마지막 새로 고침보다 최신일 뿐일 수 있습니다 |
| 더 신선한 것이 항상 더 좋습니다 | 트렌드의 경우, 소음이 많은 일일 데이터보다 안정적인 월간 스냅샷이 더 낫습니다 |
| 서치 콘솔은 동일한 데이터입니다 | Google이 귀하의 속성에 대해 보고하는 내용을 보여주며, 이는 서로 다른 부분적인 관점입니다 |
| 유료 플랜은 크롤링을 즉시 만듭니다 | 어떤 벤더도 모든 페이지를 매일 크롤링하지 않습니다 |
대부분의 작업은 하나의 습관입니다: 매주 실행하고 매월 비교하세요.
방금 링크를 생성했고 증거가 필요하다면 인덱스를 기다리지 마세요. 페이지를 열고 소스를 확인한 후 anchor text와 rel 속성을 확인하세요. 그런 다음 다음 새로 고침을 기다리세요. Google 자체도 다시 크롤링하는 데 며칠 또는 몇 주가 필요하며, 2016년 Penguin 4.0 변경은 자체 처리를 실시간으로 만들었을 뿐, 타사 도구가 볼 수 있는 것은 실시간이 아닙니다.
엄격한 의미의 실시간 백링크 확인 도구는 웹 전체를 모니터링해야 합니다. 아무도 그렇게 하지 않으며, 오래된 데이터베이스를 매시간 다시 쿼리하는 저렴한 트릭은 동일한 답변에 크레딧을 소모하는 것입니다.
사람들은 종종 링크가 생성되는 순간 알림을 요청합니다. 요청은 타당합니다. 정직한 답변은 월간 인덱스로는 이를 제공할 수 없다는 것입니다. 웹에 오늘 나타난 링크가 몇 주 동안 어떤 인덱스에도 도달하지 않을 수 있기 때문입니다.
반복 폴링으로 구축된 알림은 바쁘게 보이지만 새로운 정보를 알려주지 않습니다. 아래 세 가지 하위 섹션은 노력이 어디에 쓰이는지, 그리고 조용한 설정이 대신 무엇을 할 수 있는지 설명합니다.
알림은 인덱스가 이미 보유하고 있는 것만 모니터링할 수 있습니다. 새로 고침 사이에는 동일한 행이 다시 반환되며, 동일한 데이터로 트리거되는 알림은 단지 받은 편지함의 노이즈일 뿐입니다.
매시간 폴링은 하나의 답변을 위해 많은 요청을 보냅니다. 이 페이지 하단의 비용 메모는 산술을 보여줍니다. 빈도가 높아질수록 요금이 증가하지만 행은 그대로 유지됩니다.
주간 작업은 날짜가 있는 파일을 작성하고, 지난주와의 diff를 통해 변경 사항을 확인합니다. 결과는 데이터의 실제 리듬과 일치하며, 새로운 행에 대해 일주일 이내에 알 수 있습니다.
누군가 지난달에 변경된 사항을 묻는 경우 파일은 증거가 됩니다. 실행 간에 파일 이름 형식을 동일하게 유지하여 파일이 자동으로 정렬되도록 하세요.
| 응답 | 의미 | 스크립트가 수행해야 할 작업 |
|---|---|---|
| HTTP 401 | 키 누락 또는 오류 | 중지, 알림, 재시도 안 함 |
| HTTP 402 | 크레딧 고갈 | 중지, USDT로 충전 후 수동으로 다시 실행 |
ok: false with 200 | 알 수 없는 작업과 같은 잘못된 매개변수 | 본문을 로깅하고 작업을 실패 처리 |
| 타임아웃 또는 5xx | 네트워크 또는 서버 오류 | 10초 및 60초 대기 후 두 번 재시도 |
total 이하의 행 | 페이지 처리가 조기에 중단되었습니다 | 루프를 수정하세요; 데이터는 정상입니다 |
| 잔액이 계획보다 빠르게 감소합니다 | 루프가 페이지를 다시 가져오고 있습니다 | 각 실행 전후에 _credits를 비교하세요 |
일시적 오류만 재시도됩니다. 401 및 402는 즉시 종료됩니다.
import json, time, urllib.request as u, urllib.error as e
def call(url, tries=3):
for i in range(tries):
try:
with u.urlopen(url, timeout=30) as r:
return json.load(r)
except e.HTTPError as x:
if x.code in (401, 402):
raise SystemExit(f'stop: HTTP {x.code}')
if i == tries - 1:
raise
except (e.URLError, TimeoutError):
if i == tries - 1:
raise
time.sleep(10 * 6 ** i)
스냅샷을 주간 타이머에 배치하세요. Actions runbook에 나와 있는 것처럼 하세요. SQLite 스크립트로 매월 diff를 만드세요.
비용을 한 줄에 명시하세요. 도메인 하나에 대한 주간 refdomains 풀링은 2 크레딧이므로 연간 약 $0.01입니다.
실시간 백링크 확인 도구에 대한 모든 약속은 의심하세요. 저희 포함할 것. 귀하가 스크립팅할 수 있는 것에 대한 정직한 라벨은 주간 습관을 가진 월간 인덱스이며, 이는 분기별 수동 확인보다 여전히 낫습니다.
이 네 가지 단계는 알림을 유지 가능한 습관으로 대체합니다.
풀링은 매주, 비교는 매월. 일정이 시간이 지남에 따라 어긋나지 않도록 레포지토리 메모에 둘 다 기록하세요.
오늘 날짜로 변경되지 않은 JSON을 저장하세요. 나중에 어떤 숫자도 다시 계산할 수 있으며, 확인할 수 없는 요약에 의존할 필요가 없습니다.
두 풀링 사이에 도착한 것과 사라진 것을 세세요. 총계가 일정하게 유지되어도 50개 도메인의 교체가 숨겨질 수 있습니다.
401, 402 또는 ok가 false인 경우 실행이 종료됩니다. 다음 예약된 실행이 다시 시도하며, 이는 어떤 알림 루프보다 저렴합니다.
인덱스에 아직 없는 링크는 제거된 링크와 다른 경우입니다. 둘을 혼동하면 잘못된 결정으로 이어지므로, 행동하기 전에 어떤 경우인지 확인하세요.
페이지부터 시작하세요. 페이지가 여전히 활성화되어 있고 링크가 있다면 인덱스가 단순히 뒤쳐진 것입니다. 페이지나 사이트에 대해 결론을 내리기 전에 다음 새로 고침을 기다리세요.
대부분의 누락된 링크는 최근 것입니다. 링크를 발견한 날짜를 기록하고 마지막 새로 고침 날짜와 비교하세요. 월간 인덱스의 경우 몇 주 차이가 나는 것은 정상입니다.
화요일에 발견하고 금요일에 확인한 링크는 인덱스에 도달할 시간이 없었으므로, 그 간격은 놀라운 것이 아니라 예상되는 것입니다.
일부 링크는 실제로 사라졌습니다. 페이지가 삭제되었거나 링크가 편집되었거나, 페이지가 로그인 뒤에 숨겨져 있을 수 있습니다. 페이지 자체를 확인하세요. 링크가 있고 인덱스에 여전히 없다면, 이는 인덱스 문제이며 다른 사이트의 변경이 아닙니다.
발견한 경우를 기록하세요. 각 경우에 대한 해결 방법이 다르기 때문입니다.
Google은 링크 스팸 신호가 자체 측에서 실시간으로 실행되는 핵심 알고리즘의 일부가 되었다고 말했습니다.
Google은 링크를 세는 대신 스팸 링크를 중립화하는 것을 목표로 하는 SpamBrain 업데이트를 발표했습니다.
3월의 대규모 롤아웃은 Google이 저품질 콘텐츠와 조작된 링크를 처리하는 방식을 변경했으며, 정착하는 데 몇 주가 걸렸습니다.
확인하는 것이 논쟁하는 것보다 시간이 덜 걸립니다. 페이지 소스를 확인하세요. 귀하의 URL, anchor text 및 nofollow, sponsored 또는 ugc 속성을 찾으세요.
더 큰 집합의 경우, 정중한 스크립트와 지연을 사용하여 링크 페이지를 직접 가져오고 도메인을 위해 HTML을 grep하세요. 이는 인덱스에 묻는 것과 다른 작업이며, 1시간 전에 게시된 링크를 보는 유일한 방법입니다.
목표 도메인이 하나인 작은 사이트를 상상해 보세요. 작업은 매주 월요일에 실행되고 파일을 작성한 후 월 첫째 날까지 다른 작업을 수행하지 않습니다. 이는 새로 고침과 일치합니다. 크레딧 사용량은 일정하게 유지됩니다.
매월 첫 번째 월요일이 비교일입니다. 가장 최근의 두 파일을 열고 새 도메인과 사라진 도메인을 세며 메모에 한 줄을 작성하세요. 보통 10분이면 충분합니다. 그 메모는 신뢰할 수 있는 역사가 됩니다.
매월 비교를 같은 장소에 유지하여 역사가 한 줄로 읽히도록 하세요.
새로 고침 후 새로운 행의 갑작스러운 증가는 인덱스가 여러 주치를 한 번에 따라잡을 수 있으므로 정상입니다. 캠페인인지 문제인지 결정하기 전에 새 도메인의 샘플을 읽어보세요.
급증이 수백 개의 행을 가진 하나의 도메인인 경우, 캠페인으로 해석하기 전에 템플릿이나 위젯을 찾으세요.
평온한 달은 종종 그냥 평온한 달입니다. 작업이 실행되고 파일을 작성했는지 확인하세요. 조용히 중단된 작업은 조용한 인덱스와 정확히 동일해 보이기 때문입니다.
일정이 처음 설정될 때마다 동일한 몇 가지 질문이 매번 발생합니다.
웹 전체를 커버하는 도구는 없습니다. 실시간을 약속하는 모든 도구는 지연이 있는 크롤러를 설명하며, 그 지연이 질문할 부분입니다. 저희 도구는 약 한 달에 한 번 새로 고침하며, 페이지에 그렇게 명시되어 있습니다.
풀링에는 매주, 트렌드 비교에는 매월이면 충분합니다. 더 자주 폴링하면 크레딧이 소모되고 인덱스가 새로 고침될 때까지 동일한 행이 반환됩니다.
각 인덱스는 자체 일정에 따라 웹의 다른 부분을 크롤링합니다. 링크는 한 인덱스에 다른 인덱스보다 먼저 도달할 수 있으므로, 두 소스 간에 비교하기보다 하나의 소스 내에서 트렌드를 비교하세요.
작업이 하나를 보내는 경우에만 가능합니다. 예약된 스크립트는 두 날짜가 있는 풀링을 비교하고 새 도메인을 이메일이나 채팅에 게시할 수 있습니다. 조용한 중단이 눈에 띄지 않도록 실패 알림도 켜두세요.
타임아웃 후 재시도는 두 번째 호출을 소모할 수 있으므로, 위의 래퍼는 401 및 402에서 종료하고 시도 사이에 대기합니다. 각 실행 전후에 _credits를 읽어 작업이 실제로 얼마나 비용이 드는지 확인하세요.
매시간 하나의 도메인 refdomains를 폴링하면 하루에 24회 호출, 각 호출당 2 크레딧이므로 하루에 48 크레딧 또는 $0.0048입니다. 돈으로는 저렴하지만 정보로는无用합니다. 주간 폴링은 일일 폴링의 7분의 1 비용이며 동일한 것을 보여줍니다.
