프록시로 레딧을 수집하는 일은 도구는 쉽고 판단은 어렵습니다. 레딧에는 제품과 업무 방식에 대한 솔직한 대화가 수백만 건 있어 리서치 소스로 매우 값집니다. 동시에 쿼터가 있는 공식 API, 집행되는 약관, 자체 수집 규칙을 가진 커뮤니티가 있습니다. 돌아가는 파이프라인은 이 세 가지를 모두 만족해야 합니다.

대부분의 레딧 프로젝트는 지루한 이유로 실패합니다. 질문이 아니라 스크래퍼부터 시작하고, IP가 제한될 때까지 요청을 몰아치고, 모더레이터를 장애물로 봅니다. 지속 가능한 방식은 반대입니다. API 우선, 빈틈만 스크래핑, 프로젝트마다 하나의 안정된 신원, 사람 모더레이터가 예의 있다고 할 속도.

공식 API를 먼저 쓰는 이유

  • 범위: 검색, 댓글, 게시물, 서브레딧 히스토리를 웹 UI 없이 가져옵니다.
  • 예측 가능성: 쿼터가 공개되어 실행 전에 작업 규모를 산정할 수 있습니다.
  • 정당성: 인증된 앱은 레딧이 아는 존재이며, 봇 방어를 추측할 필요가 없습니다.
  • 한계: 대규모 과거 데이터, UI 전용 랭킹 신호, 로그아웃 지역 화면이 API의 경계입니다.

프록시가 필요한 지점

  1. 프로젝트당 하나의 신원: 전용 스티키 IP로 쿼터, 쿠키, 장애를 분리합니다.
  2. 지역 민감 화면: 로그아웃 방문자가 보는 내용은 국가마다 다릅니다; 레지던시 IP로 미국·독일·일본 화면을 확보합니다.
  3. 장기 수집기: 정적 ISP는 수주간 같은 신원을 유지해 월간 작업 재개에 적합합니다.
  4. 오염 없는 병렬화: 두 프로젝트가 두 IP를 쓰면 스로틀이나 소프트 밴을 공유하지 않습니다.
  5. IP별 페이싱: 각 수집기에 알려진 주소와 요청 예산을 부여합니다.

빠른 비교

  • 공식 API: 검색·댓글·히스토리에 최적. 쿼터와 OAuth 제약. UI 전용 신호는 없음.
  • 웹 UI 수집: 랭킹 관찰, 로그아웃 레이아웃, 지역 화면에 최적. 레이트 리밋과 서브레딧 규칙 제약.
  • 하이브리드: 실무 리서치의 주력. 두 코드 경로와 더 엄격한 규율 필요.
  • 공통점: 프록시는 수집을 적법하게 만들지 않습니다. 병렬·지역화·안정화를 가능하게 할 뿐입니다.

4단계로 수집기 만들기

  1. 질문과 최소 데이터를 정합니다: 어떤 서브레딧, 어느 기간, 어떤 필드.
  2. 앱을 등록해 OAuth를 쓰고, 소규모 표본으로 남은 쿼터와 요청당 시간을 측정합니다.
  3. 이름 붙은 빈틈에만 스크래핑을 추가하고 중지 조건을 명시합니다.
  4. 프로젝트마다 스티키 IP를 연결하고 실행 전 검증하며, 초당 1–2 요청으로 시작해 차단을 기록합니다.

FAQ

레딧 수집은 허용되나요?

API 약관이 기준입니다. 중간 규모의 공익 연구는 보통 괜찮지만, 쿼터를 우회하는 대량 수집이나 서브레딧 규칙 무시는 안 됩니다. 프록시는 허가증이 아닙니다.

레지던시와 데이터센터 중 무엇을?

사용자 대상·지역 민감 작업은 레지던시. 데이터센터는 저렴하지만 먼저 챌린지됩니다. 안정된 신원이 필요한 장기 작업에는 정적 ISP가 최적의 절충입니다.

레딧은 이겨야 할 대상이 아니라 규칙이 있는 소스로 다루세요. FTProxy 레지던시 프록시가 프로젝트별 스티키 세션과 국가 타게팅을 제공합니다.