プロキシ性能のベンチマークが失敗する理由はたいてい退屈です。誰も本番で回さない条件を測っているからです。1スレッドで検索エンジンに1回投げても、午前9時に40ワーカーが商品ページを取得するときの挙動は分かりません。

信頼できる測定はワークロードから逆算します。同じリクエスト構成、同じ対象、同じ並列数、同じ時間帯、そして平均ではなくパーセンタイルです。

ツールより先にワークロードを定義する

  • リクエスト構成:HTML、JSON、画像、ダウンロードの比率を記録します。小さなJSON向けに調整されたプールは20MB転送でまったく違う挙動になります。
  • 対象セット:検索エンジン1つではなく、実在する5〜10ドメインを使います。TLSスタックもボット対策もCDNエッジも異なります。
  • 並列数:実際に動かす10〜50ワーカーで測ります。直列テストはどの供給元にも良く見え、待ち行列を隠します。
  • セッションモデル:stickyかリクエスト毎のローテートかを明記します。成功率への影響は供給元名より大きいことがあります。

ベンチマーク前のチェックリスト:6つの数値

  1. 対象ごとのp50レイテンシ。典型的な体験ですが、それだけでは不足です。
  2. エンドポイント毎に500標本以上のp95とp99。タイムアウトと再試行は裾に潜みます。
  3. 10・30・50並列での成功率。ステータスと内容の両方が正しい応答のみ数えます。
  4. DNSパス。socks5とsocks5hで20〜80ms差が出て、漏洩経路も変わります。
  5. 固定10〜50MBのスループットを3回。温かいキャッシュと冷たい転送を分けます。
  6. チャーン。stickyセッションで1時間あたりの出口IP変更回数。公称寿命を超えたら約束違反です。

簡易比較

  • p50:典型的なレイテンシと基礎オーバーヘッド。自前クライアントで計測。
  • p95/p99:裾の痛み、再試行圧力、ワーカーの遊休時間。
  • 10〜50並列の成功率:遮断や待ち行列の前の実容量。
  • スループットとチャーン:大容量転送とログイン業務の成否を決めます。

4ステップで測る

  1. 環境を固定:同一マシン、同一クライアント版、同一リージョン、同一スクリプト。
  2. ウォームアップし、最初の50リクエストは破棄。TLS握手と冷えたキャッシュが裾を歪めます。
  3. 1日2つの時間帯で実行し、両方を報告。都合の良い方だけ選びません。
  4. 3回繰り返して中央値を報告し、失敗を理由別に分類:タイムアウト、403、407、TLS。

よくある質問

なぜp50よりp95が重要ですか?

p50は典型的な1回のコスト、p95は20回に1回に起きることを示します。50並列なら数秒に1回のタイムアウトです。再試行が負荷を押し上げて裾をさらに伸ばし、故障が累積します。p50が改善してp95が悪化したら、自動化にとっては改悪です。

標本はどれくらい必要ですか?

パーセンタイルにはエンドポイント毎に最低500。p99を語るならさらに必要です。成功率は1,000リクエストで信頼度95%の誤差約3ポイント、良し悪しの判別には十分です。

ベンチマークは、ローンチ当日9時に障害を発見するより安く済みます。比較の基準が必要なら、FTProxyのレジデンシャルプロキシがノード別のレイテンシと成功率を公開しています。