プロキシ性能のベンチマークが失敗する理由はたいてい退屈です。誰も本番で回さない条件を測っているからです。1スレッドで検索エンジンに1回投げても、午前9時に40ワーカーが商品ページを取得するときの挙動は分かりません。
信頼できる測定はワークロードから逆算します。同じリクエスト構成、同じ対象、同じ並列数、同じ時間帯、そして平均ではなくパーセンタイルです。
ツールより先にワークロードを定義する
- リクエスト構成:HTML、JSON、画像、ダウンロードの比率を記録します。小さなJSON向けに調整されたプールは20MB転送でまったく違う挙動になります。
- 対象セット:検索エンジン1つではなく、実在する5〜10ドメインを使います。TLSスタックもボット対策もCDNエッジも異なります。
- 並列数:実際に動かす10〜50ワーカーで測ります。直列テストはどの供給元にも良く見え、待ち行列を隠します。
- セッションモデル:stickyかリクエスト毎のローテートかを明記します。成功率への影響は供給元名より大きいことがあります。
ベンチマーク前のチェックリスト:6つの数値
- 対象ごとのp50レイテンシ。典型的な体験ですが、それだけでは不足です。
- エンドポイント毎に500標本以上のp95とp99。タイムアウトと再試行は裾に潜みます。
- 10・30・50並列での成功率。ステータスと内容の両方が正しい応答のみ数えます。
- DNSパス。socks5とsocks5hで20〜80ms差が出て、漏洩経路も変わります。
- 固定10〜50MBのスループットを3回。温かいキャッシュと冷たい転送を分けます。
- チャーン。stickyセッションで1時間あたりの出口IP変更回数。公称寿命を超えたら約束違反です。
簡易比較
- p50:典型的なレイテンシと基礎オーバーヘッド。自前クライアントで計測。
- p95/p99:裾の痛み、再試行圧力、ワーカーの遊休時間。
- 10〜50並列の成功率:遮断や待ち行列の前の実容量。
- スループットとチャーン:大容量転送とログイン業務の成否を決めます。
4ステップで測る
- 環境を固定:同一マシン、同一クライアント版、同一リージョン、同一スクリプト。
- ウォームアップし、最初の50リクエストは破棄。TLS握手と冷えたキャッシュが裾を歪めます。
- 1日2つの時間帯で実行し、両方を報告。都合の良い方だけ選びません。
- 3回繰り返して中央値を報告し、失敗を理由別に分類:タイムアウト、403、407、TLS。
よくある質問
なぜp50よりp95が重要ですか?
p50は典型的な1回のコスト、p95は20回に1回に起きることを示します。50並列なら数秒に1回のタイムアウトです。再試行が負荷を押し上げて裾をさらに伸ばし、故障が累積します。p50が改善してp95が悪化したら、自動化にとっては改悪です。
標本はどれくらい必要ですか?
パーセンタイルにはエンドポイント毎に最低500。p99を語るならさらに必要です。成功率は1,000リクエストで信頼度95%の誤差約3ポイント、良し悪しの判別には十分です。
ベンチマークは、ローンチ当日9時に障害を発見するより安く済みます。比較の基準が必要なら、FTProxyのレジデンシャルプロキシがノード別のレイテンシと成功率を公開しています。