BrightData

BrightDataは、企業向けのWebスクレイピングに特化した大手テクノロジー企業です。個人利用にはあまり向いていません。というのも、開発者向けに設計された複雑なインターフェースで、さらにすべてのWebサイトへアクセスしたい場合はKYCの通過が必要だからです。KYCを行わないとアクセスできる範囲が制限されます。総合的に見て、BrightDataはWebスクレイピングを行う企業ユーザーにこそ適したサービスであり、その理由はこの記事を読み進めるほどにご理解いただけるはずです。

無料トライアル

BrightDataを使い始める前に、無料トライアルが用意されている点はうれしい驚きでした。ただし注意点が1つあります。トップページには「クレジットカード不要」と書かれているにもかかわらず、実際には銀行カードを紐付ける必要があります。

無料トライアルでは、銀行カードをリンクすると残高に$5が付与されます。手順としては、サイト https://brightdata.com/ にアクセスし、右上の「Start Free Trial」ボタンから登録します。

登録後はメインページにリダイレクトされます。そこはAIとのチャットのような画面で、気になることを何でも質問できます。ただ、この段階では無料トライアルの有効化が目的です。

「Billing」メニューに進み、下のスクリーンショットのように「Activate」ボタンをクリックします。

ポップアップが表示されるので、右側の選択肢を選び、下のスクリーンショットのとおり「Add payment method」をクリックします。

続いて、利用可能な支払い方法のいずれかを紐付けるページが開きます。選択肢は下のスクリーンショットのとおりです。

支払い方法をリンクすると、残高に$5が反映されます。ほかのプロキシ事業者と違い、プロキシを試すために最低入金額を支払う必要はありません。BrightDataでは、この$5の残高だけで30日間、完全無料でプロキシをテストできます。必要なのは支払い方法の紐付けだけです。

これでプロキシのテストに進めます。ご覧のとおり、BrightDataの画面はWebスクレイピングを強く意識した作りで、主に技術ユーザー向けです。

プロキシの種類

同社は次の種類のプロキシを提供しています。

• ローテーション型および固定型の住宅用プロキシ

• ローテーション型および固定型のISPプロキシ

• ローテーション型および固定型のデータセンタープロキシ

• ローテーション型および固定型のモバイルプロキシ

こちらの記事も参考にしてください: プロキシの種類: どれを選ぶべきか。要点だけ言うと、BrightDataはWebスクレイピング向けなので、長時間セッションを維持したい場合は固定プロキシが有効です。例えば実ユーザーの挙動を模した自動化に向きます。一方、ローテーションプロキシは大規模なデータ収集に適しています。データセンタープロキシはブロックされやすいものの安価で、住宅用プロキシは匿名性が高くブロックされにくい反面、価格が高めです。理想的には両方を併用するのがよく、まずデータセンタープロキシで接続を試し、それでうまくいかなければ住宅用プロキシに切り替えるのが定石です。また対象サイトによって必要条件は異なり、住宅用プロキシしか通らないサイトもあれば、データセンタープロキシで十分な場合もあります。

プロキシの設定

最初のステップは、プロキシのエンドポイントを作成することです。「Create Proxy」を選び、目的のプロキシタイプを選択します。

次にエンドポイントの設定に進みます。ここでは名前と説明を設定し、プロキシのサブタイプを選び、国を指定し、追加のターゲティング条件も設定できます。なお、ターゲティングは手動設定が必要で、あまり便利とは言えません。

設定が完了したら「Create proxy」をクリックすると、利用できるエンドポイントが生成されます。

プロキシ情報はターミナル内に表示されます。フォーマット、プログラミング言語、国などを選んで表示内容をカスタマイズすることも可能です。国については、初期設定で選択した国のIPがデフォルトで使われますが、ログイン名に「-country-XX」を追加して国を手動指定することもできます。XXは国コードです。

この設定形式からも、BrightDataが大企業の開発者向けWebスクレイピングに強くフォーカスしていることが分かります。

ちなみに、エンドポイントを作成した後でも、先ほどの設定は変更できます。作成したエンドポイントをクリックしてください。

続いて「Configuration」タブを開くと、以前作成した設定が表示されます。必要な変更を行い、保存します。

改めて強調しておきたいのは、BrightDataのプロキシ設定は他社と比べてかなり複雑だという点です。最大の弱点は、きちんとしたプロキシ設定ウィザードが用意されておらず、基本的にすべて手作業で設定する必要があることです。役立つ公式ドキュメントをいくつか紹介します。

1. 一般的な設定オプション。

2. 詳細なジオターゲティング。地域、都市、インターネットプロバイダ単位のターゲティング設定方法が分かります。

3. セッション設定（デフォルトではリクエストごとにIPが変わります）。このドキュメントでは、リクエストをまたいで同じIPを維持する方法が分かります。

なお、BrightDataはSOCKS5プロキシに対応していません。このプロトコルでの接続は試さないでください。対応しているのはHTTPのみで、これはWebスクレイピングには非常に適したプロトコルです。

テストとプロキシ品質

プロキシを作成したので、次はテストです。私たちは通常、プロキシチェッカーを使いますが、今回はそれができませんでした。というのも、BrightDataが当サイトへのアクセスをブロックしていたためです。

「Playground」タブから当チェッカー https://checker.caproxy.com/ へのアクセスを確認しようとすると、400エラーになります。これはBrightData側でKYC認証を完了していないためで、KYCなしでは同社のプロキシをすべてのWebサイトで使用できない仕様になっています。

ただし、この制限が適用されるのはローテーションプロキシのみでした。固定プロキシを設定すると、多くのWebサイトで問題なく動作し、制限もありません。固定ISPプロキシをテストしたところ、pingは低いか通常範囲で、国判定も正確でした。

KYC認証

BrightDataは規制遵守を徹底し、倫理的な方法でプロキシを収集しているため、ローテーションプロキシをフルに利用するにはKYC認証が必要です。さらに、KYCは法人メールアドレスで行う必要があり、担当者とのビデオ通話も求められます。

とはいえ、KYCは必須ではなく、BrightDataのプロキシ経由であらゆるWebサイトに完全アクセスするために必要な手続きです。用途によってはKYCが不要な場合もあります。ターゲットサイトへのアクセスを確認し、問題なく表示されるなら、KYCなしでそのまま運用を続けられます。

データセット

BrightDataは、すぐに使える既成データセットも提供しています。つまり、自分で収集設定を組む代わりに、用意されたデータセットを使えるということです。例えばLinkedInのプロフィールやAmazonの商品データなど、出来上がったデータを購入できます。

そのため、BrightDataのプロキシを使う前に、既成データセットで目的を満たせないか確認してみてください。価格はレコード単位で、最低注文数も設定されています。

Webスクレイピング

BrightDataは高品質なプロキシだけでなく、強力なWebスクレイピングツールも提供しています。よく見ると、単なるスクレイピングAPIにとどまらず、より高度な内容です。

• Browser API。Webの閲覧、操作、データ抽出のためのアンロック機能を内蔵したリモートブラウザを実行し、スケールできます。クリックやホバー、ページ遷移などの操作が必要なサイトや、JavaScriptレンダリングが必要なケースで最適です。

• Web Unlocker API。最も難易度の高いサイト向けに、ワンステップで自動スクレイピングを実現します。住宅用プロキシの利用、CAPTCHA解決、JavaScriptレンダリング、カスタムフィンガープリントとCookieの適用を行います。実ユーザーを完全に模倣するAPIで、強固に保護されたページからデータを抽出するのに適しています。

• SERP API。Google、Bing、Yandexなどの主要検索エンジンからデータを即座に取得できます。スクレイピングは住宅用プロキシ、CAPTCHA解決、JavaScriptレンダリング、カスタムフィンガープリントで処理されます。検索、旅行、ホテル、地図、ショッピングなど、検索結果ページからHTMLまたはJSONを取得するのに最適です。

• Crawl API。任意ドメインからのコンテンツ抽出を自動化します。ルートURLを定義するだけで、サイト全体のコンテンツをMarkdown、テキスト、HTML、またはJSONファイルとして取得できます。

API

先に触れたとおり、BrightDataは初心者向けではなく、大規模なデータ収集と処理に慣れた開発者向けのサービスです。そのため、非常に強力なAPIが提供されているのも自然でしょう。APIドキュメントは こちら から確認できます。

リンク先には、API経由でBrightDataの各ツールを利用するために必要な情報がまとまっています。API自体は設定画面の「Users and API keys」セクションにあります。

結論

BrightDataは2014年から運営されている大手テクノロジー企業です。本社はイスラエルにあり、世界で500名以上の従業員を擁しています。同社は規制要件を厳格に遵守し、プロキシとWebスクレイピングツールに注力しています。インターフェースは複雑で技術者向けに作られているため、初心者にはBrightDataはあまり適しておらず、ほかのプロキシ事業者を検討したほうがよいでしょう。

まとめると、BrightDataは信頼性が高く強力なプロキシプロバイダーで、大規模なデータ収集のためにプロキシを必要とする企業にとっては優れた選択肢です。それ以外のケースでは、よりシンプルなインターフェースのプロバイダー、例えば NodeMaven を検討するのがおすすめです。