آخر تحديث: 2026-10-18
كل مليون صفحة ويب كلّفنا 43 غيغابايت من حركة مرور البروكسي عند جلبها على هيئة HTML مضغوط، و1.4 تيرابايت عندما حمّل متصفح كامل الصفحات نفسها. وبأسعار أكتوبر 2026 للبروكسيات السكنية الدوّارة، يعادل ذلك بين 43 و171 دولارًا بالطريقة الأولى، وبين 701 و4,991 دولارًا بالطريقة الثانية، بحسب المزوّد.
حمّلنا 60 صفحة من 10 مصادر تُبنى منها مجموعات بيانات النصوص، عبر بروكسي سكني دوّار، بأربع طرق، وقسنا حجم الحركة الذي تكلّفه كل طريقة وكمية النص النظيف التي تعيدها، نحو 5 كيلوبايت لكل صفحة. 9 من أصل 10 مصادر استجابت لخادم مركز البيانات لدينا مباشرة، لذا فالسؤال الأول هو هل تحتاج إلى بروكسي أصلًا.
الخلاصة السريعة
- ابدأ من دون بروكسيات. تغطي Common Crawl وتفريغات Wikipedia وواجهات API الرسمية جزءًا كبيرًا من الويب المفتوح، و9 من أصل 10 مصادر جرّبناها قبلت عنوان IP لمركز بيانات من دون بروكسي.
- اجلب HTML لا صفحات كاملة. كان الوسيط 43 كيلوبايت لصفحة HTML مضغوطة و591 كيلوبايت داخل متصفح كامل، أي 14 ضعف حركة المرور للنص نفسه.
- فعّل الضغط. من دونه كان HTML نفسه 200 كيلوبايت بدلًا من 43 كيلوبايت.
- استخدم بروكسيات مركز بيانات للمواقع المفتوحة، وبروكسيات سكنية دوّارة للمواقع التي تحكم على عنوان IP. على Reddit، نجحت اتصالات سكنية من 7 مزوّدين في 75 إلى 100% من المحاولات، بينما نجحت اتصالات مركز بيانات من مزوّدين اثنين بنسبة 0% و62.5%.
- قارن السعر وفق حجمك. جميع مزوّدي البروكسي السكني الدوّار السبعة الذين قسناهم نفّذوا 98 إلى 100% من الطلبات، بينما يختلف السعر لكل غيغابايت في باقة 1 تيرابايت بمقدار 7 أضعاف بينهم.
- البروكسي يغيّر عنوان IP، لا قواعد الموقع. 23% من أبرز المواقع التي تنشر robots.txt تغلق الموقع بالكامل أمام زاحف ذكاء اصطناعي واحد على الأقل بالاسم.
هل تحتاج بروكسي أصلًا؟
الكثير من النصوص في مجموعات البيانات العامة يُتاح عمدًا. تنشر Common Crawl زحوفات منتظمة لمليارات الصفحات مجانًا، وتنشر Wikimedia تفريغات كاملة لقواعد بيانات كل Wikipedia، ويمتلك arXiv واجهة API. أخذنا قائمة أوراق arXiv لهذا الاختبار من تلك الواجهة. إذا كان لمصدرك تفريغ أو API فهو أرخص وأكثر اكتمالًا من أي زحف.
عندما تزحف، نادرًا ما يكون أول عائق هو عنوان IP. طلبنا كل واحدة من الصفحات الستين مرة واحدة من خادمنا في مركز بيانات بلندن، من دون بروكسي. استجابت Wikipedia وHacker News وarXiv وBBC وThe Guardian وGOV.UK وMDN وGitHub وDEV برمز 200. أما Stack Exchange فاستجاب برمز 403 مع تحدّي Cloudflare، وقد أعطى الإجابة نفسها لـ curl عبر أربعة بروكسيات سكنية (Evomi وNodeMaven وProxy Seller وProxies.Vision) وكذلك لـ Chromium بدون واجهة عبر Evomi. ذلك التحقق يتعلق بالعميل لا بعنوان IP، وتغيير عنوان IP لا يغيّر النتيجة.
طلب واحد لكل صفحة ليس زحفًا. يبرّر البروكسي كلفته في ثلاث حالات: عندما يقيّد موقعٌ عدد الطلبات لكل IP وتحتاج إلى حجم كبير، أو عندما يحكم الموقع على سمعة عنوان IP (يجيب Reddit خادمنا برمز 403 مع رسالة "blocked by network security")، أو عندما يختلف المحتوى حسب البلد.
تكلفة صفحة واحدة من حيث حركة المرور
مرّت كل صفحة عبر البروكسي السكني الدوّار نفسه بأربع طرق: curl من دون ضغط، curl مع الضغط، Chromium بدون واجهة مع حجب الصور والخطوط والوسائط، وتحميل Chromium كامل. العمود الأخير هو النص النظيف الذي استخرجه trafilatura من HTML، بما في ذلك التعليقات والجداول. وسائط 6 صفحات لكل مصدر، بالكيلوبايت:
| المصدر | HTML مضغوط | HTML غير مضغوط | متصفح من دون صور وخطوط ووسائط | متصفح تحميل كامل | نص نظيف |
|---|---|---|---|---|---|
| arXiv | 44 | 44 | 285 | 548 | 3 |
| BBC | 54 | 288 | 3,016 | 3,811 | 4 |
| DEV | 51 | 295 | 1,382 | 1,801 | 17 |
| GitHub | 70 | 441 | 2,093 | 2,386 | 16 |
| GOV.UK | 17 | 87 | 112 | 191 | 3 |
| Hacker News | 7 | 38 | 11 | 12 | 7 |
| MDN | 25 | 188 | 198 | 569 | 6 |
| The Guardian | 62 | 343 | 639 | 1,079 | 7 |
| Wikipedia | 40 | 187 | 346 | 469 | 7 |
| كل الصفحات الـ 54 | 43 | 200 | 358 | 591 | 5 |
الضغط هو أرخص وسيلة للتوفير. لا يرسل curl ترويسة Accept-Encoding إلا إذا أضفت --compressed، ومن دونها عادت الصفحة المتوسطة بحجم 200 كيلوبايت بدلًا من 43 كيلوبايت. أما requests في بايثون فيطلب gzip تلقائيًا. وكان arXiv المصدر الوحيد الذي أرسل HTML غير مضغوط بالحجم نفسه في الحالتين.
المتصفح يدفع ثمن كل ما تسحبه الصفحة: السكربتات والأنماط والصور والإعلانات والتحليلات. حققت صفحات مقالات BBC وسيطًا قدره 176 طلبًا و3.8 ميغابايت من الحركة مقابل 4 كيلوبايت من النص. أدى حجب الصور والخطوط والوسائط إلى تقليل حركة المتصفح بنسبة 38% عبر جميع الصفحات، ومع ذلك بقيت أعلى بـ 21 مرة من HTML المضغوط. في كل واحدة من الصفحات الـ 54 كان النص موجودًا أصلًا في HTML الذي استلمه curl، لذا لم يضف المتصفح شيئًا لمجموعة بيانات نصية.
عبر جميع الصفحات، كل كيلوبايت من النص النظيف كلّف 4.7 كيلوبايت من HTML المضغوط و156 كيلوبايت من حركة مرور المتصفح الكامل. لمليون صفحة من هذا المزيج يعادل ذلك 43 غيغابايت و241 غيغابايت و889 غيغابايت و1,430 غيغابايت للطرق الأربع.
تكلفة مليون صفحة
المليون صفحة نفسها وفق أسعار كتالوجنا لأكتوبر 2026، بسعر الخطة المناسبة لذلك الحجم: خطة 40 إلى 60 غيغابايت لـ HTML المضغوط، وخطة 1 تيرابايت لتحميل المتصفح الكامل. المزوّدون مرتّبون أبجديًا، وهؤلاء هم الذين نقيس بروكسياتهم كل أسبوع.
| المزوّد | النوع | السعر لكل غيغابايت، خطة 40 إلى 60 غيغابايت | التكلفة الإجمالية، 43 غيغابايت | السعر لكل غيغابايت، خطة 1 تيرابايت | التكلفة الإجمالية، 1.4 تيرابايت |
|---|---|---|---|---|---|
| Evomi | سكني دوّار | $0.99 | $43 | $0.49 | $701 |
| NodeMaven | سكني دوّار | $3.98 | $171 | $2.75 | $3,932 |
| Proxies.Vision | سكني دوّار | $1.00 | $43 | $1.00 | $1,430 |
| Proxmint | سكني دوّار | $1.53 | $66 | $1.25 | $1,788 |
| Proxy Seller | سكني دوّار | $2.30 | $99 | $1.45 | $2,074 |
| Thordata | سكني دوّار | $1.50 | $64 | $0.73 | $1,044 |
| ThunderProxy | سكني دوّار | $3.69 | $159 | $3.49 | $4,991 |
| Evomi | مركز بيانات دوّار | $0.45 | $19 | $0.30 | $429 |
| SpaceProxy | مركز بيانات دوّار | $0.99 | $43 | $0.99 | $1,416 |
طريقة الجلب تؤثر في الفاتورة أكثر مما يؤثر فيها المزوّد. مع البروكسيات السكنية الدوّارة، أرخص زحف بمتصفح كامل يكلّف أربعة أضعاف أغلى زحف لـ HTML مضغوط. الفارق بين المزوّدين في السعر لا في التسليم. في أحدث تشغيل أسبوعي لـ معيارنا سلّم جميع مزوّدي البروكسي السكني الدوّار السبعة 98 إلى 100% من 200 طلب. ويتراوح سعرهم في خطة 1 تيرابايت بين 0.49 و3.49 دولار لكل غيغابايت.
أي نوع بروكسي لأي مصدر
يرسل معيارنا 200 طلب عبر كل بروكسي كل أسبوع، إضافة إلى 8 طلبات لكل من Reddit وZillow، وهما موقعان يقرران بناءً على سمعة عنوان IP. أحدث تشغيل لكل مزوّد نقيسه، أكتوبر 2026:
| النوع | عدد المزوّدين المقاسين | الطلبات المُسلّمة | السماح بالدخول إلى Reddit | السماح بالدخول إلى Zillow | السعر لكل غيغابايت، خطة 1 تيرابايت، وسيط الكتالوج |
|---|---|---|---|---|---|
| سكني دوّار | 7 | 98-100% | 75-100% | 75-100% | $1.70 عبر 71 مزوّدًا |
| مركز بيانات دوّار | 2 | 98.5% و100% | 0% و62.5% | 62.5% و100% | $0.62 عبر 24 مزوّدًا |
| محمول دوّار | 2 | 98.5% و100% | 87.5% و100% | 62.5% و100% | $3.00 عبر 31 مزوّدًا |
مركز البيانات يكفي للمصادر المفتوحة. Wikipedia وarXiv وGOV.UK والمواقع الإخبارية ومواقع التوثيق وGitHub كلها قبلت خادم مركز البيانات الخاص بنا، لذا فإن مجمع عناوين مركز البيانات يضيف أساسًا عناوين IP لتوزيع الطلبات عليها، وبكلفة تقارب ثلث السعر السكني.
السكني الدوّار مخصص للمواقع التي تحكم على عنوان IP. سمح Reddit لمخارج سكنية بالمرور في 75 إلى 100% من المحاولات، بينما سمح لمجمعي مركز البيانات بنسبة 0% و62.5%.
المحمول كلف قرابة ضعفي وسيط السكني ولم يمرّ بوتيرة أعلى في تشغيلاتنا، لذلك لا نرى سببًا لاستخدامه عند جمع النصوص.
لزحف مجموعة نصية، يكون العنوان الجديد مع كل طلب هو الإعداد الافتراضي. الجلسة الثابتة، أي عنوان IP واحد لدقائق، لا تهم إلا عندما يربط موقع ما الترقيم أو تسجيل الدخول بعنوان IP.
robots.txt: ما الذي قيل لزواحف الذكاء الاصطناعي بالفعل
قرأنا robots.txt لأعلى 1,000 نطاق في قائمة Tranco. 526 منها تنشر الملف. 123 منها تغلق الموقع بالكامل أمام زاحف ذكاء اصطناعي واحد على الأقل بالاسم: CCBot، الزاحف الذي يقف خلف Common Crawl، على 87 موقعًا، وGPTBot على 85، وClaudeBot على 84، وGoogle-Extended على 70. لم نحتسب 44 موقعًا تغلق الموقع أمام كل بوت، ومعظمها نطاقات تقنية.
هذه القواعد كُتبت لجمع البيانات لأغراض الذكاء الاصطناعي، لذلك تنطبق على أي زاحف تشغّله للغرض نفسه مهما كان عنوان IP الذي يأتي منه. البروكسي يغيّر مصدر الطلب، لكنه لا يغيّر ما إذا كان الموقع قد وافق عليه. امنح زاحفك معرّف مستخدم خاصًا به، واتبع robots.txt كما تصفه RFC 9309، وتحقق من شروط الموقع وترخيص النص قبل إدخاله في مجموعة بيانات.
إعداد يوفر حركة المرور
requests في بايثون مع بروكسي دوّار. يبدأ عنوان البروكسي بـ http:// لكلا المفتاحين، أما عنوان بروكسي https:// فله معنى مختلف، راجع بروكسيات SOCKS5 مقابل HTTPS:
import requests
proxy = "http://user:pass@gate.example.com:port"
s = requests.Session()
s.proxies = {"http": proxy, "https": proxy}
s.headers["User-Agent"] = "examplebot/1.0 (+https://example.com/bot)"
r = s.get(url, timeout=30) # gzip is requested by defaultيحتاج curl إلى الخيار curl --compressed -x http://user:pass@host:port URL.
عندما تحتاج الصفحة فعلًا إلى متصفح، احجب ما لا يحتاجه النص. في Playwright:
await page.route("**/*", r =>
["image", "media", "font"].includes(r.request().resourceType())
? r.abort() : r.continue())عند 429 و503، انتظر Retry-After قبل إعادة المحاولة، وحافظ على معدل طلبات لكل نطاق. التدوير يوزع الطلبات عبر عناوين IP، لكن الموقع الذي يحسب الطلبات لكل ملف تعريف ارتباط أو حساب أو مفتاح API ما يزال يرى عميلًا واحدًا.
المزوّدون في هذا الاختبار
مرتّبة أبجديًا. تبيع Evomi كلا النوعين الدوّارين، وتشارك SpaceProxy في الاختبار ببروكسيات مركز بيانات دوّارة.
Evomi
https://evomi.com/
$0.49/GB
نوع البروكسي
بروكسيات الجوال, بروكسيات سكنية, بروكسي مزوّد خدمة الإنترنت (ISP), بروكسيات مراكز البيانات
مجموعة عناوين IP
100M+ IP
تاريخ التأسيس
2014
المقر الرئيسي
سويسرا
الإيجابيات والسلبيات
- تجربة مجانية
- استرداد خلال 30 يومًا
- أرخص حتى 51% لكل GB عند الكميات الكبيرة
- 5 أنواع من البروكسي في حساب واحد
- متاح خطة الدفع حسب الاستخدام بدون رسوم شهرية
- تُضاف ضريبة القيمة المضافة عند الدفع بالبطاقة
نوع البروكسي
بروكسيات الجوال, بروكسيات سكنية, بروكسي مزوّد خدمة الإنترنت (ISP)
مجموعة عناوين IP
30M+ IP
تاريخ التأسيس
2023
المقر الرئيسي
إستونيا
الإيجابيات والسلبيات
- اختبار مدفوع مقابل $3.50
- أرخص حتى 48% لكل GB عند الكميات الكبيرة
- مع الخطط الشهرية، يتم ترحيل المرور غير المستخدم إلى الشهر التالي
- خيار الدفع حسب الاستخدام متاح
- طرق دفع محدودة
نوع البروكسي
بروكسيات سكنية
مجموعة عناوين IP
30M+ IP
تاريخ التأسيس
2026
المقر الرئيسي
سنغافورة
الإيجابيات والسلبيات
Proxmint
https://proxmint.com/
$1.25/GB
نوع البروكسي
بروكسيات الجوال, بروكسيات سكنية, بروكسيات مراكز البيانات
مجموعة عناوين IP
90M+ IP
تاريخ التأسيس
2026
المقر الرئيسي
إندونيسيا
الإيجابيات والسلبيات
نوع البروكسي
بروكسيات الجوال, بروكسيات سكنية, بروكسيات IPv6 فردية, بروكسي مزوّد خدمة الإنترنت (ISP), بروكسيات مراكز البيانات
مجموعة عناوين IP
47M+ IP
تاريخ التأسيس
2014
المقر الرئيسي
قبرص
الإيجابيات والسلبيات
- استرداد خلال 24 ساعة
- أرخص حتى 63% لكل GB عند الكميات الكبيرة
- 8 أنواع من البروكسي في حساب واحد
- SDK: PHP, Python, Node.js, Java, GoLang
- دعم على مدار الساعة طوال أيام الأسبوع
نوع البروكسي
بروكسيات IPv6 فردية, بروكسيات مراكز البيانات
مجموعة عناوين IP
47M+ IP
تاريخ التأسيس
2019
المقر الرئيسي
قبرص
الإيجابيات والسلبيات
- استرداد خلال 2 يومًا
- 8 طرق دفع
- بروكسي IPv6 متاحة
- اختيار واسع من الدول
- هناك شكاوى حول جودة دعم العملاء.
Thordata
https://thordata.com/
$0.65/GB
نوع البروكسي
بروكسيات سكنية
مجموعة عناوين IP
100M+ IP
تاريخ التأسيس
2018
المقر الرئيسي
هونغ كونغ
الإيجابيات والسلبيات
- تجربة مجانية
- الاسترداد متاح
- أرخص حتى 68% لكل GB عند الكميات الكبيرة
- جلسات ثابتة حتى 90 دقيقة
- استهداف ASN
- بطء في الطلب الأول في اختبارنا
- التجربة متاحة فقط عند الطلب عبر الدعم
- لا يوجد SOCKS5 للوكلاء السكنيين
نوع البروكسي
بروكسيات سكنية, بروكسي مزوّد خدمة الإنترنت (ISP), بروكسيات مراكز البيانات
مجموعة عناوين IP
30M+ IP
تاريخ التأسيس
2023
المقر الرئيسي
ليتوانيا
الإيجابيات والسلبيات
كيف اختبرنا
أُجري اختبار الحركة في 18 أكتوبر 2026 من خادمنا في مركز بيانات بلندن.
- الصفحات: 6 من كل مصدر، من Wikipedia (مقالات عشوائية)، وHacker News (نقاشات من الصفحة الأولى)، وarXiv (أوراق cs.CL الجديدة)، وBBC News وThe Guardian وإرشادات GOV.UK وMDN وGitHub (مستودعات رائجة) وDEV وStack Exchange (Super User)، بإجمالي 60 صفحة.
- طُلبت كل صفحة مرة واحدة مباشرة، ثم عبر بروكسي Evomi سكني دوّار باستخدام curl 8.5 من دون
--compressedومعه، ثم في Chromium عبر Playwright، مرة مع حجب الصور والخطوط والوسائط ومرة بتحميل كامل، حتى حدث تحميل الصفحة، ثم حتى 10 ثوانٍ إضافية حتى تهدأ الشبكة. - حركة المتصفح هي البايتات التي استلمها Chromium عبر الشبكة، بما في ذلك الترويسات.
- أجاب Stack Exchange عن كل طلب برمز 403، لذلك استُبعد من أرقام الحركة، التي تغطي 54 صفحة.
- استُخرج النص باستخدام trafilatura 2.3 من HTML غير المضغوط.
- الأسعار من كتالوجنا في أكتوبر 2026، بسعر الخطة المناسبة لذلك الحجم.
- أرقام Reddit وZillow والتسليم هي أحدث تشغيل لمعيارنا الأسبوعي لكل مزوّد.
- robots.txt: قائمة Tranco 8PX8V، أعلى 1,000 نطاق، ويُعد الموقع مغلقًا أمام زاحف عندما تحتوي مجموعته على
Disallow: /.
كان هذا اختبارًا لمرة واحدة، منفصلًا عن المعيار الأسبوعي.
المصادر
- Common Crawl
- تفريغات قواعد بيانات Wikimedia
- arXiv API
- RFC 9309: بروتوكول استبعاد الروبوتات
- قائمة Tranco 8PX8V
- شيفرة معيار البروكسي الخاصة بنا على GitHub
FAQ
- هل أحتاج إلى بروكسيات لجمع بيانات تدريب نماذج اللغة الكبيرة؟
- ليس دائماً. يوفّر Common Crawl وتفريغات Wikipedia وواجهات برمجة التطبيقات الرسمية جزءاً كبيراً من الويب المفتوح من دون الحاجة إلى أي بروكسي، كما أن 9 من أصل 10 مصادر في اختبارنا استجابت مباشرة لخادم مركز بيانات. تصبح البروكسيات مفيدة عندما يفرض موقع ما حدوداً على عدد الطلبات لكل عنوان IP، أو يقيّم سمعة عنوان IP، أو يعرض محتوى مختلفاً حسب البلد.
- ما نوع البروكسي الأفضل لجمع بيانات الذكاء الاصطناعي؟
- بروكسيات مراكز البيانات مناسبة للمواقع المفتوحة مثل Wikipedia وarXiv والأخبار والوثائق، إذ كانت تستجيب لعنوان IP خاص بمركز بيانات لدينا، كما أن تكلفة حركة مرور مراكز البيانات تقارب ثلث تكلفة السكني. أمّا البروكسي السكني الدوّار فهو أفضل للمواقع التي تتحقق من عنوان IP: على Reddit نجحت نقاط الخروج السكنية من 7 مزودين في 75 إلى 100% من المحاولات، بينما نجحت نقاط خروج مراكز البيانات بنسبة 0% و62.5%.
- كم حجم حركة المرور عبر البروكسي اللازمة لمليون صفحة؟
- في اختبارنا لعدد 54 صفحة من 9 مصادر، بلغ الحجم 43 غيغابايت كـ HTML مضغوط، و241 غيغابايت من دون ضغط، و889 غيغابايت في متصفح بلا واجهة مع حظر الصور والخطوط والوسائط، و1,430 غيغابايت في متصفح كامل. كان النص المنقّى نحو 5 كيلوبايت لكل صفحة.
- هل ينبغي أن أجمع البيانات باستخدام متصفح بلا واجهة؟
- فقط عندما لا يكون النص موجوداً داخل HTML. في الصفحات الـ54 التي اختبرناها كان النص موجوداً، وقد استهلك تحميل المتصفح الكامل عند الوسيط حركة مرور تزيد 14 مرة على HTML المضغوط. وإذا احتجت إلى متصفح، فإن حظر الصور والخطوط والوسائط خفّض حركة المرور بنسبة 38%.
- هل تتيح لي البروكسيات تجاهل robots.txt؟
- لا. البروكسي يغيّر عنوان IP الذي يأتي منه الطلب، لكنه لا يغيّر ما يسمح به الموقع. من بين أفضل 526 موقعاً يملك ملف robots.txt، هناك 123 موقعاً يحظر الموقع بالكامل على الأقل أمام زاحف ذكاء اصطناعي واحد بالاسم، وتنطبق هذه القواعد على أي زاحف يجمع البيانات للغرض نفسه.
- هل أستخدم بروكسيات دوّارة أم لاصقة لبيانات نماذج اللغة الكبيرة؟
- استخدم الدوّارة، مع عنوان IP جديد في كل طلب، عند زحف مجموعة بيانات كبيرة. لا تحتاج إلى الجلسة اللاصقة إلا عندما يربط موقع ما التصفح عبر صفحات متعددة أو تسجيل الدخول بعنوان IP واحد.
