مشاريع حقيقية في استخراج البيانات من مواقع الويب: استخراج البيانات من أمازون لتحليل السوق
مقدمة
كتير من أصحاب البيزنس الأونلاين بيسألوا سؤال بسيط جدًا، لكنه مؤثر بشكل مباشر على أرباحهم:
"أنا أسعاري مناسبة؟ ولا المنافسين أرخص؟"
السؤال شكله سهل، لكن الإجابة عليه مش دايمًا واضحة. في سوق بيتغير كل يوم، وأسعار بتتحرك باستمرار، صعب تعتمد على إحساسك أو ملاحظات سريعة.
بدل ما أجاوب تخمين، قررت أجاوب بالأرقام.
المشروع بدأ كفكرة بسيطة جدًا:
أجمع بيانات حقيقية من Amazon.eg، وأحلل السوق بناءً عليها. كنت عايز أشوف الصورة كاملة مش مجرد لقطة سريعة. لكن مع الوقت، اكتشفت إن الموضوع أعمق بكتير من مجرد مقارنة أسعار. البيانات كانت بتحكي قصة عن سلوك السوق، واستراتيجيات التسعير، وطريقة عرض المنتجات.
ليه Web Scraping؟
السبب كان مباشر:
البيانات الجاهزة غالبًا مش بتكون كافية
APIs الرسمية مش دايمًا متاحة أو بتكون محدودة
السوق بيتغير يوميًا، وأي تقرير قديم بيفقد قيمته بسرعة
لو عايز تحليل حقيقي، لازم تعتمد على بيانات محدثة.
فالحل كان واضح بالنسبة لي: أجيب البيانات بنفسي.
Web Scraping هنا ماكانش مجرد تجربة تقنية، لكنه كان أداة للوصول لمعلومة دقيقة تساعد في اتخاذ قرار.
البيانات اللي جمعتها
اشتغلت على استخراج مجموعة بيانات كاملة لكل منتج، مش مجرد عنوان وسعر.
البيانات شملت:
اسم المنتج
السعر الحالي
نسبة الخصم
التقييم
عدد المراجعات
العلامة التجارية
اسم البائع
تفاصيل المنتج
رابط الصورة الأصلية
ومش مجرد صفحة واحدة.
اشتغلت على Scraping متعدد الصفحات، وبعد كده دخلت على كل منتج على حدة لاستخراج التفاصيل الكاملة. الفكرة كانت إني أبني Dataset متكاملة تقدر تتحلل بجد، مش مجرد قائمة أسعار.
التحديات اللي واجهتني
طبيعي جدًا إن المشروع ماكانش سهل.
من أول Pagination والتنقل بين الصفحات، لحد اختلاف تصميم بعض المنتجات. بعض العناصر كانت بتتحمل بطريقة Lazy Loading، وده كان محتاج تعامل مختلف.
غير كده، في دايمًا تحدي الحماية ضد البوتات، وده خلاني أشتغل بحذر.
الحل كان في:
استخدام Requests + BeautifulSoup
تنظيم الـ Headers بشكل احترافي
التعامل مع الحالات الناقصة في البيانات
إضافة تأخير بين الطلبات لتجنب الحظر
الهدف ماكانش مجرد إن الكود يشتغل، لكن إنه يشتغل باستقرار.
بعد ما جمعت البيانات… حصل إيه؟
هنا الجزء اللي فعلاً مهم.
جمعت البيانات في DataFrame وبدأت مرحلة التحليل.
نظفت البيانات، شلت القيم المفقودة، حولت الأسعار لصيغة رقمية قابلة للتحليل، واستخرجت نسبة الخصم الفعلية بدل الاعتماد على الرقم المعروض.
وبعدها بدأت أجاوب على أسئلة حقيقية زي:
متوسط السعر في الفئة دي كام؟
أكتر براند مسيطر على السوق؟
هل المنتجات الأعلى تقييمًا دايمًا أغلى؟
هل عدد المراجعات له علاقة بالسعر فعلًا؟
التحليل كشف حاجات ماكنتش واضحة بمجرد النظر.
أهم ملاحظات السوق
من أكتر الحاجات اللي لفتت نظري:
المنتجات اللي عندها Reviews كتير مش دايمًا الأعلى تقييمًا
بعض البائعين بيرفعوا السعر قبل الخصم عشان يظهروا خصم كبير
في فئات سعرية واضحة بتتكرر، كأن السوق متقسم نفسيًا لمستويات سعر
وده بيدي فرصة لأي تاجر يدخل السوق بسعر ذكي ومدروس، بدل ما يدخل عشوائي ويغامر بهامش ربحه.
إزاي تحول المشروع ده لأداة بيزنس؟
الفكرة مش تقنية بس.
لو عندك متجر أونلاين، تقدر تستخدم نفس الأسلوب في:
متابعة أسعار المنافسين يوميًا
تحديد أفضل سعر دخول
معرفة أكتر براند مطلوب
تحليل سلوك العملاء من خلال التقييمات والمراجعات
الموضوع مش مجرد Scraping…
الموضوع إنك تحول البيانات لقرار، والقرار ده يترجم لربح.
الخلاصة
Web Scraping مش هدف في حد ذاته.
هو وسيلة إنك تملك البيانات بدل ما تكون مستهلك ليها.
ومن تجربة شخصية، المشروع ده علمني إن السوق دايمًا بيحكي قصة…
بس لازم تعرف تسمعها بالأرقام، مش بالانطباعات.
