آموزش web scraping با Node js (پیشرفته)

آموزش web scraping با Node js (پیشرفته)

در دوره قبلی با برخی از تکنیک‌های web scraping آشنا شدید و یک سایت داخلی معتبر را scrape کرده و اطلاعات آن را داخل بانک اطلاعاتی ذخیره نمودیم. حال می‌

تریلر دوره

توضیحات کامل دوره

آموزش web scraping با Node js (پیشرفته)در دوره قبلی با برخی از تکنیک‌های web scraping آشنا شدید و یک سایت داخلی معتبر را scrape کرده و اطلاعات آن را داخل بانک اطلاعاتی ذخیره نمودیم. حال می‌خواهیم یک ق...

آموزش web scraping با Node js (پیشرفته)

در دوره قبلی با برخی از تکنیک‌های web scraping آشنا شدید و یک سایت داخلی معتبر را scrape کرده و اطلاعات آن را داخل بانک اطلاعاتی ذخیره نمودیم. حال می‌خواهیم یک قدم جلوتر برویم و توانایی شناسایی API مخفی سایت‌های معتبر را به همراه روش‌های دستیابی به آن را آموزش ببینیم. با این روش بدون بکارگیری از منابع سخت افزاری بالا می‌توانیم با سرعت زیاد نسبت به سایر روش‌های دیگر به اطلاعات موجود در سایت‌ها دسترسی پیدا کنیم.  (این موضوع را با جدیدترین و بروزترین پکیج‌ npm انجام خواهد شد.)

این آموزش بصورت کاملا عملی با پیاده سازی بر روی سایت‌های معتبر داخلی انجام می‌پذیرد به عنوان نکته آخر لازم به ذکر است که با دیدن این دوره به همراه دوره مقدماتی در این حوزه کاملا حرفه‌ای خواهید شد.

 

سرفصل های دوره :

1)  نرم افزارهای مورد نیاز

2) استفاده از debugger در webscraping (پروژه عملی سایت filimo)

3) آشنایی با API مخفی و نحوه شناسایی آن

4) انجام پروژه عملی با دسترسی به API مخفی (پروژه عملی سایت digikala)

5) گرفتن اطلاعات از وب‌سایت‌ها با اسکرول نامحدود با استفاده از Puppeteer (پروژه عملی سایت digikala)

6) انجام پروژه عملی با دسترسی به API مخفی (پروژه عملی سایت torob)

7) قراردادن داده‌ها در بانک اطلاعاتی MongoDB


سرفصل‌های دوره

  • آشنایی با دوره
    رایگان 00:06:30
  • وب اسکریپینگ و قانون
    رایگان 00:03:20
  • نرم افزارهای مورد نیاز در این دوره
    رایگان 00:02:22
  • استفاده از قابلیت دیباگینگ در وب اسکریپینگ
    رایگان 00:13:38
  • شناسایی API مخفی دیجیکالا (قسمت اول)
    رایگان 00:12:30
  • شناسایی API مخفی دیجیکالا (قسمت دوم)
    00:11:24
  • معرفی پکیج برای وب اسکریپینگ (استفاده برای API مخفی)
    00:07:46
  • دسترسی به داده‌های مورد نظر (قسمت اول)
    00:07:06
  • دسترسی به داده‌های مورد نظر (قسمت دوم)
    00:05:49
  • دسترسی به داده‌های مورد نظر (قسمت سوم)
    00:06:43
  • استخراج کد محصولات
    00:03:14
  • دریافت اطلاعات محصول توسط کد استخراجی
    00:08:17
  • اصلاح اطلاعات دریافتی و ساختاربندی مجدد آن
    00:12:13
  • دریافت کلیه اطلاعات مورد نظر موجود در یک صفحه
    00:10:50
  • شناسایی تعداد کل صفحات در سایت
    00:08:15
  • دریافت اطلاعات از کلیه صفحات (Pagination)
    00:12:20
  • دریافت اطلاعات سایر برندها
    00:07:36
  • تنظیم هدرهای request ها
    00:07:37
  • شناسایی هدرهای با اهمیت با استفاده از cURL
    00:10:07
  • آشنایی با دستورات ابتدای برای اسکرول نامحدود
    00:05:16
  • تنظیم viewport در Puppeteer
    00:05:33
  • دریافت اولیه داده‌ها از صفحه
    00:08:49
  • دریافت اطلاعات به همراه اسکرول
    00:18:24
  • شناسایی API مخفی سایت ترب
    00:05:51
  • شروع پروژه Web Scraping سایت ترب
    00:12:07
  • ایجاد پروژه و مشخص کردن موارد مد نظر (قسمت اول)
    00:08:38
  • ایجاد پروژه و مشخص کردن موارد مد نظر (قسمت دوم)
    00:03:41
  • دریافت داده‌ها (قسمت اول)
    00:07:38
  • دریافت داده‌ها (قسمت دوم)
    00:11:38
  • گرفتن کلیه داده‌ها از تمامی صفحات
    00:06:34
  • بررسی و دریافت اطلاعات مربوط به فروشگاه‌ها (قسمت اول)
    00:06:36
  • بررسی و دریافت اطلاعات مربوط به فروشگاه‌ها (قسمت دوم)
    00:05:38
  • بررسی و دریافت اطلاعات مربوط به فروشگاه‌ها (قسمت سوم)
    00:07:31
  • تکمیل کدها و آماده‌سازی برای ذخیره در بانک اطلاعاتی
    00:03:09
  • نصب Mongoose
    00:09:52
  • تکمیل بانک اطلاعاتی
    00:15:10

ارسال نظر شما

نظرات کاربران

نظرات کاربران

هنوز نظری ثبت نشده است.

300,000 تومان

این دوره شامل:
4:59:00 ساعت آموزش
دسترسی مادام‌العمر
سطح: مبتدی
گواهی پایان دوره: ندارد
تاریخ انتشار: 1403/12/06
آخرین به‌روزرسانی: 2026-11-01 00:16:51
تعداد امتیازها: 0
تعداد دانشجو:
خرید اقساطی: ندارد
ضمانت بازگشت وجه: ندارد
برچسب‌ها: