آموزش پیاده‌سازی ETL و Data Pipelines با استفاده از Shell، Airflow و Kafka

آموزش پیاده‌سازی ETL و Data Pipelines با استفاده از Shell، Airflow و Kafka

در طول این دوره، با ابزارها و تکنیک‌های مورد استفاده در پایپ‌لاین‌های داده و فرآیندهای ETL آشنا خواهید شد.

تریلر دوره

توضیحات کامل دوره

توضیحات دوره در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده‌های خام به داده‌های آماده تحلیل آشنا می‌شوید: فرآیند استخراج، تبدیل، و بارگذاری (ETL) فرآیند استخراج، بارگذاری، و تبدیل (ELT) ...

توضیحات دوره

در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده‌های خام به داده‌های آماده تحلیل آشنا می‌شوید:

  • فرآیند استخراج، تبدیل، و بارگذاری (ETL)
  • فرآیند استخراج، بارگذاری، و تبدیل (ELT)

رویکرد ETL معمولاً در انبارهای داده و دیتامارت‌ها به‌کار می‌رود، در حالی‌ که ELT بیشتر برای دریاچه‌های داده (Data Lakes) مناسب است؛ جایی که تبدیل داده‌ها به‌صورت درخواستی توسط اپلیکیشن‌های مصرف‌کننده انجام می‌شود.

در طول این دوره، با ابزارها و تکنیک‌های مورد استفاده در پایپ‌لاین‌های داده و فرآیندهای ETL آشنا خواهید شد. شما نحوه استخراج داده از منابع مختلف، انتقال داده در مسیر پایپ‌لاین، و ذخیره‌سازی آن در سیستم مقصد را تجربه می‌کنید و تفاوت‌های کلیدی بین ETL و ELT را درک خواهید کرد.

همچنین روش‌ها و ابزارهای مختلف برای:

  • استخراج داده‌ها
  • ادغام منطقی یا فیزیکی داده‌های استخراج‌شده
  • بارگذاری داده‌ها در مخازن مختلف

را بررسی خواهید کرد.

در ادامه، تبدیل‌هایی که بر روی داده‌های خام برای افزایش اعتبار، زمینه‌سازی، و دسترسی‌پذیری داده اعمال می‌شود را تعریف خواهید کرد. همچنین با روش‌های مختلف بارگذاری داده در مقصد، بررسی کیفیت داده، پایش خطاهای بارگذاری، و استفاده از مکانیزم‌های بازیابی در صورت بروز خطا آشنا می‌شوید.

در بخش عملی دوره، با استفاده از Apache Airflow یاد می‌گیرید چگونه پایپ‌لاین‌های داده بسازید و مزایای استفاده از این ابزار را خواهید شناخت. همچنین با Apache Kafka برای ساخت پایپ‌لاین‌های داده‌ی جریانی (streaming pipelines) و اجزای اصلی آن از جمله Broker، Topic، Partition، Replication، Producer و Consumer آشنا خواهید شد.

سرفصل‌های دوره

این دوره سرفصلی ندارد

ارسال نظر شما

نظرات کاربران

نظرات کاربران

هنوز نظری ثبت نشده است.

349,000 تومان
279,200 تومان
20% تخفیف

این دوره شامل:
ساعت آموزش
دسترسی مادام‌العمر
سطح: مبتدی
گواهی پایان دوره: مشخص نیست
تاریخ انتشار: 1405/07/14
آخرین به‌روزرسانی: 2026-11-03 13:26:07
تعداد امتیازها: 0
تعداد دانشجو: 648
خرید اقساطی: ندارد
ضمانت بازگشت وجه: ندارد
برچسب‌ها: