آموزش مقدماتی آپاچی اسپارک برای پردازش کلان داده

آموزش مقدماتی آپاچی اسپارک برای پردازش کلان داده

با پیشرفت تکنولوژی و رشد روزافزون داده‌ها، تجزیه و تحلیل داده‌ها و استخراج دانش از آن‌ها بسیار حائز اهمیت شده است. با توجه به حجم داده‌ها، ابزارهایی برای تجزیه و تحلیل داده‌های کلان بسیار مهم است و ابزارهایی برای تحلیل داده‌ها در سطح کلان ارائه شده است. در راستای پردازش توزیع شده داده‌ها، پلتفرم‌هایی مانند MapReduce معرفی شد. هر چند MapReduce و هدوپ (Apache Hadoop) توانایی بسیار زیادی در تجزیه و تحلیل داده‌های کلان داشته‌اند اما مشکل اساسی آن‌ها ذخیره نتایج میانی در هارد دیسک است که به شدت سرعت پردازش را کاهش می‌دهد. آپاچی اسپارک (Apache Spark) با ارائه پلتفرمی که پردازش را در داخل حافظه اصلی تجزیه و تحلیل می‌کند و با پشتیبانی از قابلیت‌های MapReduce، مهم‌ترین موتور پردازش توزیع شده در حال حاضر است که سرعت ۱۰۰ برابری نسبت به هدوپ دارد. در این آموزش با آموزش آپاچی اسپارک تلاش می‌شود که افراد را برای تبدیل شدن به یک مهندس کلان‌داده آماده نماید. در این آموزش، ابتدا ضرورت تجزیه و تحلیل کلان‌داده مورد توجه قرار گرفته و سپس آپاچی اسپارک به عنوان محبوب‌ترین پلتفرم تجزیه و تحلیل کلان‌داده معرفی شده است. نصب آپاچی اسپارک‌، کار کردن با RDD‌ها و برنامه‌نویسی RDD‌های جفت و ذخیره و بازیابی داده‌ها تدریس شده است. در پایان این آموزش توانایی برنامه‌نویسی توزیع شده با آپاچی اسپارک را خواهید داشت.

تریلر دوره

توضیحات کامل دوره

...

سرفصل‌های دوره

  • چکیده
    0:01:20

  • مفهوم اسپارک
    رایگان 0:14:28
  • پشته اسپارک
    0:13:43
  • تاریخچه مختصری از اسپارک
    رایگان 0:06:44
  • دانلود و نصب آپاچی اسپارک
    0:11:37
  • آشنایی با پوسته‌های آپاچی اسپارک
    رایگان 0:14:05
  • توابع در آپاچی اسپارک
    0:14:05
  • اصول RDDها
    0:12:01
  • عملیات‌های RDD
    0:07:42
  • تفاوت تبدیل‌ها و عملیات‌های RDD - بخش یکم
    0:09:11
  • تفاوت تبدیل‌ها و عملیات‌های RDD - بخش دوم
    0:07:52
  • ساخت RDD
    0:05:43
  • مثالی از تبدیل‌ها
    0:12:22
  • مثالی از عملیات‌های RDD
    0:15:38
  • عملیات و تبدیلات پرکاربرد
    0:10:12
  • عملیات‌های شبه مجموعه
    0:13:05
  • عملیات ضرب دکارتی
    0:05:42
  • عملیات Reduce
    0:14:29
  • ساخت RDDهای جفت
    0:13:04
  • تبدیل‌ها روی RDDهای جفت
    رایگان 0:14:28
  • مثال شمارش کلمات
    0:14:30
  • عملیات موجود روی RDDهای جفت
    0:11:17
  • ذخیره و بازیابی اطلاعات - بخش یکم
    0:07:43
  • ذخیره و بازیابی اطلاعات - بخش دوم
    0:13:47
  • ادامه مسیر تا ورود به بازار کار

  • خلاصه و مرور آموزش
  • واژه‌نامه (Glossary)
  • سوالات متداول (FAQ)
  • مشاغل مرتبط
  • نمونه سئوالات مصاحبه شغلی

ارسال نظر شما

نظرات کاربران

نظرات کاربران

هنوز نظری ثبت نشده است.

1,490,000 تومان
298,000 تومان
80% تخفیف

این دوره شامل:
3 فصل آموزشی
4 ساعت ساعت آموزش
دسترسی مادام‌العمر
سطح: مبتدی
گواهی پایان دوره: ندارد
تاریخ انتشار: 1403/12/09
آخرین به‌روزرسانی: 2026-10-29 15:17:25
تعداد امتیازها: 0
تعداد دانشجو:
خرید اقساطی: ندارد
ضمانت بازگشت وجه: ندارد
برچسب‌ها: