با پیشرفت تکنولوژی و رشد روزافزون دادهها، تجزیه و تحلیل دادهها و استخراج دانش از آنها بسیار حائز اهمیت شده است. با توجه به حجم دادهها، ابزارهایی برای تجزیه و تحلیل دادههای کلان بسیار مهم است و ابزارهایی برای تحلیل دادهها در سطح کلان ارائه شده است. در راستای پردازش توزیع شده دادهها، پلتفرمهایی مانند MapReduce معرفی شد. هر چند MapReduce و هدوپ (Apache Hadoop) توانایی بسیار زیادی در تجزیه و تحلیل دادههای کلان داشتهاند اما مشکل اساسی آنها ذخیره نتایج میانی در هارد دیسک است که به شدت سرعت پردازش را کاهش میدهد. آپاچی اسپارک (Apache Spark) با ارائه پلتفرمی که پردازش را در داخل حافظه اصلی تجزیه و تحلیل میکند و با پشتیبانی از قابلیتهای MapReduce، مهمترین موتور پردازش توزیع شده در حال حاضر است که سرعت ۱۰۰ برابری نسبت به هدوپ دارد. در این آموزش با آموزش آپاچی اسپارک تلاش میشود که افراد را برای تبدیل شدن به یک مهندس کلانداده آماده نماید. در این آموزش، ابتدا ضرورت تجزیه و تحلیل کلانداده مورد توجه قرار گرفته و سپس آپاچی اسپارک به عنوان محبوبترین پلتفرم تجزیه و تحلیل کلانداده معرفی شده است. نصب آپاچی اسپارک، کار کردن با RDDها و برنامهنویسی RDDهای جفت و ذخیره و بازیابی دادهها تدریس شده است. در پایان این آموزش توانایی برنامهنویسی توزیع شده با آپاچی اسپارک را خواهید داشت.
