با توسعه تکنولوژی و افزایش بی وقفه داده ها و اطلاعات، مفهومی به نام کلان داده یا Big-Data به وجود آمد که شامل داده های بزرگ و پیچیده میشود و برای پردازش این نوع داده های مهم، باید از روش های جدیدی استفاده شود. در سال های گذشته، ابزار هایی برای کار با این نوع دادههای بزرگ معرفی شدند که یکی از بهترین های آن، موتور Apache Spark میباشد که یک موتور چند زبانه برای اجرای پردازش های علم داده و یادگیری ماشین بر روی داده های کلان است. با استفاده از این موتور پردازش دیتای قدرتمند و زبان بسیار محبوب پایتون، به PySpark میرسیم که یک API پایتون برای موتور Apache Spark است. این API یک چارچوب یا فریم ورک قدرتمند و دارای مجموعه ای از کتابخانه ها برای پردازش داده ها در مقیاس بزرگ و در حالت real-time یا لحظهای است. در این دوره مفاهیم کار با کلان داده ها و پردازش آنها از سطح مبتدی تا پیشرفته و با رویکردی پروژه محور مورد بررسی قرار گرفته است. دورهی پیش رو، متشکل از چهار فصل اصلی شامل مفاهیم مقدماتی داده ها، کار با اسپارک و پایتون مقدماتی، اسپارک پیشرفته و پردازش کلان داده با روش های یادگیری ماشین میباشد که این مطالب در قالب پروژه های واقعی مورد بررسی قرار خواهند گرفت.
