Apache Iceberg و معماری Lakehouse با چند موتور پردازشی
0.0
یاد میگیرید مشخصات Iceberg، کاتالوگها و پروتکل commit را در lakehouse با چند موتور پیاده کنید و نگهداری تولیدی را عملی سازید. شروع کنید. در مکتبخونه
توضیحات دوره تسلط بر مشخصات Iceberg، تمامی کاتالوگها، همه موتورهای پردازشی و اصول اجرای یک lakehouse چند موتور در عمل امکانپذیر میکند. آنچه یاد میگیرید عبارت است از: خواندن مشخصات Iceberg بهعنوا...
توضیحات دوره
تسلط بر مشخصات Iceberg، تمامی کاتالوگها، همه موتورهای پردازشی و اصول اجرای یک lakehouse چند موتور در عمل امکانپذیر میکند. آنچه یاد میگیرید عبارت است از: خواندن مشخصات Iceberg بهعنوان مدل ذهنی کارکردی شامل manifests، snapshots، metadata.json و پروتکل commit؛ انتخاب کاتالوگ مناسب با استفاده از ماتریس Decision Spine و دفاع از گزینه؛ راهاندازی یک lakehouse کامل با معماری مدالدار Iceberg با Kafka CDC، Spark MERGE و خوانندگان چند موتور؛ اجرای نگهداری تولیدی شامل کمپاکشن، انقضای snapshots، پاکسازی رکوردهای بیصاحب و بازنویسی manifests با اعداد هزینه واقعی؛ پیادهسازی الگوهای WAP، شاخهبندی، برچسبگذاری و بازگشت تاریخ با Time Travel که هر دو حسابرس و SRE آن را امضا میکنند؛ مهاجرت Hive، Delta یا انبارهای Parquet خام به Iceberg با استراتژی مناسب برای موقعیت؛ تشخیص چهار خطای رایج Iceberg با استفاده از یک مجموعه چکلیست ده مرحلهای؛ عبور از ارزیابی معماری با هشت بُعد مشخصات، کاتالوگ، Writes/Reads، نگهداری، امنیت، هزینه و عیبیابی.