در این فرادرس چه چیزی یاد میگیریم؟
در این آموزش ابتدا با مفاهیم و چالشهای اصلی یادگیری پیوسته، تفاوت یادگیری سنتی، Incremental Learning و Continual Learning و سناریوهای مختلف آن آشنا می...
در این فرادرس چه چیزی یاد میگیریم؟
در این آموزش ابتدا با مفاهیم و چالشهای اصلی یادگیری پیوسته، تفاوت یادگیری سنتی، Incremental Learning و Continual Learning و سناریوهای مختلف آن آشنا میشویم. سپس نحوه ارزیابی مدلهای یادگیری پیوسته و طراحی سناریوهای آزمایشی را بررسی میکنیم و به صورت عمیقتر به Class-Incremental Learning ،Replay ،Knowledge Distillation و مدیریت Memory میپردازیم. در ادامه کاربرد Continual Learning در Deep Learning ،Vision ،Graph Neural Networks ،LLMها و Foundation Models بررسی شده و در نهایت با رویکردی مفهومی و عملی، یک سیستم Continual Learning را با Python پیادهسازی و نتایج آن را تحلیل میکنیم. این آموزش به مفهوم یادگیری پیوسته (Continual Learning) میپردازد؛ رویکردی در هوش مصنوعی که به مدلها امکان میدهد پس از آموزش اولیه، با دریافت دادهها و وظایف جدید بهصورت مستمر یاد بگیرند، بدون اینکه آموختههای قبلی خود را بهسادگی از دست بدهند. در این آموزش، مفاهیم و چالشهای اصلی یادگیری پیوسته و سناریوهایی مانند Task-Incremental ،Class-Incremental و Domain-Incremental Learning بررسی میشوند.
یادگیری پیوسته Continual Learning چیست؟
یادگیری پیوسته (Continual Learning) رویکردی در یادگیری ماشین است که به مدل امکان میدهد با دریافت دادهها و وظایف جدید، به صورت مستمر یاد بگیرد و دانش قبلی خود را حفظ کند. برخلاف آموزش سنتی که معمولا با یک مجموعهداده ثابت انجام میشود، در یادگیری پیوسته مدل باید با تغییرات و اطلاعات جدید سازگار شود. جلوگیری از فراموشی فاجعهبار (Catastrophic Forgetting)، یادگیری تدریجی و حفظ دانش قبلی از چالشهای اصلی این رویکرد هستند.
یادگیری پیوسته برای توسعه سیستمهای هوشمندی که در محیطهای پویا و در حال تغییر فعالیت میکنند اهمیت زیادی دارد. این رویکرد در کاربردهایی مانند رباتیک، خودروهای خودران، تشخیص الگو، پردازش زبان طبیعی، بینایی ماشین و سیستمهای توصیهگر مورد استفاده قرار میگیرد. همچنین آشنایی با چالشهایی مانند Catastrophic Forgetting به طراحی سیستمهای هوش مصنوعی قادر به یادگیری مداوم و سازگاری با اطلاعات جدید کمک میکند.
فصل یکم: مقدمه و مبانی یادگیری پیوسته
درس ۱: یادگیری پیوسته چیست و چرا اهمیت دارد؟
درس ۲: تفاوت یادگیری سنتی، یادگیری افزایشی (Incremental Learning) و یادگیری پیوسته (Continual Learning)
درس ۳: سناریوهای یادگیری پیوسته
درس ۴: معرفی Task-Incremental ،Class-Incremental و Domain-Incremental Learning
درس ۵: چالشهای اصلی در یادگیری پیوسته
فصل دوم: ارزیابی مدلهای یادگیری پیوسته
درس ۶: چرا ارزیابی در Continual Learning متفاوت است؟
درس ۷: معیارهای ارزیابی یادگیری قدیم و جدید
درس ۸: طراحی Benchmark برای Continual Learning
درس ۹: پیادهسازی سناریوی آزمایشی با Python
فصل سوم: Class-Incremental Learning
درس ۱۰: مفهوم Class-Incremental Learning
درس ۱۱: چالش یادگیری کلاسهای جدید
درس ۱۲: حفظ کلاسهای قدیمی
درس ۱۳: Classifier Bias
درس ۱۴: Replay در Class-Incremental Learning
درس ۱۵: Knowledge Distillation در CIL
درس ۱۶: مدیریت Memory در CIL
درس ۱۷: پیادهسازی یک سیستم Class-Incremental
فصل چهارم: Continual Learning در Deep Learning و Vision
درس ۱۸: Continual Learning با شبکههای عصبی عمیق
درس ۱۹: Continual Image Classification
درس ۲۰: Continual Representation Learning
درس ۲۱: Feature Drift در طول یادگیری
درس ۲۲: Replay و Feature Replay
درس ۲۳: Self-Supervised Continual Learning
درس ۲۴: Continual Learning با Transformerها
فصل پنجم: Continual Learning در Graph Neural Networks
درس ۲۵: چرا Continual Learning در گرافها اهمیت دارد؟
درس ۲۶: Dynamic Graph و Evolving Graph
درس ۲۷: Node-Incremental Learning
درس ۲۸: Edge-Incremental Learning
درس ۲۹: Continual Node Classification
درس ۳۰: جلوگیری از فراموشی در GNNها
درس ۳۱: Continual Graph Representation Learning
درس ۳۲: Continual Graph Clustering
درس ۳۳: پیادهسازی یک مسئله Continual Graph Learning در Python
فصل ششم: Continual Learning برای LLMها و Foundation Models
درس ۳۴: چرا LLMها به Continual Learning نیاز دارند؟
درس ۳۵: Knowledge Updating در LLMها
درس ۳۶: Catastrophic Forgetting در LLMها
درس ۳۷: Continual Pretraining
درس ۳۸: Incremental Fine-Tuning
درس ۳۹: Replay برای LLMها
درس ۴۰: Knowledge Distillation برای LLMها
درس ۴۱: Parameter-Efficient Continual Learning
فصل هفتم: پروژه نهایی — ساخت سیستم Continual Learning