آموزش یادگیری تقویتی با متلب MATLAB

منظور از یادگیری تقویتی چیست؟ ایده یادگیری از طریق تعامل با محیط، احتمالا اولین تفکری باشد که در ذهن همه ما خطور می‌کند. اگر به طریقه یادگیری راه‌ رفتن در یک نوزاد نگاه کنیم، می‌بینیم که نوزاد از طریق تعامل با محیط خودش راه ‌رفتن را یاد می‌گیرد، چندین و چندین بار بلند می‌شود و می‌افتد تا اینکه در نهایت یاد می‌گیرد که چگونه بر روی دو پای خودش بایستد. موضوع یادگیری تقویتی (Reinforcement Learning) نیز به طور دقیق به همین موضوع اشاره دارد. عامل (Agent) که می‌تواند یاد بگیرد، همانند نوزاد از طریق تعامل با محیط اطراف خودش یک شناخت کافی از آن پیدا می‌کند و سپس عمل‌هایی را انجام خواهد داد که منجر به رسیدن به هدف می‌شود. سه روش اساسی برای یادگیری در هوش مصنوعی، یادگیری نظارت‌‌‌شده (Supervised)، نظارت‌‌‌نشده (Unsupervised) و تقویتی (Reinforcement) است. در یادگیری نظارت‌‌شده شده یک سری سیگنال‌های لیبل‌دار وجود دارند و آن‌ها را به عامل نشان می‌دهیم. همانند این مثال که عکس هزار خودرو را به ربات نشان بدهیم تا آن را یاد بگیرد. بعد از یادگیری، با استفاده از داده‌های تست، یادگیری عامل ارزیابی می‌شود. دسته‌بندی اشیا و پیش‌بینی شاخص بورس دو مورد از کاربردهای یادگیری نظارت‌‌شده است اما در یادگیری نظارت‌‌‌نشده (غیر نظارتی)، داده لیبل‌دار وجود ندارد و خود عامل باید الگوهای موجود در داخل داده‌ها را پیدا کند. خوشه‌بندی جزو یکی از مثال‌های مهم این حوزه است. در یادگیری تقویتی نیز داده لیبل‌دار وجود ندارد ولی عامل از طریق تعامل با محیط تجربه کسب می‌کند و یاد می‌گیرد کارهایی را انجام دهد که منجر به دریافتین پاداش در آینده شود. یادگیری تقویتی در حقیقت روش محاسباتی برای یادگیری از طریق تجربه و تعامل با محیط و همواره در تلاش برای ماکزیمم‌ کردن پاداش‌ها در بلندمدت است. به بیان دیگر، یادگیری تقویتی یک نگاشت از موقعیت به عمل است، یعنی نشان می‌دهد در هر موقعیت یا حالتی چه عملی باید انجام شود تا به هدف برسیم. اهمیت آشنایی با یادگیری تقویتی و پیاده‌سازی آن با متلب چیست؟ یادگیری تقویتی در صنایع مختلفی مانند رباتیک، بازی‌های رایانه‌ای، سیستم‌های کنترلی و اتوماسیون صنعتی کاربرد دارد و باعث بهبود عملکرد و کارایی سیستم‌های هوشمند می‌شود. علاوه بر این، با این روش، سیستم‌ها می‌توانند از تجربیات خود یاد بگیرند و با بهبود عملکرد، بهبود کارایی و کاربردی بودن خود را نیز افزایش دهند. در نهایت متلب نیز یکی از قدرتمندترین نرم‌افزارهای علمی است که بسیاری از پیچیدگی‌های ریاضی و محاسباتی را برای کاربران خود ساده کرده است. بنابراین، پیاده‌سازی الگوریتم‌های یادگیری تقویتی با استفاده از متلب بسیار آسان و سریع خواهد بود. در این فرادرس چه چیزی یاد می‌گیریم؟ در این آموزش به بخش مقدماتی یادگیری تقویتی می‌پردازیم و شالوده این الگوریتم را یاد می‌گیریم؛ ابتدا به مفاهیم مقدماتی یادگیری عمیق ‌می‌پردازیم و در ادامه مباحث مربوط به مساله Multi-Armed Bandit، فرایندهای تصمیم‌گیری مارکوف محدود، برنامه‌ریزی پویا، روش‌های مونت‌کارلو و یادگیری با تفاضل مکانی را یاد خواهیم گرفت.

فرادرس

امید زندی