آموزش الگوریتم های بهینه سازی در یادگیری ماشین + پیاده سازی در متلب

یادگیری ماشین در حقیقت الگوریتمی برای یاد گرفتن و تعمیم دادن از روی داده‌های ثبت‌ شده ورودی و خروجی است که هدف آن، پیش‌بینی نتایج برای داده‌های ورودی جدید است. می‌توان یادگیری ماشین را به فرم تقریب تابعی تعبیر کرد که بردار ویژگی‌های ورودی را به بردار ویژگی‌های خروجی نسبت می‌دهد. تقریب این تابع را می‌توان به فرم یک مساله بهینه‌سازی تعبیر کرد. تابع تقریب به شکلی تعریف می‌شود که به بهترین وجه ممکن داده‌های ورودی را به خروجی نگاشت بدهد. برای این منظور در یادگیری ماشین، اغلب تابع هزینه‌ مجموع مربعات، خطای پیش‌بینی تعریف می‌شود و با بهینه‌سازی آن به تابع تقریب می‌رسیم. توابع تقریب در یادگیری ماشین دارای فرم‌های مختلفی مانند رگرسیون خطی (Linear Regression) و غیر خطی، شبکه‌های عصبی پرسپترون (Perceptron Neural Network)، شبکه عصبی عمیق (Deep Learning) و... است. در تمام این ساختارها، مجموعه‌ای از پارامترهای تصمیم وجود دارند که باید به بهترین فرم ممکن تعیین شوند. برای مثال در شبکه‌های عصبی، وزن‌های سینوپتیکی و بایاس وجود دارند. این پارامترهای آزاد با بهینه‌سازی تابع هزینه محاسبه می‌شوند، اما مهمترین مشکل این است که اغلب، ساختار توابع تقریب‌زن، غیر خطی و پیچیده هستند و با روش‌های تحلیلی در ریاضیات نمی‌توان به بهینه‌سازی آن‌ها پرداخت، لذا در تمام الگوریتم‌های یادگیری ماشین برای یادگیری (به همان معنای بهینه‌سازی) از روش‌های عددی استفاده می‌شود. یکی از مهمترین الگوریتم‌های بهینه‌سازی عددی، گرادیان نزولی (Gradient Descent) است که در این آموزش به صورت دقیق و مفصل به این روش، ساختارهای مختلف و تعمیم‌های مختلف آن می‌پردازیم. برای یادگیری دقیق‌تر، علاوه بر بیان تئوری مطالب و مفاهیم آن‌ها، سعی می‌کنیم از طریق حل مساله‌های مهم در یادگیری ماشین و کدنویسی در نرم‌افزار متلب (MATLAB) با انواع مختلف روش‌های بهینه‌سازی مبتنی بر گرادیان آشنا شویم.

فرادرس

امید زندی