آموزش معماری Transformer و مدل BERT + کاربرد عملی در پردازش زبان طبیعی

آموزش معماری Transformer و مدل BERT + کاربرد عملی در پردازش زبان طبیعی

در این آموزش شبکه های ترنسفورمر و مدل BERT معرفی می شود و کاربرد آن ها در پردازش زبان طبیعی بررسی می شود.

تریلر دوره

توضیحات کامل دوره

در این فرادرس چه چیزی یاد می‌گیریم؟ در این آموزش، یادگیری را با بررسی سازوکار توجه و دلایل عبور از محدودیت‌های شبکه‌های RNN آغاز می‌کنیم. سپس با پیاده‌سازی توابع، مفاهیم ان...

در این فرادرس چه چیزی یاد می‌گیریم؟

در این آموزش، یادگیری را با بررسی سازوکار توجه و دلایل عبور از محدودیت‌های شبکه‌های RNN آغاز می‌کنیم. سپس با پیاده‌سازی توابع، مفاهیم انتزاعی مانند Query، Key و Value را به کدهای قابل‌فهم و ملموس تبدیل می‌کنیم. در ادامه، معماری Transformer را به‌ صورت دقیق بررسی کرده و با اجزای کلیدی آن، از جمله Multi-Head Attention و Positional Encoding، آشنا می‌شویم.

پس از آن، به سراغ مدل BERT می‌رویم و ضمن بررسی معماری و نحوه عملکرد آن، تفاوت‌های BERT با مدل‌های یک‌طرفه مانند GPT را بررسی می‌کنیم. همچنین، روش‌های پیش‌آموزش این مدل، از جمله Masked Language Modeling (MLM) و Next Sentence Prediction (NSP)، توضیح داده می‌شوند. در بخش پایانی، رویکردی عملی در پیش می‌گیریم و نحوه Fine-tuning مدل‌های ازپیش‌آموزش‌دیده را یاد می‌گیریم تا بتوانیم از قابلیت‌های BERT در پروژه‌های واقعی، مانند تحلیل احساسات و استخراج ویژگی، استفاده کنیم.

شبکه‌های ترنسفورمر چیست؟

یکی از پیشرفته‌ترین معماری‌های یادگیری عمیق هستند که با معرفی مکانیزم توجه، تحولی بنیادین در پردازش زبان طبیعی ایجاد کردند. برخلاف مدل‌های قدیمی که کلمات را تک‌به‌تک می‌خواندند، این ساختار می‌تواند تمام جمله را به صورت هم‌زمان ببیند و ارتباطات پیچیده کلمات را درک کند.

مدل BERT چیست؟

مدل BERT نیز یک مدل زبانی قدرتمند بر پایه معماری ترانسفورمر است. ویژگی منحصربه‌فرد BERT، دو‌طرفه بودن آن است؛ یعنی متن را هم از چپ به راست و هم از راست به چپ می‌خواند تا عمیق‌ترین درک ممکن از مفهوم و بافت کلام را به دست آورد. این همان تکنولوژی زیربنایی است که امروزه در موتورهای جست‌و‌جو و پیشرفته‌ترین چت‌بات‌های هوشمند استفاده می‌شود.

اهمیت یادگیری Transformer و BERT چیست؟

امروزه مدل‌های زبانی مبتنی بر ترنسفورمر و به‌ویژه BERT، ستون فقرات بسیاری از کاربردهای پردازش زبان طبیعی مانند طبقه‌بندی متن، تشخیص موجودیت‌های نام‌دار، پاسخ به پرسش و جست‌وجوی معنایی هستند، به‌طوری‌که تسلط بر آن‌ها برای هر پژوهشگر یا توسعه‌دهنده حوزه هوش مصنوعی ضروری است. 

  • فصل یکم: مبانی مکانیزم توجه در ترنسفورمرها
    • درس ۱: محدودیت‌های RNN و LSTM و ضرورت مکانیزم توجه
    • درس ۲: مکانیزم توجه و خودتوجهی – مفاهیم و نحوه محاسبه
    • درس ۳: خودتوجهی در پایتون – از روابط تا کدنویسی
  • فصل دوم: تشریح معماری ترنسفورمر
    • درس ۴: معرفی ترنسفورمر و نقش Positional Encoding
    • درس ۵: پیاده‌سازی Positional Encoding
    • درس ۶: اجرا و نحوه کار Positional Encoding
    • درس ۷: توجه چندسر – ساختار، محاسبات و کدنویسی
    • درس ۸: Encoder – معماری و ساخت گام‌به‌گام
    • درس ۹: Decoder – معماری و ساخت گام‌به‌گام
    • درس ۱۰: ساخت ترانسفورمر کامل و جمع‌بندی
  • فصل سوم: مدل BERT
    • درس ۱۱: انگیزه شکل‌گیری و محدودیت مدل‌های پیشین
    • درس ۱۲: اجزای اصلی و کدنویسی مدل در معماری BERT
    • درس ۱۳: پیش‌آموزش BERT با MLM و NSP
    • درس ۱۴: طراحی فرایند و کدنویسی در پیش‌آموزش BERT
    • درس ۱۵: معرفی کوتاه Fine-Tuning در BERT و جمع‌بندی
  • فصل چهارم: تنظیم دقیق و کاربردهای عملی BERT
    • درس ۱۶: Fine-Tuning در پردازش زبان طبیعی و معرفی ابزارها
    • درس ۱۷: طبقه‌بندی متن با BERT – از مسئله تا کدنویسی
    • درس ۱۸: تشخیص موجودیت‌های نامدار با BERT – از مفهوم تا کدنویسی
    • درس ۱۹: پاسخ به پرسش با BERT – از ساختار مسئله تا کدنویسی
    • درس ۲۰: استخراج ویژگی و جستجوی معنایی با BERT
    • درس ۲۱: مدل‌های مهم خانواده BERT 
  • فصل پنجم: راهنمایی ادامه مسیر
    • درس ۲۲: جمع‌بندی و نتیجه مباحث
    • درس ۲۳: ادامه یادگیری

سرفصل‌های دوره

  • چکیده
    0:01:12

  • محدودیت‌های RNN و LSTM و ضرورت مکانیزم توجه
    رایگان 0:09:18
  • مکانیزم توجه و خودتوجهی – مفاهیم و نحوه محاسبه
    0:14:21
  • خودتوجهی در پایتون – از روابط تا کدنویسی
    رایگان 0:12:15

  • معرفی ترنسفورمر و نقش Positional Encoding
    0:09:23
  • پیاده‌سازی Positional Encoding
    رایگان 0:06:07
  • اجرا و نحوه کار Positional Encoding
    0:06:31
  • توجه چندسر – ساختار، محاسبات و کدنویسی
    0:12:43
  • Encoder – معماری و ساخت گام‌به‌گام
    0:13:05
  • Decoder – معماری و ساخت گام‌به‌گام
    0:11:48
  • ساخت ترانسفورمر کامل و جمع‌بندی
    0:06:50

  • انگیزه شکل‌گیری و محدودیت مدل‌های پیشین
    رایگان 0:09:46
  • اجزای اصلی و کدنویسی مدل در معماری BERT
    0:16:28
  • پیش‌آموزش BERT با MLM و NSP
    0:09:24
  • طراحی فرایند و کدنویسی در پیش‌آموزش BERT
    رایگان 0:09:49
  • معرفی کوتاه Fine-Tuning در BERT و جمع‌بندی
    0:04:21

  • Fine-Tuning در پردازش زبان طبیعی و معرفی ابزارها
    0:06:04
  • طبقه‌بندی متن با BERT – از مسئله تا کدنویسی
    0:11:24
  • تشخیص موجودیت‌های نامدار با BERT – از مفهوم تا کدنویسی
    0:17:22
  • پاسخ به پرسش با BERT – از ساختار مسئله تا کدنویسی
    0:17:03
  • استخراج ویژگی و جستجوی معنایی با BERT
    0:04:06
  • مدل‌های مهم خانواده BERT
    رایگان 0:04:46

  • جمع‌بندی و نتیجه مباحث
    0:02:46
  • ادامه یادگیری
    0:05:04
  • دسترسی به آموزش‌های «ادامه یادگیری»
  • ادامه مسیر تا ورود به بازار کار

ارسال نظر شما

نظرات کاربران

نظرات کاربران

هنوز نظری ثبت نشده است.

2,290,000 تومان
458,000 تومان
80% تخفیف

این دوره شامل:
6 فصل آموزشی
3:41:56 ساعت آموزش
دسترسی مادام‌العمر
گواهی پایان دوره: مشخص نیست
تاریخ انتشار: 1405/07/23
آخرین به‌روزرسانی: 2026-10-29 13:21:39
تعداد امتیازها: 0
تعداد دانشجو: 25
خرید اقساطی: ندارد
ضمانت بازگشت وجه: ندارد
برچسب‌ها: