آموزش پردازش زبان های طبیعی NLP در پایتون Python با پلتفرم NLTK

زبان طبیعی NLP چیست؟ زبان طبیعی (Natural Language) یا به اختصار NLP، به شاخه‌ای از هوش مصنوعی اطلاق می‌شود که بر روی تفسیر و تولید زبان‌های طبیعی تمرکز دارد. با استفاده از تکنیک‌های NLP، ماشین‌ها قادر هستند که به صورت خودکار، زبان انسانی را تشخیص داده و درک کرده و با آن تعامل کنند. به عنوان مثال، سیستم‌های ترجمه‌ی خودکار، تشخیص احساسات، پردازش گفتار و متن، خلاصه سازی متون و سایر کاربردهای مشابه، همگی از کاربردهای NLP هستند. پلتفرم NLTK چیست؟ پلتفرم NLTK به معنای یکی از قدرتمندترین پلتفرم‌های متن باز برای پردازش زبان طبیعی است. این پلتفرم با استفاده از زبان برنامه‌نویسی پایتون، ابزارها و تکنیک‌های بسیاری را برای پردازش و تجزیه‌وتحلیل زبان طبیعی ارائه می‌دهد. NLTK شامل ابزارهایی برای پردازش متون، تحلیل داده‌های زبانی، تحلیل و استخراج اطلاعات، طبقه‌بندی متون، تولید متون، و تحلیل نحوی است. اهمیت یادگیری پردازش زبان‌های طبیعی در پایتون با پلتفرم NLTK چیست؟ بی شک در طول تاریخ معاصر، دو اتفاق بسیار مهم و تاثیرگذار در زندگی انسان ها روی داده است که اولین آن انقلاب صنعتی بود که باعث استفاده از نیروی کار ماشین ها به جای انسان ها شد و دومین اتفاق، گسترش ارتباطات و انفجار اطلاعات بود به نحوی که قرن 21 را قرن ارتباطات و اطلاعات نامیدند، اما اتفاق دوم با همه فواید، معایبی را نیز همراه داشت که می توان به سردرگم شدن کاربران در این حجم زیاد اطلاعات و گسترش اطلاعات نادرست، اشاره کرد. راهکار علم کامپیوتر برای حل این مساله استفاده از کامپیوترها برای پردازش این حجم از اطلاعات و ارائه اطلاعات مفید تر بود. احتمالا با هرم دانش، آشنایی دارید. براساس این هرم، کاری که کامپیوتر انجام می دهد گرفتن داده ها و تبدیل آن ها به اطلاعات مفید است. همان طور که می دانید داده ها را در بستر وب می توان به فرم های متن، تصویر، صوت یا ویدئو مشاهده نمود ولی از آن جا که این داده ها به صورت متن هستند در این فرادرس به پردازش زبان های طبیعی می پردازیم. برای این پردازش، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم. در این فرادرس چه چیزی یاد می‌گیریم؟ در این آموزش پس از مرور اولیه بر پایتون و نصب ابزارهای مورد نیاز، با پردازش زبان‌‌های طبیعی آشنا می‌شویم؛ مشکلات و مسائل پردازش این زبان‌ها را بررسی می‌کنیم؛ در گام بعدی به مباحث توکن‌بندی، عبارات منظم، پاک‌سازی ونرمال‌سازی، Wordnet، تصحیح خطاهای املایی، پیکره‌ها، مدل‌های زبانی، تحلیل نحوی، Hazm و طبقه‌بندی متن را یاد می‌گیریم و در نهایت با بررسی کلمات هم معنی و استفاده از نفی به جای کلمات متضاد به بحث پردازش احساسات خواهیم پرداخت.

فرادرس

احسان یزدانی