یادگیری ماشین با نظارت | Supervised Machine Learning چیست ؟

یادگیری ماشین با نظارت | Supervised Machine Learning نوعی یادگیری است که در آن ماشین یا مدل با استفاده از داده های آموزشی (دارای برچسب صحیح) آموزش داده می شود تا بتواند برای داده های تستی یا جدید، فرایند تشخیص برچسب (تشخیص خروجی یا پیش بینی خروجی) را انجام دهند. منظور از داده های دارای برچسب این است که برخی از داده های ورودی قبلاً با خروجی صحیح برچسب گذاری شده اند.

داده های آموزشی (دارای برچسب صحیح) در یادگیری ماشین با نظارت | Supervised Machine Learning برای آموزش یک مدل یا ماشین استفاده می شود تا بعدها آن مدل بتواند با توجه به آموزش فرا گرفته شده در امتحانات نمره خوبی کسب کند. منظور از امتحانات، همان پیش بینی برچسب صحیح برای داده های ورودی جدید می باشد. شما می تواند این پاراگراف را از طریق مثال یک دانش آموز و معلم بهتر درک کنید. به عنوان مثال در مدرسه، معلم سوالات و پاسخ های صحیح را به دانش آموز آموزش می دهد و در پایان ترم از دانش اموز امتحان می گیرد، اگر دانش آموز بتواند برای سوالات، پاسخ های درستی بنویسید نمره خوبی کسب می کند در غیر این صورت ممکن از رفوزه شود.

هدف یک الگوریتم یادگیری با نظارت، یافتن یک تابع نگاشت برای ترسیم متغیر ورودی (x) با متغیر خروجی (y) است یا نگاشت یک سوال به یک پاسخ صحیح می باشد.

در دنیای واقعی، از یادگیری با نظارت می توان برای ارزیابی ریسک، طبقه بندی تصویر، تشخیص تقلب، فیلتر هرزنامه و غیره نیز استفاده کرد.

یادگیری با نظارت | Supervised Machine Learning چگونه کار می کند

در یادگیری نظارت شده | Supervised Machine Learning، مدل‌ها با استفاده از مجموعه داده‌های برچسب‌گذاری شده آموزش داده می‌شوند، پس از تکمیل فرآیند آموزش، مدل بر اساس داده های آزمون دارای برچسب واقعی (زیرمجموعه ای از مجموعه داده) آزمایش می شود تا برای آن ها خروجی صحیح را پیش بینی کند. اگر خروجی بدست امده شده مانند خروجی واقعی داده های آزمون باشد می توانیم بگیم مدل ما از دقت خوبی برخوردار است و می تواند در کسب و کار به منظور افزایش سود دهی از آن استفاده کرد در غیر اینصورت باید به فکر چاره در فرآیند کار بود.

عملکرد یادگیری با نظارت را می توان به راحتی با مثال و نمودار زیر درک کرد:

فرض کنید مجموعه داده ای از انواع مختلف اشکال داریم که شامل مربع، مستطیل، مثلث و چند ضلعی است. اکنون اولین قدم این است که باید مدل را برای هر شکل آموزش دهیم.

• اگر شکل داده شده چهار ضلع داشته باشد و همه اضلاع آن برابر باشند، آن را به عنوان مربع علامت گذاری می کنیم .
• اگر شکل داده شده دارای سه ضلع باشد، به عنوان یک مثلث علامت گذاری می شود .
• اگر شکل داده شده شش ضلع مساوی داشته باشد، به عنوان شش ضلعی علامت گذاری می شود .

حالا بعد از گام آموزش، مدل خود را با استفاده از مجموعه تست ( آزمایش )، تست (ارزیابی) می کنیم تا ببینیم برای شکل های تستی به درستی فرایند تشخیص نوع شکل را با توجه به تعداد اضلاع آن، انجام می دهد یا خیر.

مراحل مربوط به یادگیری با نظارت:

• ابتدا یک مجموعه داده یا دیتاست انتخاب می کنیم.
• سپس مجموعه داده را به مجموعه داده آموزشی (75 درصد داده ها) و مجموعه داده آزمایشی (25 درصد داده ها) تقسیم کنید.
• ویژگی های ورودی مجموعه داده آموزشی را تعیین کنید، که باید دانش کافی داشته باشد تا مدل بتواند خروجی را از طریق آن ها به طور دقیق پیش بینی کند.
• یک الگوریتم یادگیری ماشین از نوع با نظارت (مانند ماشین بردار پشتیبان، درخت تصمیم) را با توجه به ساختار داده های آموزشی و آزمایشی انتخاب می کنیم
• الگوریتم را روی مجموعه داده آموزشی اجرا کنید تا مدل آموزش دیده ساخته شود.
• با ارائه مجموعه تست، دقت مدل ساخته شده از مرجله قبل را ارزیابی می کنیم.

درآموزش دیتابیس و  دوره آموزشی جامع علم داده م (یادگیری ماشین، داده کاوی) را به شکل کاملاً عملی و با زبانی ساده به شما آموزش می دهد.

انواع الگوریتم های یادگیری ماشینی تحت نظارت

الگوریتم های یادگیری با نظارت را می توان به دو نوع تقسیم کرد:

اگر رابطه ای (مثل رابطه افزایشی یا کاهشی) بین متغیر ورودی (ویژگی ها) و متغیر خروجی (برچسب) وجود داشته باشد از الگوریتم های رگرسیون استفاده می شود. از این نوع الگوریتم ها برای پیش‌بینی متغیرهای پیوسته، مانند پیش‌بینی آب‌وهوا، روند بازار، و غیره استفاده می‌شود. در ادامه انواع الگوریتم های رگرسیون ذکر شده است.

• رگرسیون خطی
• درختان رگرسیون
• رگرسیون غیر خطی
• رگرسیون خطی بیزی
• رگرسیون چند جمله ای

دسته بندی

از الگوریتم‌های دسته بندی زمانی استفاده می‌شوند که متغیر خروجی از نوع طبقه بندی ( Categorical ) باشد یا بتوان آن را به این نوع تبدیل کرد، به این معنی که متغیر خروجی از نوع دو کلاسه مانند بله-نه، مذکر-مونث، درست-کاذب و غیره وجود باشد. در ادامه انواع الگوریتم های دسته بندی لیست شده اند.

• جنگل تصادفی | Random Forest
• درخت تصمیم
• رگرسیون لجستیک
• ماشین بردار پشتیبان | SVM

مزایای یادگیری با نظارت

• با استفاده از یادگیری با نظارت، مدل می تواند خروجی را بر اساس تجربیات قبلی (آموزش) پیش بینی کند.
• در یادگیری نظارت شده، می‌توانیم ایده دقیقی درباره کلاس‌های اشیاء داشته باشیم.
• مدل به دست آمده در یادگیری نظارت شده به ما کمک می کند تا مشکلات مختلف دنیای واقعی مانند کشف تقلب، فیلتر هرزنامه و غیره را حل کنیم.

معایب یادگیری با نظارت

• مدل های یادگیری با نظارت برای انجام وظایف پیچیده مناسب نیستند.
• اگر داده های آزمون با مجموعه داده آموزشی متفاوت باشد، یادگیری تحت نظارت نمی تواند خروجی صحیح را پیش بینی کند.
• گام آموزش در الگوریتم های یادگیری با نظارت به زمان محاسباتی زیادی نیاز دارد.
• در یادگیری نظارت شده، ما به دانش کافی در مورد طبقات داده ها نیاز داریم.

 

یادگیری ماشین بدون نظارت | Unsupervised Machine Learning چیست ؟

در مقاله یادگیری ماشین بانظارت، یاد گرفتیم که چگونه می توان مدل ها را با استفاده از مجموعه داده آموزشی برچسب دار، آموزش داد و بعد از آزمون قبولی، از آن ها برای سوددهی در هر کسب و کاری استفاده کرد. اما ممکن است در خیلی از پروژه ها یا صنایع امکان دسترسی به یک مجموعه داده برچسب دار نباشد یا به گونه ای تهیه یک مجموعه داده برچسب دار خیلی دشوار باشد، لذا نمی توان مدل ها را با استفاده از این نوع داده ها به خوبی آموزش داد، اما می توان یکسری الگو و رابطه از دل این مجموعه داده استخراج کرد. در این شرایط می توان از الگوریتم های یادگیری بدون نظارت به منظور خوشه بندی و استخراج رابطه بین داده ها نیز استفاده کرد. در ادامه بیشتر در مورد الگوریتم یادگیری بدون نظارت | Unsupervised Machine Learning آشنا خواهیم شد.

یادگیری ماشین بدون نظارت (Unsupervised Learning) روشی در هوش مصنوعی است که در آن مدل بدون داشتن برچسب‌های مشخص روی داده‌ها، به الگوها و ساختارهای پنهان در داده‌ها پی می‌برد. از مهم‌ترین الگوریتم‌های این روش می‌توان به خوشه‌بندی (Clustering) مانند K-Means و تحلیل مؤلفه‌های اصلی (PCA) برای کاهش ابعاد داده اشاره کرد. در آموزش دیتابیس، این روش برای تحلیل داده‌های بزرگ، کشف الگوهای پنهان در پایگاه‌های داده و دسته‌بندی اطلاعات کاربرد دارد. یادگیری ماشین بدون نظارت در زمینه‌هایی مانند سیستم‌های پیشنهاددهنده، شناسایی ناهنجاری‌ها و تحلیل داده‌های مشتریان استفاده می‌شود. این مدل‌ها به شرکت‌ها کمک می‌کنند تا بدون نیاز به داده‌های برچسب‌گذاری‌شده، از اطلاعات خام بینش ارزشمندی استخراج کنند.

یادگیری ماشین بدون نظارت چیست؟

همانطور که از نام این نوع یادگیری پیداست، یادگیری بدون نظارت | Unsupervised Machine Learning یک تکنیک یادگیری ماشین است که در آن مدل‌ها با استفاده از مجموعه داده‌های آموزشی نظارت نمی‌شوند (یعنی از مجموعه داده دارای برچسب آموزش نمی بینند). در عوض، مدل‌ها می توانند یکسری الگوها و بینش‌های پنهان را از دل مجموعه داده ها پیدا ‌کنند.

می توان یادگیری بدون نظارت را اینگونه نیز تعریف کرد:

یادگیری بدون نظارت نوعی از یادگیری ماشینی است که در آن مدل‌ها با استفاده از مجموعه داده‌های بدون برچسب آموزش داده می‌شوند و اجازه دارند بدون هیچ نظارتی بر روی آن داده‌ها عمل کنند.

در دوره آموزشی جامع علم داده تمام A-Z علم داده (یادگیری ماشین، داده کاوی) را به شکل کاملاً عملی و با زبانی ساده به شما آموزش می دهد

یادگیری بدون نظارت | Unsupervised Machine Learning را نمی توان مستقیماً برای حل یک مسئله رگرسیون یا دسته بندی نیز استفاده کرد زیرا برای حل این نوع مسائل ما نیاز به مجموعه داده ای داریم که دارای ویژگی برچسب باشد، لذا برای حل این نوع مسائل باید از الگوریتم های یادگیری بانظارت استفاده کرد. هدف از یادگیری بدون نظارت، یافتن ساختار زیربنایی مجموعه داده، گروه بندی آن داده ها بر اساس شباهت ها و نمایش آن مجموعه داده در یک قالب فشرده است .

مثال: فرض کنید یک مجموعه داده ورودی حاوی هزاران تصویر انواع مختلف گربه و سگ بدون هیچ نوع برچسبی داریم (تصویر زیر) که آن را به یک الگوریتم یادگیری بدون نظارت سپرده ایم. الگوریتم نمی تواند بر روی این مجموعه داده آموزش داده شود اما می تواند با توجه به الگوهای شباهتی که بین تصاویر مختلف گربه و سگ وجود دارد (مانند رنگ چشم، رنگ مو، اندازه و ...)، آن ها را به 2 خوشه گربه و سگ تقسیم نماید.

چرا باید از یادگیری بدون نظارت استفاده کنیم؟

مهمترین عواملی که استفاده از الگوریتم یادگیری بدون نظارت را در صنایع مهم دانسته است عبارتند از:

• یادگیری بدون نظارت برای یافتن یک دانش عمیق از داده ها مفید است.
• یادگیری بدون نظارت بسیار شبیه به هوش مصنوعی و یادگیری انسان است که با تجربیات و مشاهدات خود می تواند الگو و رابطه بین در داده ها را بیابد.
• یادگیری بدون نظارت مهم است چرا که می تواند بر روی داده های بدون برچسب و دسته بندی نشده کار می .
• در دنیای واقعی، ما همیشه داده های ورودی با خروجی مربوطه نداریم، بنابراین برای حل چنین مواردی، به یادگیری بدون نظارت نیاز داریم.

نحوه کار الگوریتم های یادگیری بدون نظارت :

نحوه کار الگوریتم های یادگیری بدون نظارت را می توان با تصویر زیر درک کرد:

در تصویر فوق و در مرحله اول ما یک مجموعه داده ورودی (تصاویر تصادفی حیوانات) بدون برچسب داریم، به این معنی که بخشی از داده ها از قبل دسته بندی نشده است و دارای برچسب نمی باشند. لذا در مرحله بعد با استفاده از یکی از الگوریتم های یادگیری ماشین بدون نظارت مانند k-means رابطه ها و الگوهای پنهان از دل تصاویر استخراج شده و خوشه بندی داده ها نیز انجام می پذیرد.

انواع الگوریتم یادگیری بدون نظارت:

الگوریتم های یادگیری بدون نظارت | Unsupervised Machine Learning را می توان به دو دسته تقسیم کرد:

• الگوریتم های خوشه‌بندی | Clustering : خوشه‌بندی روشی است برای قراردادن اشیاء در یکسری خوشه‌ها، به‌گونه‌ای که اشیای (داده های) داخل یک خوشه بیشترین شباهت را با یکدیگر و کمترین شباهت را با اشیای سایر خوشه ها دارند.
• الگوریتم های قواعد انجمنی | Association rule : از این نوع الگوریتم ها برای تحلیل سبد خرید یک فروشگاه استفاده می شود به عنوان مثال با استفاده از این نوع الگوریتم ها می توانیم رابطه خرید بین محصولات یک فروشگاه را درک کنیم، یکی از این نوع قواعد می تواند به این شکل تفسیر شود. آقای رضاییان با ضریب اطمینان 90 درصد موقع خرید پنیر، محصول دیگری با نام نان نیز خریده است.

الگوریتم های یادگیری بدون نظارت:

برخی از الگوریتم های یادگیری بدون نظارت | Unsupervised Machine Learning نیز در زیر لیست شده است:

• خوشه بندی سلسله مراتبی
• خوشه بندی K-means
• خوشه بندی مبتنی بر چگالی
• K نزدیکترین همسایه
• تشخیص ناهنجاری
• شبکه های عصبی
• الگوریتم Apriori

مزایای یادگیری بدون نظارت

• یادگیری بدون نظارت | Unsupervised Machine Learning در مقایسه با یادگیری نظارت شده برای کارهای پیچیده‌تر استفاده می‌شود، زیرا در یادگیری بدون نظارت، داده‌های ورودی برچسب‌دار نداریم.

معایب یادگیری بدون نظارت

• یادگیری بدون نظارت ذاتاً دشوارتر از یادگیری تحت نظارت است زیرا داده های ورودی دارای هیچ گونه برچسبی نیز نمی باشد.
• نتیجه عملکردی الگوریتم های یادگیری بدون نظارت ممکن است دقت کمتری داشته باشد زیرا داده‌های ورودی برچسب‌گذاری نمی‌شوند و الگوریتم‌ها خروجی دقیق را از قبل نمی‌دانند و آموزش داده نشده اند.