شعار سال: طی یک دهه گذشته، متخصصان روباتیک و دانشمندان کامپیوتر تمام سعی خود را کرده‌اند که با استفاده از روش‌های یادگیری تقویتی یا RL به ساخت روبات‌هایی برسند که با آموزش می‌توانند به راحتی در محیط اطراف خود پیمایش کنند و کار‌های اساسی و متنوعی را انجام دهند. از سوی دیگر، ساخت روبات‌های مقرون به‌صرفه‌ای که قادر به اکتشاف محیط اطراف‌شان با کمک الگوریتم‌های RL باشند، این چالش را چند برابر کرده است.

یادگیری تقویتی یکی از گرایش‌های یادگیری ماشینی است که از روانشناسی رفتارگرایی الهام می‌گیرد. این روش بر رفتار‌هایی تمرکز دارد که ماشین باید برای بیشینه کردن پاداشش انجام دهد. این مساله، با توجه به گستردگی‌اش در زمینه‌های گوناگونی مانند نظریه بازی‌ها، نظریه کنترل، تحقیق در عملیات، نظریه اطلاعات، سامانه چندعامله، هوش ازدحامی، آمار، الگوریتم ژنتیک، بهینه‌سازی بر مبنای شبیه‌سازی بررسی می‌شود.

در همین راستا محققان دانشگاه آلتو و شرکت OTE Robotics یک روبات چهارپا با هزینه بسیار کم طراحی کرده‌اند که می‌تواند به طور موثری برای آزمایش و پیاده‌سازی الگوریتم‌های RL مورد استفاده قرار گیرد. آن‌ها نام این روبات را «مورچه» گذاشته‌اند.

این محققان می‌گویند: ایده اول تحقیقات ما مطالعه روی یادگیری تقویتی بود که با کمک آن توانستیم راه رفتن را از روی شبیه‌سازی روبات‌های چهارپا و انسان‌نما به آن یاد دهیم. برنامه‌نورسی یک روبات با کمک الگوریتم‌های یادگیری تقویتی بسیار آسان‌تر و طبیعی‌تر انجام می‌شود و کافی است که فقط چند پارامتر را از جمله حسگر‌های موجود در روبات، اقدامات حرکتی و سپس تعیین یک هدف را برای آن تعریف کنیم. بقیه کار‌ها را خود این الگوریتم انجام می‌دهد.

یادگیری تقویتی قبلا به هزاران ساعت آموزش شبیه‌سازی برای روبات نیاز داشت، اما اکنون محققان موفق شده‌اند با آموزش بسیار کم، راه رفتن را به این روبات یاد بدهند و این امر نشان می‌دهد که روبات‌ها اکنون می‌توانند بدون نیاز به آموزش‌های طولانی مدت در فضای شبیه‌سازی شده، در محیط‌های واقعی آموزش ببینند.

محققان می‌افزایند: ما متوجه شدیم که روبات‌های متحرکی مانند روبات مورچه به راحتی و با قیمت مناسب در دسترس نیستند، به ویژه برای یادگیری تقویتی. درواقع نرم‌افزار و سخت‌افزاری نداشتیم که با ترکیب آن‌ها با هم بتوانیم این الگوریتم را به کار ببریم؛ بنابراین خودمان شروع به ساخت نمونه‌های اولیه از نرم‌افزار و رابط کاربری کردیم. هدف اصلی ما ایجاد یک بستر ساده و کم هزینه روباتیک بر پایه RL بود. با ایجاد این بستر امکان ساخت و آزمایش روبات‌های مستقلی فراهم می‌شود که قادر به انجام کار‌های اساسی در دنیای واقعی هستند.

روبات مورچه یک روبات چهار پای همه‌کاره و کم هزینه است که علاوه بر اینکه می‌تواند به طور مستقل راه رفتن را یاد بگیرد، می‌تواند به طور کاملا هماهنگ حرکت کند و موقعیت و جهت‌گیری خود را در محیط‌های خاص شناسایی کند. با این حال با کمک الگوریتم‌های RL می‌تواند کار‌های جدیدتر و در عین حال ارزشمندتری را نیز یاد بگیرد.

به گفته محققان، هزینه ساخت این روبات حدود ۴۱۰ دلار بوده و به راحتی می‌توان اجزای آن را به صورت جداگانه تهیه کرد. ضمن اینکه روبات در کمتر از یک ساعت قابل مونتاژ شدن است سخت‌افزار و نرم‌افزار این روبات منبع‌باز است و روبات مونتاژ شده از طریق وب‌سایت شرکت Ote Robotics برای فروش گذاشته شده است.

شعار سال، با اندکی تلخیص و اضافات برگرفته از خبرگزاری دانشجو، تاریخ انتشار: ۲۳ آذر ۱۳۹۹، کدخبر: ۸۹۷۰۶۱، snn.ir