loading...

panjomin

بازدید : 220
يکشنبه 11 خرداد 1399 زمان : 14:20

محققان چارچوب جدیدی را برای شبکه های عصبی عمیق ایجاد کرده اند که به سیستم های هوش مصنوعی (AI) امکان می دهد وظایف جدید را بهتر یاد بگیرند در حالی که "فراموش کردن" کمتر از آنچه که در مورد کارهای قبلی آموخته است. محققان همچنین نشان داده اند که استفاده از چارچوب برای یادگیری یک کار جدید می تواند هوش مصنوعی را در انجام کارهای قبلی بهتر کند ، پدیده ای به نام انتقال عقب.


Tianfu Wu ، استادیار مهندسی برق و کامپیوتر در ایالت NC و نویسنده مقاله در مورد کار ، می گوید: "مردم قادر به یادگیری مداوم هستند ؛ ما همیشه وظایف جدید را یاد می گیریم ، بدون اینکه چیزی را که از قبل می دانیم فراموش کنیم." "تا به امروز ، سیستم های هوش مصنوعی که از شبکه های عصبی عمیق استفاده می کنند ، در این زمینه خیلی خوب نبودند."

Xilai Li ، نویسنده مشترک مقاله و دکتری می گوید: "سیستم های هوش مصنوعی شبکه عصبی عمیق برای یادگیری کارهای باریک طراحی شده اند." کاندیدای ایالت NC. "در نتیجه ، یکی از چندین چیز ممکن است هنگام یادگیری وظایف جدید اتفاق بیفتد. سیستم ها هنگام یادگیری کارهای جدید می توانند کارهای قدیمی را فراموش کنند ، که به آن فراموشی فاجعه آمیز گفته می شود. یا سیستم ها می توانند ضمن اضافه کردن کارهای جدید ، کارهای قدیمی را برطرف سازند - که باعث بهبود می شود و به سرعت منجر به یک سیستم هوش مصنوعی می شود که بسیار کارآمد باشد. یادگیری مداوم که به آن یادگیری مادام العمر یا یادگیری برای یادگیری نیز می گویند. ، در حال تلاش برای حل مسئله است. "

یینگبو ژو ، نویسنده اصلی مقاله و یک دانشمند تحقیق در Salesforce Research می گوید: "ما چارچوبی جدید برای یادگیری مداوم ارائه داده ایم ، که یادگیری ساختار شبکه و یادگیری پارامترهای مدل را از بین می برد." "ما آنرا چارچوب Learn to Grow می نامیم. در آزمایش آزمایشی ، دریافتیم که این روش از روشهای قبلی برای یادگیری مداوم فراتر است."

برای درک چارچوب Learn to Grow ، شبکه های عصبی عمیق را به عنوان لوله ای پر از لایه های مختلف فکر کنید. داده های خام به بالای لوله می روند و خروجی کار از پایین خارج می شود. هر "لایه" در لوله محاسبه ای است که داده ها را برای کمک به شبکه در انجام وظیفه خود مانند شناسایی اشیاء در یک تصویر دیجیتال دستکاری می کند. روش های مختلفی برای تنظیم لایه ها در لوله وجود دارد که با "معماری" مختلف شبکه مطابقت دارد.

هنگام درخواست یک شبکه عصبی عمیق برای یادگیری یک کار جدید ، چارچوب Learn to Grow با انجام کاری به نام بهینه سازی معماری عصبی از طریق جستجو آغاز می شود. این بدان معنی است که با رسیدن شبکه به هر لایه در سیستم خود ، می تواند یکی از چهار کار را انجام دهد: جست و خیز کردن لایه. از لایه به همان روشی استفاده کنید که کارهای قبلی از آن استفاده کرده اند. یک آداپتور سبک وزن را به لایه وصل کنید ، که آن را کمی تغییر می دهد. یا یک لایه کاملاً جدید ایجاد کنید .



این بهینه سازی معماری به طور مؤثر بهترین توپولوژی یا مجموعه ای از لایه ها را برای انجام کار جدید به نمایش می گذارد. پس از اتمام این کار ، شبکه از توپولوژی جدید برای آموزش خود در مورد چگونگی انجام کار استفاده می کند - دقیقاً مانند هر سیستم یادگیری عمیق دیگر.

"ما آزمایش هایی را با استفاده از چندین مجموعه داده انجام داده ایم و آنچه پیدا کردیم این است که هرچه یک کار جدید بیشتر به کارهای قبلی شباهت داشته باشد ، از نظر لایه های موجود که برای انجام کار جدید نگه داشته می شوند ، همپوشانی بیشتری دارد." لی می گوید "نکته جالب تر این است که ، با وجود توپولوژی بهینه شده - یا" آموخته شده "، شبکه ای که برای انجام کارهای جدید آموزش داده می شود ، بسیار کم از آنچه برای انجام کارهای قدیمی تر لازم بود ، حتی اگر کارهای قدیمی تر مشابه نیستند ، فراموش می کند."

محققان همچنین آزمایش هایی را با مقایسه توانایی یادگیری به رشد چارچوب یادگیری وظایف جدید با چندین روش یادگیری مداوم انجام دادند و دریافتند که چارچوب Learn to Grow هنگام انجام کارهای جدید از دقت بهتری برخوردار است.

بیشتر بخوانید: پمپ وکیوم کوچک

محققان برای آزمایش اینکه چقدر ممکن است هر شبکه هنگام یادگیری کار جدید فراموش کرده باشد ، محققان سپس دقت هر سیستم را در انجام کارهای قدیمی تر آزمایش کردند - و چارچوب Learn to Grow دوباره از سایر شبکه ها بهتر عمل کرد.

Caiming Xiong ، مدیر تحقیقات تحقیقات Salesforce و نویسنده همكاری این كار می گوید: "در بعضی موارد ، چارچوب Learn to Grow در واقع در انجام وظایف قدیمی بهتر عمل می كند." "این به انتقال عقب گفته می شود و وقتی اتفاق می افتد که می فهمید که یادگیری یک کار جدید شما را در یک کار قدیمی بهتر می کند . ما همیشه این کار را در افراد می بینیم ؛ خیلی با هوش مصنوعی نیست."

مقاله "یاد بگیریم که رشد کنیم: یک چارچوب یادگیری مداوم برای ساختاری برای غلبه بر فراموشی فاجعه بار" ، در سی و ششمین کنفرانس بین المللی یادگیری ماشین ، که در تاریخ 9-15 ژوئن در لانگ بیچ ، کالیفرنیا برگزار می شود ، ارائه می شود.

محققان چارچوب جدیدی را برای شبکه های عصبی عمیق ایجاد کرده اند که به سیستم های هوش مصنوعی (AI) امکان می دهد وظایف جدید را بهتر یاد بگیرند در حالی که "فراموش کردن" کمتر از آنچه که در مورد کارهای قبلی آموخته است. محققان همچنین نشان داده اند که استفاده از چارچوب برای یادگیری یک کار جدید می تواند هوش مصنوعی را در انجام کارهای قبلی بهتر کند ، پدیده ای به نام انتقال عقب.


Tianfu Wu ، استادیار مهندسی برق و کامپیوتر در ایالت NC و نویسنده مقاله در مورد کار ، می گوید: "مردم قادر به یادگیری مداوم هستند ؛ ما همیشه وظایف جدید را یاد می گیریم ، بدون اینکه چیزی را که از قبل می دانیم فراموش کنیم." "تا به امروز ، سیستم های هوش مصنوعی که از شبکه های عصبی عمیق استفاده می کنند ، در این زمینه خیلی خوب نبودند."

Xilai Li ، نویسنده مشترک مقاله و دکتری می گوید: "سیستم های هوش مصنوعی شبکه عصبی عمیق برای یادگیری کارهای باریک طراحی شده اند." کاندیدای ایالت NC. "در نتیجه ، یکی از چندین چیز ممکن است هنگام یادگیری وظایف جدید اتفاق بیفتد. سیستم ها هنگام یادگیری کارهای جدید می توانند کارهای قدیمی را فراموش کنند ، که به آن فراموشی فاجعه آمیز گفته می شود. یا سیستم ها می توانند ضمن اضافه کردن کارهای جدید ، کارهای قدیمی را برطرف سازند - که باعث بهبود می شود و به سرعت منجر به یک سیستم هوش مصنوعی می شود که بسیار کارآمد باشد. یادگیری مداوم که به آن یادگیری مادام العمر یا یادگیری برای یادگیری نیز می گویند. ، در حال تلاش برای حل مسئله است. "

یینگبو ژو ، نویسنده اصلی مقاله و یک دانشمند تحقیق در Salesforce Research می گوید: "ما چارچوبی جدید برای یادگیری مداوم ارائه داده ایم ، که یادگیری ساختار شبکه و یادگیری پارامترهای مدل را از بین می برد." "ما آنرا چارچوب Learn to Grow می نامیم. در آزمایش آزمایشی ، دریافتیم که این روش از روشهای قبلی برای یادگیری مداوم فراتر است."

برای درک چارچوب Learn to Grow ، شبکه های عصبی عمیق را به عنوان لوله ای پر از لایه های مختلف فکر کنید. داده های خام به بالای لوله می روند و خروجی کار از پایین خارج می شود. هر "لایه" در لوله محاسبه ای است که داده ها را برای کمک به شبکه در انجام وظیفه خود مانند شناسایی اشیاء در یک تصویر دیجیتال دستکاری می کند. روش های مختلفی برای تنظیم لایه ها در لوله وجود دارد که با "معماری" مختلف شبکه مطابقت دارد.

هنگام درخواست یک شبکه عصبی عمیق برای یادگیری یک کار جدید ، چارچوب Learn to Grow با انجام کاری به نام بهینه سازی معماری عصبی از طریق جستجو آغاز می شود. این بدان معنی است که با رسیدن شبکه به هر لایه در سیستم خود ، می تواند یکی از چهار کار را انجام دهد: جست و خیز کردن لایه. از لایه به همان روشی استفاده کنید که کارهای قبلی از آن استفاده کرده اند. یک آداپتور سبک وزن را به لایه وصل کنید ، که آن را کمی تغییر می دهد. یا یک لایه کاملاً جدید ایجاد کنید .



این بهینه سازی معماری به طور مؤثر بهترین توپولوژی یا مجموعه ای از لایه ها را برای انجام کار جدید به نمایش می گذارد. پس از اتمام این کار ، شبکه از توپولوژی جدید برای آموزش خود در مورد چگونگی انجام کار استفاده می کند - دقیقاً مانند هر سیستم یادگیری عمیق دیگر.

"ما آزمایش هایی را با استفاده از چندین مجموعه داده انجام داده ایم و آنچه پیدا کردیم این است که هرچه یک کار جدید بیشتر به کارهای قبلی شباهت داشته باشد ، از نظر لایه های موجود که برای انجام کار جدید نگه داشته می شوند ، همپوشانی بیشتری دارد." لی می گوید "نکته جالب تر این است که ، با وجود توپولوژی بهینه شده - یا" آموخته شده "، شبکه ای که برای انجام کارهای جدید آموزش داده می شود ، بسیار کم از آنچه برای انجام کارهای قدیمی تر لازم بود ، حتی اگر کارهای قدیمی تر مشابه نیستند ، فراموش می کند."

محققان همچنین آزمایش هایی را با مقایسه توانایی یادگیری به رشد چارچوب یادگیری وظایف جدید با چندین روش یادگیری مداوم انجام دادند و دریافتند که چارچوب Learn to Grow هنگام انجام کارهای جدید از دقت بهتری برخوردار است.

بیشتر بخوانید: پمپ وکیوم کوچک

محققان برای آزمایش اینکه چقدر ممکن است هر شبکه هنگام یادگیری کار جدید فراموش کرده باشد ، محققان سپس دقت هر سیستم را در انجام کارهای قدیمی تر آزمایش کردند - و چارچوب Learn to Grow دوباره از سایر شبکه ها بهتر عمل کرد.

Caiming Xiong ، مدیر تحقیقات تحقیقات Salesforce و نویسنده همكاری این كار می گوید: "در بعضی موارد ، چارچوب Learn to Grow در واقع در انجام وظایف قدیمی بهتر عمل می كند." "این به انتقال عقب گفته می شود و وقتی اتفاق می افتد که می فهمید که یادگیری یک کار جدید شما را در یک کار قدیمی بهتر می کند . ما همیشه این کار را در افراد می بینیم ؛ خیلی با هوش مصنوعی نیست."

مقاله "یاد بگیریم که رشد کنیم: یک چارچوب یادگیری مداوم برای ساختاری برای غلبه بر فراموشی فاجعه بار" ، در سی و ششمین کنفرانس بین المللی یادگیری ماشین ، که در تاریخ 9-15 ژوئن در لانگ بیچ ، کالیفرنیا برگزار می شود ، ارائه می شود.

نظرات این مطلب

تعداد صفحات : 0

درباره ما
موضوعات
لینک دوستان
آمار سایت
  • کل مطالب : 15
  • کل نظرات : 0
  • افراد آنلاین : 1
  • تعداد اعضا : 0
  • بازدید امروز : 3
  • بازدید کننده امروز : 1
  • باردید دیروز : 0
  • بازدید کننده دیروز : 0
  • گوگل امروز : 0
  • گوگل دیروز : 0
  • بازدید هفته : 4
  • بازدید ماه : 6
  • بازدید سال : 13
  • بازدید کلی : 4157
  • <
    پیوندهای روزانه
    آرشیو
    اطلاعات کاربری
    نام کاربری :
    رمز عبور :
  • فراموشی رمز عبور؟
  • خبر نامه


    معرفی وبلاگ به یک دوست


    ایمیل شما :

    ایمیل دوست شما :



    کدهای اختصاصی