ST-for-DA-in-FD: A Jupyter Notebook repository from mamintoosi

برخی از نتایج و کدهای مرتبط با مقاله‌ی زیر:

انتقال سبک برای افزایش داده‌های آموزشی شبکه‌های کانولوشنی در شناسایی شعله‌ی آتش

چکیده:
وجود داده‌های آموزشی کافی، امری اساسی در همه‌ی سیستم‌های یادگیری بانظارت و منجمله در حوزه‌ی یادگیری عمیق و بینایی ماشین است. یکی از روش‌های مورد استفاده برای افزایش تعداد نمونه‌های آموزشی در یادگیری عمیق، شیوه‌ی «داده افزایی» هست. این شیوه، متضمن تبدیل‌های دوران، انتقال و برش بر روی تصاویر آموزشی است که منجر به افزایش تعداد نمونه‌های آموزشیِ نسبتاً متفاوت از داده‌های اولیه می‌گردد. در این نوشتار از الگوریتم «انتقال سَبْک» مبتنی بر شبکه‌های مولد رقابتی برای افزایش تعداد نمونه‌های آموزشی استفاده شده است. هدف در انتقال سبک، اِعمال ظاهر یا سبک بصری یک تصویر بر روی تصویری دیگر است که جنبه‌ی هنری آن بیشتر دیده شده است. در این نوشتار از این شیوه‌ برای تولید نمونه‌های جدید آموزشی استفاده شده و به عنوان یک کاربرد، روش پیشنهادی بر روی مسأله‌ی شناسایی شعله‌ی آتش اعمال شده است. با این فرض که تصاویر آموزشی ثبت شده در طی شب، کمتر از نمونه‌های اخذ شده در روز هستند، با اعمال یک روش انتقال سبک، تصاویر روز به تصاویر شب تبدیل شده و به عنوان داده‌ی آموزشی به مجموعه دادگان اضافه می‌شوند. نتایج آزمایشات انجام شده کارایی شیوه‌ی پیشنهادی را نشان داده است. به صورت میانگین، نرخ درست شناسایی ۷ درصد افزایش یافته است.

صفحه مقاله در سایت مجله هوش محاسباتی در مهندسی برق

@article{Amintoosi1400_ST-for-DA-in-FD,
    author = {محمود امین‌طوسی},
    title = {انتقال سبک برای افزایش داده‌های آموزشی شبکه‌های کانولوشنی در شناسایی شعله‌ی آتش},
    journal = {هوش محاسباتی در مهندسی برق},
    year = {1401},
    volume = {13},
    number = {4},
    pages = {97-114}}

در ادامه، برنامه‌ی آموزش شبکه و تصاویر دیگر مرتبط با متن مقاله که به علت حجم زیاد در مقاله نیامده‌اند را ملاحظه خواهیم کرد.

اجرای برنامه در گوگل کولب

برای اجرای برنامه در گوگل کولب از لینک زیر استفاده کنید. به لحاظ ماهیت تصادفی مقداردهی اولیه‌ی وزنهای شبکه‌های عصبی، روال آموزش شبکه، خصوصیات سرور تخصیص داده شده و ... نتایج در اجراهای مختلف مقداری متفاوت خواهد بود. یک اجرای کامل برنامه حدود ۳ ساعت طول کشیده و نزدیک به ۶۰۰ مگابایت داده و مدل دانلود یا تولید خواهد شد. هیچ داده‌ای روی دستگاه شما ذخیره نخواهد شد و همه عملیات روی سرورهای گوگل انجام می‌شود.

https://colab.research.google.com/github/mamintoosi/ST-for-DA-in-FD/blob/master/train_fire_net_main.ipynb

توضیحات مختصر مربوط به آموزش مدل در برنامه فوق درج شده است.

اعمال انتقال سبک یک تصویر بر روی تصویر دیگر:

شکل ۱ مقاله:

سطر اول: تصویر روباه، به عنوان تصویر محتوا. در سطرهای بعد، ستون (الف) نتیجه اعمال شیوه‌ی انتقال سبک عصبی زیر است که تصویر روباه سطر اول به عنوان تصویر محتوا و تصویر سطر مربوطه در ستون (ب) به عنوان تصویر استایل درنظر گرفته شده بوده‌اند. نمونه‌هایی متاثر از استایل‌های دیگر را می‌توانید در اینجـــــــا ملاحظه فرمایید.

@inproceedings{li2018learning,
    author = {Li, Xueting and Liu, Sifei and Kautz, Jan and Yang, Ming-Hsuan},
    title = {Learning Linear Transformations for Fast Arbitrary Style Transfer},
    booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
    year = {2019}}

تبدیل تصاویر روز به تصاویر شب

با استفاده از روش انتقال سبک عصبی زیر ، ۸۵ تصویر روز به شب تبدیل شدند:

@inproceedings{jiang2020tsit,
  title={{TSIT}: A Simple and Versatile Framework for Image-to-Image Translation},
  author={Jiang, Liming and Zhang, Changxu and Huang, Mingyang and Liu, Chunxiao and Shi, Jianping and Loy, Chen Change},
  booktitle={ECCV},
  year={2020}}

نمونه تصاویری از صحنه‌های روز که به شب تبدیل شده‌اند:

تصــــویر حاصل از انتقــــال سبـــک

تصــــــــویــــــــــــر استــــــــــــایـــــل

تصــــــــــویـــــر محــــتـــوای ورودی

سایر تصاویر را می‌توانید در اینجـــــــا ملاحظه فرمایید.

برنامه‌ی مربوطه را می‌توانید از آدرس زیر اجرا کنید:

https://colab.research.google.com/github/mamintoosi-papers-codes/TSIT/blob/master/day2night_fire.ipynb

بخشی از نتایج شناسایی با دو مدل Aug-Scale و Aug-D2N-Scale

مدل Aug-Scale: داده‌افزایی با تغییراندازه و برش تصویر	مدل پیشنهادی Aug-D2N-Scale: داده‌افزایی با تبدیل روز به شب و تغییراندازه و برش تصویر