هوش مصنوعی
دانلود پایان نامه کارشناسی ارشد رشته هوش مصنوعی مهندسی شبکه‌های عصبی توسط اتوماتاهای یادگیر: تعیین تعداد واحدهای لایه مخفی در شبکه‌های عصبی چند لایه و تنظیم پارامتر مراقبت در شبکه ART چکیده: شبکه‌های عصبی پیس‌خور چند لایه و شبکه‌های ART از جمله شبکه‌هایی هستند که در سالهای اخیر توجه زیادی به آنها شده است. در این پایان‌نامه این دو شبکه مورد بحث و بررسی قرار گرفته و الگوریتمهایی جهت بهبود عملکرد آنها ارائه میگردد. در قسمت اول این پایان نامه چند پیشنهاد برای بهبود الگوریتم بقاء که تنها روش مبتنی بر اتوماتاهای یادگیر برای تعیین ساختار مناسب برای شبکه‌های عصبی پس‌خور سه لایه می‌باشد ارائه میگردد. الگوریتمهای اصلاح شده بقاء بر روی مسایل متنوعی از جمله مسایل parity شش بیتی، parity شش بیتی نویزی شده، ارقام انگلیسی، ارقام انگلیسی نویزی شده، ارقام دست نویس فارسی، مساله encoding سه بیتی، مساله تقارن و مساله XOR سه بیتی آزمایش شده و نتایج آن با دو الگوریتم تعیین ساختار شبکه‌های عصبی پس‌خور به نامهای S&D و Iterative مقایسه شده است. نتایج آزمایشها نشان می‌دهد که الگوریتمهای اصلاح شده بقاء در مقایسه با الگوریتم بقاء، الگوریتم S&D و الگوریتم Iterative از کارایی بالاتری برخوردار هستند و شبکه‌های کوچکتر با نرخ تشخیص بالاتری تولید می‌کنند. در قسمت دوم این پایان‌نامه، الگوریتمی مبتنی بر اتوماتاهای یادگیر برای تنظیم پارامتر مراقبت شبکه Fuzzy ARTMAP در کاربردهای کلاس‌بندی پیشنهاد میگردد. الگوریتم پیشنهادی از طریق تنظیم پارامتر مراقبت، شبکه‌ای کوچک که دارای نرخ تشخیص بالا می باشد تولید می‌کند. عملکرد شبکه ARTMAP Fuzzy که در آن پارامتر مراقبت توسط اتوماتای یادگیر تنظیم می‌شود مستقل از مقدار اولیه پارامتر مراقبت می‌باشد. الگوریتم پیشنهادی بر روی مسائل دایره در مربع، مارپیچهای حلزونی و مسئله مربع در مربع آزمایش شده و نتایج بسیار مطلوبی حاصل گردیده است. کلمات کلیدی: تنظیم پارامتر تعیین ساختار اتوماتاهای یادگیر شبکه های عصبی چند لایه الگوریتم انتشار خطا به عقب فهرست مطالب 1 مقدمه 1 1-1 تعیین ساختار شبكه های عصبی پیش خور 2 2 2-1 تنظیم پارامتر مراقبت در شبكه ART 3-1 اهداف پایان نامه 3 4-1 ساختار پایان نامه 3 2 روشهای پیشین تعیین پارامترها و ساختار شبكه های عصبی 6 1-2 مقدمه 6 6 2-2 روشهای مربوط به تعیین، تنظیم یا تطبیق پارامترهای الگوریتم BP 1-2-2 الگوریتم انتشار خطا به عقب 7 2-2-2 قانون دلتا-بار-دلتا 7 3-2-2 استفاده از كنترلر فازی جهت تنظیم پارامترهای شبكه 8 4-2-2 تخمین نرخ یادگیری و ممنتم بهینه 10 5-2-2 بدست آوردن نرخ یادگیری بهینه توسط مشتقات مرتبه بالاتر 13 6-2-2 روش مبتنی بر اتوماتا 16 3-2 روشهای تنظیم ساختار شبكه های عصبی پیش خور 16 17 1-3-2 روش محاسبات حساسیت 1 2-3-2 ایجاد شبكه های عصبی نورونی با هدف تعمیم بهتر 18 3-3-2 یك الگوریتم هرس برای شبكه های نورونی پیش خور 20 4-3-2 ارائه یك روش تركیبی برای تغییر تعداد نورونهای مخفی 28 5-3-2 روش مبتنی بر اتوماتا 30 30 4-2 روشهای تنظیم پارامتر مراقبت در شبكه ART 30 1-4-2 شبكه های ART 30 Fuzzy ART 1-1-4-2 33 ART 2A 2-1-4-2 35 ART 2A كدگذاری مكمل با :ART 2A-C 3-1-4-2 36 ART 2A فواصل اقلیدسی در :ART 2A-E 4-1-4-2 37 ART 2-4-2 كنترل فازی 1 39 3-4-2 الگوریتم تطبیق فازی پارامتر مراقبت در شبكه ART 39 1-1-1-1 تحلیل پویایی های ART 1-3-4-2 رابطه مابین حوض جاذب و پارامتر مراقبت 40 40 ρ 2-3-4-2 الگوریتم تطبیق فازی برای انتخاب 5-2 خلاصه و نتیجه گیری 42 3 مروری بر اتوماتاهای یادگیر 44 1-3 مقدمه 44 2-3 تاریخچه اتوماتاهای یادگیر 44 3-3 اتوماتاهای یادگیر تصادفی 45 1-3-3 اتوماتای تصادفی 46 2-3-3 محیط 46 4-3 الگوریتمهای یادگیری 47 1-4-3 الگوریتمهای یادگیری استاندارد 47 2-4-3 الگوریتمهای یادگیر با ساختار ثابت 49 49 L 1-2-4-3 اتوماتای دو حالته 2,2 50 L 2-2-4-3 توسعه های اتوماتای 2,2 50 L2N 3-2-4-3 اتوماتای حافظه دار با دو عمل 2 52 (K 4-2-4-3 اتوماتای كرینسكی ( 1 52 (K 5-2-4-3 اتوماتای كرایلو ( 2 52 , 6-2-4-3 اتوماتای G2N 7-2-4-3 اتوماتای مهاجرت اشیاء 53 53 u 8-2-4-3 اتوماتای 3 5-3 بازیهای اتوماتا 53 6-3 خلاصه و نتیجه گیری 54 4 الگوریتمهایی مبتنی بر اتوماتاهای یادگیر برای تعیین ساختار شبكه های عصبی چندلایه پیش خور 56 1-4 مقدمه 56 2-4 كاربردهای مورد آزمایش 57 1-2-4 پریتی 57 2-2-4 ارقام انگلیسی 57 58 XOR 3-2-4 58 Encoding 4-2-4 5-2-4 تقارن 58 6-2-4 مساله پریتی 4 بیتی نویزی شده 58 7-2-4 مساله ارقام انگلیسی نویزی شده 59 8-2-4 ارقام فارسی دست نویس 59 9-2-4 حروف چینی 59 3-4 الگوریتم بقاء نورون 59 1-3-4 تشخیص نحوه عملكرد نورون روشن 60 2-3-4 نحوه تمایز بین نورونهای خاموش 61 4-4 ارائه روشهای نو جهت بهبود عملكرد الگوریتم بقاء نورون 62 1-4-4 كاهش تاثیر نورونهای خاموش 62 2-4-4 تعمیم الگوریتم بقاء برای شبكه های با بیش از یك لایه میانی 63 3-4-4 زمان فعالیت اتوماتا 65 65 epoch 1-3-4-4 بعد از هر 2-3-4-4 بعد از بی تغییر ماندن خطا(عدم كاهش خطا) 65 4-4-4 تفاوت در نوع اتوماتا 69 آموزشی 72 EPOCH 5-4 مقایسه میزان محاسبات در یك 6-4 نتایج شبیه سازیها 74 1-6-4 مقایسه میان الگوریتمهای مبتنی بر اتوماتاهای با ساختار ثابت 74 1-1-6-4 مسئله ارقام انگلیسی و شبكه با یك لایه میانی 74 2-1-6-4 مسئله ارقام انگلیسی و شبكه با دو لایه میانی 74 3-1-6-4 مسئله ارقام انگلیسی و شبكه با سه لایه میانی 75 2-6-4 از لحاظ قدرت تعمیم 76 1-2-6-4 نتایج پیاده سازی برای اعداد فارسی 77 2-2-6-4 نتایج برای مسئله اعداد نویزی شده انگلیسی 78 3-2-6-4 نتایج برای مسئله پریتی 4 بیتی نویزی شده 80 3-6-4 از لحاظ ساختار شبكه 80 1-3-6-4 مقایسه الگوریتم در شبكه های با یك لایه میانی 81 2-3-6-4 مقایسه الگوریتم در شبكه های با دو لایه میانی 86 3-3-6-4 مقایسه الگوریتم در شبكه های با سه لایه میانی 91 4-6-4 نتایج شبیه سازیها برای مسئله حروف چینی 96 1-4-6-4 مقایسه الگوریتمها در شبكه های با یك لایه میانی 96 2-4-6-4 مقایسه الگوریتمها در شبكه های با دو لایه میانی 97 3-4-6-4 مقایسه الگوریتمها در شبكه های با سه لایه میانی 97 7-4 خلاصه و نتیجه گیری 98 5 الگوریتمی مبتنی بر اتوماتاهای یادگیر برای تنظیم پارامتر مراقبت در شبكه FUZZY ARTMAP 1-5 مقدمه 100 2-5 كاربردهای مورد آزمایش 100 1-2-5 دایره در مربع 100 2-2-5 مارپیچهای حلزونی 101 3-2-5 مربع در مربع 101 102 FUZZY ART 3-5 شبكه 1-3-5 فرایند یادگیری 102 103 FUZZY ARTMAP 4-5 شبكه 104 Fuzzy ARTMAP 1-4-5 الگوریتم شبكه 5-5 روش پیشنهادی 106 6-5 نتایج شبیه سازی 108 1-6-5 نتایج پیاده سازی برای مسئله دایره در مربع 108 2-6-5 نتایج پیاده سازی برای مسئله مارپیچهای حلزونی 110 3-6-5 نتایج پیاده سازی برای مسئله مربع در مربع 112 7-5 خلاصه و نتیجه گیری 113 6 نتیجه گیری و پیشنهادات 115 مراجع 118 پیوست 123 123 پ 1) برنامه های مربوط به شبكه پیش خور لایه ای با الگوریتم یادگیری BP 124 BP 1) تنظیم پارامترهای برنامه های مربوط به شبكه پیش خور لایه ای با الگوریتم یادگیری BP 2) شیوه مقداردهی به الگوهای ورودی آموزشی در برنامه ها 126 پ 2) برنامه مربوط به شبكه ARTMAP پ 3) واژه نامه 128
