بهینه سازی خوشه ها با استفاده از الگوریتم های تکاملی برای شخصی سازی وب

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم‌های شخصی­سازی وب ارائه شده ­اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مؤلفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویس­های مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برای شخصی­سازی وب چندین متد خوشه­بندی در دسترس است. روش­هایی که تاکنون ارائه شده­اند، در مواردی دارای اشکالاتی بودند. البته تکنیک­های جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیک­ها، مسائل افزونگی داده و مقیاس­بندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز به بهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینه­سازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشه­بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشه­بندی صفحات وب را تا حد قابل توجهی افزایش می­دهد. 

کلید واژه­ها: شخصی ­سازی صفحات وب- خوشه ­بندی- کاربرد وب­ کاوی- الگوریتم فازی سی مینز- پایگاه داده یاندکس.

فهرست مطالب

چکیده...................................................................................................................................... 1

فصل اول.......................................................................................................... 2

1-1-مقدمه.............................................................................................................................. 3

1-2-تعریف مسئله.................................................................................................................... 4

1-3-اهمیت و ضرورت تحقیق...................................................................................................... 5

1-4-شیوه پژوهش..................................................................................................................... 8

1-5-چارچوب پایان‏نامه............................................................................................................. 8

مراجع.................................................................................................................................... 10

فصل دوم:....................................................................................................... 11

2-1-مقدمه............................................................................................................................ 12

2-2-مروی بر کارهای انجام شده............................................................................................... 12

مراجع.................................................................................................................................... 21

فصل سوم:...................................................................................................... 24

3-1-مقدمه............................................................................................................................ 25

3-2-مراحل وب کاوی.............................................................................................................. 26

3-2-1-انواع وب‌کاوی......................................................................................................... 27

3-3-شخصی‌سازی وب............................................................................................................. 28

3-3-1-دلایل نیاز به شخصی‌سازی وب................................................................................. 28

3-3-2-مراحل شخصی سازی وب......................................................................................... 29

3-3-2-1-جمع‌آوری داده............................................................................................... 30

3-3-2-2-پردازش داده.................................................................................................. 31

3-3-2-3-کشف الگو..................................................................................................... 31

3-3-2-4-تحلیل دانش.................................................................................................. 31

3-3-3-تکنیک های مدل­سازی کاربر در شخصی‌سازی وب...................................................... 31

3-3-3-1-تکنیک tf-idf................................................................................................. 32

3-3-3-2-تکنیک متا مدل و ابزار OLAP....................................................................... 32

3-3-3-3-تکنیک براساس محتوای وب............................................................................ 33

3-3-3-4-تکنیک براساس فراهم کردن داده‌های موثر (ODP)............................................ 34

3-3-3-5-شخصی­سازی وب با استفاده از روش­های ترکیبی................................................ 34

3-3-3-6-شخصی­سازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf........................... 35

3-3-3-7-شخصی­سازی وب با استفاده از کندوکاو الگوی ترتیبی و درخت الگو..................... 35

3-4-خوشه‌بندی برای شخصی‌سازی وب..................................................................................... 35

3-4-1-خوشه­بندی فازی..................................................................................................... 36

3-4-1-1-الگوریتم پایه‌ای خوشه‌بندی فازی.................................................................... 36

3-4-1-2-الگوریتم فازی کا-مینز.................................................................................... 36

3-4-1-3-خوشه­بندی صفحات وب با استفاده از خوشه­بندی فازی k-means........................ 37

3-4-2-الگوریتم ژنتیک...................................................................................................... 39

3-4-2-1-بهینه‌سازی خوشه‌بندی فازی با استفاده از الگوریتم ژنتیک................................. 40

3-4-3-روش پیشنهادی در این تحقیق................................................................................. 42

3-4-4-شمای کلی سیستم پیشنهادی.................................................................................. 42

3-4-5-مثالی از سیستم پیشنهادی...................................................................................... 43

3-4-6-شبه کد روش پیشنهادی.......................................................................................... 50

3-5-جمع­بندی....................................................................................................................... 51

مراجع.................................................................................................................................... 53

فصل چهارم:.................................................................................................... 55

4-1-مقدمه............................................................................................................................ 56

4-2-مجموعه داده­ها................................................................................................................ 56

4-2-1-دیتاست YANDEX................................................................................................ 57

4-2-1-1-پیش پردازش انجام شده با مجموعه داده­های خام قبل از انتشار.......................... 57

4-3-پارامترهای ارزیابی........................................................................................................... 60

4-4-آزمایشات انجام شده........................................................................................................ 61

4-4-1-سخت افزار مورد استفاده.......................................................................................... 62

4-4-2-نتایج آزمایشات...................................................................................................... 62

4-5-جمع­بندی....................................................................................................................... 64

مراجع:.................................................................................................................................... 65

فصل پنجم:..................................................................................................... 66

5-1-مقدمه............................................................................................................................ 67

5-2-نتایج و دستاوردهای پروژه................................................................................................ 68

5-3-پیشنهادات...................................................................................................................... 68

مراجع.................................................................................................................................... 70

فهرست اشکال

شکل 3- 1: فرآیند شخصی‌سازی وب.. 29

شکل 3-2: مجموعه داده پروانه‌ای. 38

شکل 3-3:خوشه بندی فازی داده. 39

شکل 3-4:  مراحل اصلی الگوریتم ژنتیک. 40

شکل 3-5: شمای کلی سیستم پیشنهادی.. 42

شکل 3-6: خوشه­بندی داده­های آموزشی.. 47

شکل 3-7: خوشه­بندی داده­های تست.. 49

شکل 4-8: مقایسه روش‌های پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 64

فهرست جداول

جدول4-1: نتایج آزمایشات انجام شده بر روی 100 جلسه‌ی تصادفی.. 62

جدول4-2: مقایسه نتایج سیستم پیشنهادی با سایر روش‌ها 62

جدول 4-3: مقایسه نتایج سیستم پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 63