کامپیوتر و IT
دانلود پایان نامه مهندسی نرم افزار وب کاوی و بررسی مراحل آن و ارتباط وب کاوی با سایر زمینه های تحقیقاتی چکیده: با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند. کلمات کلیدی: وب کاوی الگوریتم های کاوش تکنیک های داده کاوی استخراج داده های وب سیستم های اطلاعاتی مقدمه با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش ها و تکنیک ها بیش از پیش احساس می شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 7.3 میلیون صفحه در روز افزایش می یابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است. فهرست مطالب 1- مقدمه 2- مراحل وب کاوی 3- وب کاوی و زمینه های تحقیقاتی مرتبط 3-1- وب کاوی و داده کاوی 3-2- وب کاوی و بازیابی اطلاعات 3-3- وب کاوی و استخراج اطلاعات 3-4- وب کاوی و یادگیری ماشین 4- انواع وب کاوی 5- چالش های وب کاوی 6- کاوش محتوای وب 6-1- انواع کاوش محتوا در وب 6-1-1- طبقه بندی 6-1-2- خوشه بندی 6-1-3- سایر انواع کاوش محتوا در وب 6-2- رویکردهای کاوش محتوا در وب 6-3- الگوریتم های کاوش محتوا در وب 6-3-1- درخت تصمیم 6-3-2- شبکه عصبی 6-3-3- سایر الگوریتم های کاوش 7- کاوش ساختار وب 7-1- مدل های بازنمایی ساختار وب 7-1-1- مدل های مبتنی بر گراف 7-1-2- مدل های مارکو 7-2- الگوریتم های کاوش ساختار وب 7-2-1- HITS 7-2-2- Page Rank 7-2-3- الگوریتم جریان بیشینه 7-2-4- Average Clicks 7-3- کاربردهای کاوش ساختار وب 7-3-1- تشخیص اجتماعات وب 7-3-2- پیمایش وب 8- کاوش استفاده از وب 8-1- انواع داده های استفاده از وب 8-1-1- داده های سرورهای وب 8-1-2- داده های سرورهای پراکسی 8-1-3- داده های کلاینت 8-2- پیش پردازش داده های استفاده از وب 8-2-1- پاکسازی داده 8-2-2- تشخیص و بازسازی نشست 8-2-3- بازیابی ساختار و محتوا 8-2-4- قالب بندی داده 8-3- روش های کاوش استفاده از وب 8-3-1- قوانین انجمنی 8-3-2- الگوهای ترتیبی 8-3-3- خوشه بندی 8-4- کاربردهای کاوش استفاده از وب 8-4-1- خصوصی سازی محتوای وب 8-4-2- پیش بازیابی 8-4-3- بهبود طراحی سایت های وب 9- کاربردهای وب کاوی 9-1- تجارت الکترونیکی 9-2- موتورهای جستجو 9-3- حراجی در وب نتیجه گیری فهرست منابع
