ارتقاء وضوح تصویر رنگی از روی رشته ای از تصاویر وضوح پایین

در سال­های اخیر، پیشرفت­های گسترده­ای در زمینه­ی سنسورهای تصویر و سیستم­های تصویربرداری دیجیتال صورت گرفته­است، اما هنوز محدودیت­های تئوری و عملی بر روی وضوح تصاویر گرفته شده با این دوربین­ها اثر می­گذارد. تکنیک­های فراتفکیک­پذیری (سوپر رزولوشن) به منظور غلبه بر این محدودیت­ها در سال­های اخیر گسترش یافته­اند. این تکنیک­ها با استفاده از یک و یا چند تصویر کم وضوح، تصویری با وضوح بالاتر ایجاد می­کنند. کارهای اخیر در زمینه­ی فراتفکیک­پذیری (که اغلب بر روی تصاویر خاکستری متمرکز شده­است)، به منظور کاهش پیچیدگی محاسباتی و افزایش مقاومت در برابر خطاهای مدل­سازی و نویز انجام شده­است. از سویی دیگر، روش­های موزائیک­ زدایی متعددی به منظور کاهش مصنوعات رنگی، که در نتیجه­ی استفاده از دوربین­های تک CCD است، مطرح شده­است.

در این پایان­نامه، با استفاده از روش­های آماری در پردازش سیگنال، چارچوب مقاومی را برای ترکیب تصاویر کم وضوح به منظور ایجاد تصویری با وضوح بالا پیشنهاد می­دهیم. در این روش، با استفاده از معیار مقاوم به خطا در تابع هدف و تطبیق فرآیند تخمین برای هر تصویر کم وضوح متناسب با دقت پارامترهای مدل و سطح نویز آن، بازسازی مقاومی را ایجاد نموده­ایم. همچنین با تعمیم این روش در حوزه­ی رنگ، و ادغام فرآیند تفکیک­پذیری و دموزانیک تصویر، توانسته­ایم علاوه بر افزایش وضوح تصاویر رنگی، موزائیک زدایی تصویر را نیز به طور همزمان انجام دهیم. آزمایش­های انجام شده نیز عملکرد خوب الگوریتم پیشنهادی را در مقابل نویز و خطا تصدیق می­کند.

واژه‌های کلیدی: فراتفکیک ­پذیری، ثبت تصاویر، تخمین-M، تنظیم کننده، موزائیک زدایی تصویر، فیلتر رنگی.

 فهرست عناوین

صفحه

1   ‌ فصل اول  مقدمه. 1

1‌.1‌   فراتفکیک­پذیری به عنوان یک مسئله معکوس.... 7

1‌.2‌   فصل بندی پایان نامه. 10

2   فصل دوم مرور کارهای گذشته. 13

2.1‌   مدل سیستم عکسبرداری.. 14

2‌.2‌   فراتفکیک پذیری در حوزه فرکانس.... 16

2‌.3‌   روشهای حوزه فضایی.. 18

2‌.3‌.1‌   درونیابی- بازسازی: روشهای غیرتکراری.. 19

2‌.3‌.2‌   روش های آماری.. 21

2.3.2.1‌  حداکثر احتمال.. 23

2‌.3‌.2‌.2‌   حداکثر احتمال پسین... 25

2.3.2.3‌  بازنشانی- MAP توام. 27

2‌.3‌.3‌   رویکرد طرح­ریزی بر روی مجموعه­های محدب.. 28

2.3.4‌  رویکرد ترکیبی  ML-POCS. 30

3   فصل سوم ارتقاء وضوح تصاویر خاکستری.. 31

3.1‌   ترکیب تصاویر کم وضوح مبتنی بر تخمین- M... 32

3‌.1‌.1‌   چارچوب تخمین M... 32

3‌.1‌.2‌   ترکیب تصاویر مبتنی بر تخمین Half-Quadratic. 40

3‌.1‌.2‌.1‌   محاسبه پارامتر a مطابق با دقت هر فریم.. 42

3‌.1‌.3‌   تنظیم کننده­ها 45

3‌.2‌   روش پیشنهادی جهت ارتقاء وضوح.. 49

3‌.3‌   آزمایش­ها 50

3‌.3‌.1‌   بررسی روش­های متفاوت بازسازی و تاثیر تنظیم کننده­ها 51

3‌.3‌.2‌   ارزیابی عملکرد الگوریتم پیشنهادی در مقابل خطای ثبت... 52

3‌.3‌.3‌   ارزیابی استحکام روش پیشنهادی در مقابل پرتی­ها 54

3‌.3‌.4‌   پیاده­سازی روش پیشنهادی روی تصاویر واقعی.. 55

4   فصل چهارم ارتقاء وضوح تصاویر رنگی.. 65

4‌.1‌   مروری بر مسائل فراتفکیک­پذیری در تصاویر رنگی و موزائیک زدایی تصویر. 66

4‌.1‌.1‌   فراتفکیک پذیری در تصاویر رنگی.. 66

4‌.1‌.2‌   موزائیک زدایی تصویر. 67

4‌.1‌.3‌   ادغام فراتفکیک­پذیری و موزائیک زدایی در یک فرآیند. 73

4‌.2‌   مدل ریاضی و حل مسئله. 75

4‌.2‌.1‌   مدل ریاضی سیستم عکسبرداری.. 75

4‌.3‌   روش پیشنهادی جهت موزائیک زدایی چند فریمی.. 78

4‌.3‌.1‌   جمله­ی وفاداری.. 80

4‌.3‌.2‌   جمله­ی جریمه­ی روشنایی.. 80

4‌.3‌.3‌   جمله­ی جریمه­ی رنگ... 81

4‌.3‌.4‌   جمله­ی جریمه­ی وابستگی­های رنگی.. 82

4‌.4‌   تابع هزینه کلی.. 83

4‌.5‌   آزمایش­ها 84

4‌.5‌.1‌   بررسی عملکرد الگوریتم پیشنهادی در برابر خطاهای ثبت... 86

4‌.5‌.2‌   بررسی عملکرد الگوریتم پیشنهادی در برابر پرتی­ها 87

5   فصل پنجم جمع­بندی و نتیجه­گیری.. 95

5‌.1‌   نتیجه­گیری.. 96

5‌.2‌   پیشنهادهایی برای کارهای آتی.. 97

منابع و مراجع. 101

پیوست­ها 115

 فهرست اشكال

صفحه

شكل 1-1  الگوی وضوح USAF 1951، آزمونی کلاسیک، که برای تعیین وضوح سیستم و حسگرهای تصویربرداری استفاده می­شود [3]. 3

شکل 1-2  ایده اصلی بازسازی فراتفکیک­پذیری از فریم­های کم وضوح. حرکت نسبی فریم­های کم وضوح به اندازه کسری از پیکسل، در بازسازی تصویر وضوح بالا کمک می کند[3]. 5

شکل 1-3  نمایش مثال ساده از مسئله فراتفکیک­پذیری مبتنی بر حرکت. (الف)، تصویر وضوح بالا شامل چهار پیکسل. (ب) -(ه)، تصاویر کم وضوح یک پیکسلی که توسط یک دوربین خیالی گرفته شده است. فرض بر این است که، PSF دوربین مشخص و سطح خاکستری تمام پیکسل­های مرزی صفر است، مقادیر پیکسل­های تصویر وضوح بالا می­توانند دقیقاً از تصاویر کم وضوح تخمین زده شوند[11]. 6

شکل 2-‌‌1  مدل مشاهده یک سیستم تصویربرداری واقعی متناسب با تصویر وضوح بالا به فریم­های مشاهده کم وضوح با حرکت بین صحنه و دوربین [3]. 15

شکل 2-2 رویکرد درونیابی SR مبتنی بر همترازی تصاویر LR  و حذف ماتی تصویر بعنوان فرآیند پس پردازش [3]. 20

شكل 3-1  تاثیر افزایش مقیاس ماتریس روی تصویر 3×3 و ماتریس کاهش مقیاس D روی تصویر متناظر افزایش مقیاس یافته 9×9 (ضریب افزایش وضوح 3 است)[11]. 36

شكل 3-2  (الف) معیار خطاهای Lorentzian، Huber، Leclerc و Tukey’s Biweight در حدآستانه T=50، (ب) توابع نفوذ متناظر  39

شكل3-3  (الف) معیار خطای L1 ،L2 و Half-quadratic، (ب) توابع نفوذ متناظر آن­ها 41

شكل 3-4  (الف) معیار خطای Half-quadratic به ازای مقادیر مختلف a ، (ب) توابع نفوذ متناظر. 42

شکل 3-5  تصاویر اصلی مربوط به (الف) دیسک، (ب) اعلامیه. 56

شكل 3-6  (الف) تصویر اصلی، (ب) یکی از فریم­های کم وضوح، (ج) درون­یابی دوسویه، (د) بازسازی با روش جابجایی و اضافه کردن، (ه) تخمینگر Half-quadratic، (و) روش پیشنهادی.. 57

شكل 3-7  (الف) تصویر اصلی، (ب) یکی از فریم­های کم وضوح، (ج) درون­یابی دوسویه، (د) بازسازی با روش جابجایی و اضافه کردن، (ه) تخمینگر Half-quadratic، (و) روش پیشنهادی.. 58

شكل 3-8  نتایج بدست آمده با اعمال روش­های مختلف بازسازی با در نظر گرفتن خطای ثبت در 8 فریم انتهایی. (الف) L2+تیخونوف، (ب) L1+BTV، (ج) Huber+BTV، (د) روش پیشنهادی.. 59

شكل 3-9  (الف) منحنی Ek برای فریم­های کم وضوح که در 8 فریم انتهایی دارای خطای ثبت می­باشند، (ب) منحنی ak با استفاده از روش پیشنهادی. 60

شكل 3-10  توابع نفوذ تخمینگر Half-quadratic با در نظر گرفتن مقادیر مختلف ak برای 5 فریم. منحنی­های فیروزه­ای و بنفش بترتیب متناظر با فریمLR#14 و فریمLR#16 هستندکه درگیر خطای ثبت می­باشند. 60

شكل 3-11  منحنی مقادیر PSNR متناظر با روشهای مختلف و سطوح مختلف نویز. (الف) در صورتی­که نیمی از فریم­ها درگیر نویز باشند، (ب) در صورتی­که تمامی فریم­ها درگیر نویز باشند. 61

شكل 3-12  نتایج بازسازی تصویر با روشهای مختلف، در صورتی­که تمامی فریم­ها با نویز 20%  آلوده شده باشند. (الف) یکی از فریم­های کم وضوح با نویز 20%، (ب) L2+تیخونوف، (ج)L1+BTV، (د)Huber+BTV، (ه) روش مطرح شده در[80]، (و) روش پیشنهادی   62

شكل 3-13  (الف) یکی از فریم­های کم وضوح، (ب) بازسازی تصویر با روش درونیابی دوسویه، (ج) L2+تیخونوف،  (د) L1+BTV ، (ه) Huber+BTV، (و) روش پیشنهادی. 63

شكل 3-14 (الف) یکی از فریم­های کم وضوح ، (ب) بازسازی تصویر با روش درونیابی دوسویه، (ج) L2+تیخونوف،  (د) L1+BTV ، (ه) Huber+BTV، (و) روش پیشنهادی. 64

شكل 4-1  (الف) فیلتر رنگی با الگوی بایر در حالت 1-CCD، (ب) آرایه حسگر 3-CCD... 68

شكل 4-2  اصول درونیابی خطی در الگوریتم موزائیک زدایی تک فریمی. (الف) قرمز، (ب) سبز، (ج) آبی.. 69

شكل 4-3  (الف) تصویر با وضوح بالا گرفته شده با دوربین 3-CCD. (ب) تصویر کاهش مقیاس یافته با ضریب 4 . (ج) تصویری که  ابتدا توسط فیلتر گوسی مات می­شود و سپس با ضریب 4 کاهش مقیاس داده می­شود. تصاویر (الف)، (ب) و (ج) با روش [125] موزائیک زدایی شده­اند و نتیجه­ی آن­ها به ترتیب در شکل­های (د)، (ه) و(و) نشان داده شده است. 72

شكل 4-4  مثالی از فرآیند جابجایی و اضافه کردن. تصویر رنگی ورودی با ضریب r=2 افزایش مقیاس می­یابد، و متناظر با معکوس ماتریس حرکت، جابجا می­شود. تصویر جابجا شده با سایر فریم­هایی که آپسمپل و جابجا شدهاند، جمع می­شود[130]. 74

شكل 4-‌‌5  نمودار مستطیلی مدل ریاضی تصویر که در این فصل در نظر گرفته می­شود.  x تصویر اصلی ، v نویز افزوده و y  تصویر کم وضوح فیلتر شده است. عملگرهای F،  H، D و A به ترتیب فرآیندهای انحراف، ماتی، کاهش مقیاس و فیلتر رنگی هستند. 76

شكل 4-6  نمایش نمودار مستطیلی رویکرد کلاسیک در بازسازی چندفریمی تصاویر رنگی.. 78

شكل 4‌-7  نمایش نمودار مستطیلی رویکرد مستقیم در بازسازی چندفریمی تصاویر رنگی.. 79

شكل 4‌-8  (الف) تصویر اصلی، (ب) یکی از فریم­های کم وضوح فیلتر شده با الگوی بایر. 87

شكل 4-9  (الف) نتیجه­ی موزائیک زدایی یکی از فریم­های کم وضوح که با روش [123]، (ب) نتیجه­ی موزائیک زدایی یکی از فریم­های کم وضوح که با روش [125]، (ج) نتیجه­ی اعمال روش فراتفکیک­پذیری خاکستری (معادله­ی 3-30) روی فریم­های کم وضوح موزائیک زدایی شده با روش [123]، (د) نتیجه­ی اعمال روش فراتفکیک­پذیری خاکستری (معادله­ی 3-30) روی فریم­های کم وضوح موزائیک زدایی شده با روش [125]. 88

شكل 4‌-10  (الف) تصویر بدست آمده با روش جابجایی و اضافه کردن، (ب) بازسازی تصویر با روش [115]،  (ج) تصویر حاصل از پیاده­سازی روش پیشنهادی روی داده­های خام در صورتی­که مقدار اولیه با درون­یابی دو سویه از اولین فریم  کم وضوح موزائیک زدایی شده با روش [125] باشد، (د)  تصویر حاصل از پیاده­سازی روش پیشنهادی روی داده­های خام در صورتیکه تصویر حاصل از روش جابجایی و اضافه کردن به عنوان مقدار اولیه استفاده شود. 89

شكل 4-11  بزرگ نمایی بخشی از تصویر در لایه روشنایی، (الف) روش [115]، (ب) روش پیشنهادی.. 90

شكل 4-12  رسم مقادیر ak برای هر سه باند رنگی در صورتی­که 5 فریم انتهایی دارای خطای ثبت باشد. 90

شكل 4‌-13  بازسازی تصویر در صورتی­که در 5 فریم انتهایی خطای ثبت ایجاد شود، (الف) روش [115]، (ب) روش پیشنهای، (ج) بزرگنمایی بخش از تصویر (الف)، (د) بزرگنمایی بخش از تصویر (ب) 91

شكل 4‌-14  نتایج بازسازی تصویر در صورتی­که نیمی از فریم­های کم وضوح به نویز فلفل و نمک با سطوح متفاوت آلوده باشند، (الف) روش [115] در حضور سطح نویز 5%، (ب) روش پیشنهادی با در حضور سطح نویز 5%، (ج) روش [115] در حضور سطح نویز 10%، (د) روش پیشنهادی در حضور سطح نویز 10%، (ه) روش [115] در حضور سطح نویز 20%، (و) روش پیشنهادی در حضور سطح نویز 20%  93

فهرست جداول

صفحه

جدول 3-1  بردارهای حرکت (درشبکه LR) استفاده شده برای ایجاد فریم­های کم وضوح.. 53

جدول 3-2  بردارهای نادرست حرکت (درشبکه LR) که برای شبیه­سازی اثر خطای ثبت استفاده می­شود. 53