آقای عباس کوچاری دانشجوی دکترای جناب آقای دکتر محسن سریانی روزچهارشنبه مورخ 3/3/91 ساعت 10 صبح در اتاق دفاعیه واقع در طبقه سوم دانشکده مهندسی کامپیوتر از رساله دکترای خود تحت عنوان نقاشی معکوس ویدئو مبتنی بر شیء با استفاده از روشهای آنالیز حرکت دفاع خواهند نمود.

  چکیده پایان نامه:

  نقاشی­معکوس یا تکمیل تصویر و ویدئو از شاخه­های پردازش­تصویر و بینایی ماشین شناخته می­شوند که در آن نواحی تخریب شده با استفاده از بخش سالم تصویر و یا ویدئو ترمیم می­گردند. از کاربردهای این شاخه می­توان به بازسازی حرکت شئ و فیلم، حذف شئ از تصویر و ویدئو، حذف خراش از تصاویر قدیمی، رتوش تصاویر و... اشاره کرد. بازسازی شئ در فریمهای از دست رفته هنگامیکه با ناحیه تخریبی بزرگ مواجه می­شود و یا تغییر اندازه­ای در شئ هنگام حرکت روی می­دهد از چالشهای روشهای موجود است. در این موارد استفاده از روشهای تصویری فریم به فریم نمی­تواند پیوستگی و کیفیت ویدئو را حفظ کند از اینرو بایستی حرکت شئ در فریمهای سالم آنالیز شده تا بتوان حرکت شئ را در نواحی از بین رفته تخمین زد. هدف این رساله ترمیم شئ در نواحی تخریب شده می­باشد. شئ موردنظر در این رساله انسان است که خاصیت فرم­پذیری دارد.

  بسیاری از روشهای نقاشی­معکوس ویدئویی تعمیمی از روشهای تصویری بوده و هرگرنه خطا در روشهای تصویر باعث انتشار آن در ویدئو خواهد شد. در این رساله، در ابتدا روشی برای انتخاب وصله بهینه بمنظور بهبود روشهای تکمیل تصویر مبتنی بر نمونه ارائه شد. روش ارائه شده وصله بهینه را در سه مرحله بدست می­آورد که مستقل از چگونگی مشخص­شدن اولویت پرشدن ناحیه تخریب­شده می­تواند برای اکثر روشهای مبتنی بر نمونه استفاده گردد.

  در اولین روش ارائه شده در حوزه ویدئو برای حرکات پریودیک و نیمه پریودیک که در شئ تغییر اندازه نیز روی می­دهد مسئله ویدئو به یک مسئله تصویری تبدیل گردید. سپس رهیافتی با یک روش مبتنی بر نمونه با وصله­های بزرگ اندیشیده شد تا بتواند ساختار شئ سازگاری مکانی-زمانی بین فریمهای متوالی را حفظ نماید. از آنجائیکه سیستم بینایی انسان نسبت به تغییر حالت شئ حساس است، در روش دیگر ارائه شده برای حرکت هموار بین فریمهای متوالی از ژست و حالت شئ بهره برده شد. برای اینکار شئ متحرک به حوزه منیفلد نگاشت گردیده و حرکت آن بصورت یک سری زمانی در نظر گرفته می­شود. سپس با رهیافتی ضرایب این سری زمانی در نواحی از بین رفته درونیابی شد. نتایج بدست آمده نشان­دهنده حرکت هموار انتقال اشیاء از ناحیه سالم به ناحیه بازسازی شده است.

  در انتها یک کاربرد خاص برای حذف تصویر نشاندار از ویدئو بررسی شد. برای اینکار از نقاشی­معکوس تصویر و تخمین بردارهای حرکت در نواحی از بین رفته استفاده گردید. نتایج حاصل نسبت به نتایج روشهای دیگر برتری دارد.

  کلید واژه­ها: نقاشی معکوس، تکمیل تصویر، آنالیز حرکت، ژست شئ، حذف تصویر نشاندار

  Abstract :

  Image inpainting (or completion) is one of the subjects in image and video processing which deals with restoration of and filling in damaged regions of images using correct regions. This field can be useful for many applications such as image coding (damaged blocks retrieval), image restoration (line and scratch removal), object removal and image retouching. In this research, some challenges of other video inpainting systems such as cases where object scale is changed and/or the moving object is faced with a large missing region, are studied. Since image-based methods cannot maintain spatio-temporal consistency of fames, motion of object is analyzed in correct frames to estimate object’s motion in damaged regions. The goal of this thesis is object inpainting in corrupted regions of video where the subject in corrupted video is human which has deforming property.

  Most of video inpainting approaches are extensions of image inpainting. Therefore, any resulting errors in image methods propagate in video frames. In this research, at first, a method is introduced for selecting optimal patch to improve exemplar-based image completion approaches. The algorithm can be used for most of exemplar-based approaches without consideration of corrupted region’s priority for completion.

  Secondly, several methods were proposed for video completion. In the first method which is used for periodic and semi-periodic subject’s motion, the 3D problem of video is posed to a 2D problem and then it is solved by an exemplar-based approach. In this algorithm, an exemplar-based approach using large patches is considered in order to preserve subject’s structure and spatio-temporal consistency between consequent frames. Since human’s vision is sensitive to subject’s deformation, subject’s pose in consecutive frames is used to obtain smooth movement. To do this, moving subject is mapped into manifold space and its motion is considered as a time series. Then, the damaged coefficients of time series are interpolated. Results show that subject’s movement from correct region to inpainted region is smooth.

  Finally, an application is presented for logo removal from video. For this purpose, image inpainting and motion vector estimation are used in damaged regions. Results are preferable to other methods’ results.

  Keywords: video inpainting, image completion, motion analysis, subject’s pose, logo removal

  ارائه­دهنده:

  عباس کوچاری

koochari@iust.ac.ir

  استاد راهنما:

  دکتر محسن سریانی

  هیات داوران:

  1- دکتر شهره کسایی 2 -دکتر نصراله مقدم چرکری 3- دکتر مجمدرضا جاهد مطلق

  4- دکتر محمود فتحی 5-دکتر محمد صادق محمدی

  زمان : چهارشنبه 3 خردادماه 1391

  ساعت 10 صبح

  مکان: دانشکده مهندسی کامپیوتر- طبقه سوم- اتاق دفاعیه

  از اساتید بزرگوار، دانشجویان گرامی و دیگر متخصصان و علاقه مندان به موضوع دفاعیه دعوت
می شود با حضور خود موجبات غنای علمی و ارتقای کیفی را فراهم سازند.

  دانشکده مهندسی کامپیوتر مدیریت تحصیلات تکمیلی