چکيده

ارائه مدلي كارا بر اساس زيرتركيب‌هاي استخراج شده از وي‍ژگي جهت تشخیص فعالیتهای فیزیکی انسانی

به وسيله‌ي:

فاطمه مؤیدی

درک و استخراج اطلاعات از تصاویر و فیلم فصل مشترک اکثریت مسایل مربوط به بینایی ماشین است. یافتن قسمتهای اصلی و مفید یک فیلم و مدلسازی کنشهای بین این اجزا از اهداف اصلی آنالیز فیلم به شمار می‌رود. در دهه اخیر تشخیص فعالیت انسانی با استفاده از تصاویر ویدیویی به عنوان یک بحث چالش برانگیز در بینایی ماشین مطرح شده است. از جمله کاربردهای این موضوع می‌توان به مسایل نظارتی و امنیتی، پزشکی و تعامل انسان با کامپیوتر اشاره کرد. در تشخیص فعالیت به دلیل گوناگونی زیاد در نحوه انجام یک فعالیت، استخراج اجزاء اصلی و خلاصه سازی یک فعالیت، مشکل و پیچیده است. در صورتی که شروع آنالیز ویدیو را پردازش روشنایی پیکسل‌های تصویر در فریم‌های مختلف و هدف نهایی را تشخیص فعالیت انسانی در نظر بگیریم، فاصله زیادی بین سطح آنالیز و هدف نهایی وجود داشته و نیاز مبرم به استخراج ویژگی‌های معنادار و سطح بالاتر احساس می‌شود. در حقیقت چالش اصلی پر کردن فاصله عمیق بین توصیف گرهای سطح پایین تا بیان نوع فعالیت و خلاصه سازی آن است. در دهه‌های اخیر پژوهشگران در ارائه روشهای موثر خلاصه‌سازی با استفاده از تکنیک‌های بینایی و یادگیری ماشین حتی در سطح تصاویر، زیاد موفق نبوده‌اند. در این راستا روشهای جداسازی مطرح شده‌اند که به مدلسازی مرز افتراقی کلاسهای مختلف پرداخته‌اند. این مدلها علی رغم موفقیتشان، به داده‌های برچسب‌دار زیاد نیاز داشته و محدود به زمینه خاصی می‌شوند. به علاوه، خطر بیش برازش نیز آنها را تهدید می‌کند. از طرف دیگر مدلهای مولد با اضافه کردن قیود اضافی به مدل با استفاده از حجم زیادی از داده‌های بدون برچسب در دسترس، به حل این مشکل پرداختند. به عنوان نمونه می توان به روشهای یادگیری ویژگی بدون ناظر اشاره نمود که با اضافه کردن برخی دانشهای اولیه در مورد ساختار کلی داده به کم کردن فاصله بین توصیف گرهای سطح پایین و مدل نهایی پرداختند.

   در این پایان نامه با ارائه پنج چارچوب متفاوت به حل مساله تشخیص فعالیت انسانی با رویکرد خلاصه سازی و استخراج ویژگی‌های سطح بالاتر پرداخته شده است. مراحل اصلی انجام کار را می‌توان به سه قسمت اصلی، 1- استخراج ویژگی، 2- کوانتیزه کردن آنها و 3- دسته بندی تقسیم نمود. در این پژوهش به استخراج ویژگیهای شکل و حرکت مربوط به تصاویر دو‌بعدی فریم‌های ویدیو پرداخته شده است. در قسمت دوم که تقریبا قسمت اصلی این پژوهش محسوب شده جهت کاهش خطای کوانتیزه کردن و بالا بردن سطح ویژگیها (با بهره‌گیری از دانش اولیه نهفته در داده) و نیز دسته‌بندی راحت‌تر در مراحل بعد، به جای روشهای متداول نظیر K-means، از روشهای کد گذار تنک و نیز برخی نسخه‌های بهبود یافته آن که جزء متدهای یادگیری ویژگی بدون ناظر محسوب می‌شوند، استفاده شده است. در اینگونه روشها هدف یافتن توابع پایه‌ای سطح بالاتر و توصیف ویدیو با استفاده از ترکیب خطی از آنهاست. همچنین جهت استخراج اطلاعات مفید توالی زمانی از روش بسیار مفید کد گذار تنک گروهی بهره گرفته‌ایم. سپس جهت جلوگیری از بیش برازش شدن مدل، ادغام مکانی و زمانی ضرایب پیشنهاد شده است. در نهایت با استفاده از دو الگوریتم مختلف از روشهای کلی دسته بندی مولد و جداساز تشخیص فعالیت را به پایان رسانده‌ایم.

 از نقاط برجسته این پایان نامه می‌توان به ترکیب چند ویژگی با مودالیته‌های مختلف، استخراج اجزای معنادار یک فعالیت و مدلسازی ارتباط آنها با در نظر گرفتن ساختار زمانی داده، کاهش خطای کوانتیزه کردن و نیز کاهش چشمگیر پیچیدگی مکانی و زمانی اشاره نمود. روشهای ارائه شده بر روی چندین پایگاه داده تشخیص فعالیت که متشکل از داده‌های مصنوعی و واقعی با چالش‌های مختلف بوده، ارزیابی شده و نتایج خوبی به دست آمده‌اند.

واژگان کلیدی: تشخیص فعالیت انسانی، دانش اولیه، ساختار داده، سیستم چند دسته بندی، کدگذار تنک، کدگذار تنک گروهی، یادگیری ویژگی بدون ناظر.

فهرست مطالب

عنوان                                             صفحه

1- مقدمه.. 2

1-1- مقدمه.. 2

1-2- کاربردها.. 14

1-3- چالش‌ها و خصوصیات محیط.. 6

1-4- تعریف کلی مساله.. 11

2- مروری بر پژوهشهای گذشته.. 24

2-1- مقدمه.. 24

2-2- روشهای تک لایه.. 24

2-2-1- معرفی انواع روش‌های زمان- مکان.. 15

2-2-2- جمع بندی و مقایسه روش‌های زمان-مکان.. 23

2-2-3- روشهای متوالی.. 25

2-2-4- جمع بندی و مقایسه روشهای متوالی.. 26

2-3- روشهای چندلایه (سلسله مراتبی).. 26

2-3-1- روشهای آماری.. 27

2-3-2- روشهای نحوی.. 27

2-3-3- مدل توصیفی.. 28

2-3-4- جمع بندی و مقایسه روشهای سلسله مراتبی.. 28

3- مطالعه ابزارهای مورد استفاده.. 31

3-1- مقدمه.. 31

3-2- ابزارهای مورد استفاده در استخراج ویژگی.. 31

3-2-1- هیستوگرام گرادیان جهت دار.. 31

3-2-2- شار نوری.. 32

3-3- ابزارهای مورد استفاده در یادگیری ویژگی‌های سطح بالاتر.. 44

3-3-1- الگوی کلی در یادگیری ویژگی بدون ناظر.. 36

3-3-2- روشهای متداول در یادگیری ویژگی بدون ناظر.. 37

3-3-3- تجزیه تجربی مودی.. 61

3-4- ابزارهای مورد استفاده در دسته بندی.. 62

3-4-1- مدل مخفی مارکوف.. 62

3-4-2- ماشین بردار پشتیبان:.. 56

4- روش پیشنهادی. 61

4-1- مقدمه.. 61

4-2- تعریف چارچوب اصلی.. 61

4-3- مراحل انجام کار.. 62

4-3-1- بیان ویدیو.. 64

4-3-2- استخراج ویژگی.. 76

4-3-3- کوانتیزه کردن کلمات و ساخت دیکشنری.. 68

4-3-4- ادغام.. 88

4-3-5- دسته بندی.. 89

4-4- چارچوبهای پیشنهادی.. 92

4-4-1- چارچوب اول:.. 92

4-4-2- چارچوب دوم:.. 92

4-4-3- چارچوب سوم:.. 83

4-4-4- چارچوب چهارم:.. 84

4-4-5- چارچوب پنجم:.. 86

5- نتایج.. 95

5-1- پایگاه داده‌های موجود.. 95

5-2- تنظیم پارامترهای مساله.. 102

5-3- نتایج.. 104

6- بحث.. 120

6-1- نوآوریها و مزایا و معایب آنها.. 120

6-2- مقایسه چارچوبهای پیشنهادی.. 113

6-3- کارهای پیشنهادی جهت آینده.. 114

6-4- جمع بندی.. 115

7- فهرست منابع.. 116

فهرست جدول‌ها

عنوان                                             صفحه

جدول 5-1-نتایج روشهای ارائه شده ... پایگاه داده weizmann در حالات مختلف   105

جدول 5-2-مقایسه نتایج روشهای ارائه شده با دیگر روشها بر روی پایگاه داده Weizmann  106

جدول 5-3-نتایج روشهای ارائه شده ... پایگاه داده KTH در حالات مختلف   106

جدول 5-4-مقایسه نتایج روشهای ارائه شده با دیگر روشها بر روی پایگاه داده KTH   107

جدول 5-5-نتایج روشهای ارائه شده ... پایگاه داده UCF-sports در حالات مختلف   107

جدول 5-6-مقایسه نتایج روشهای ارائه شده با دیگر روشها بر روی پایگاه دادهUCF-sports  108

جدول 5-7-نتایج روشهای ارائه شده ...پایگاه داده UCF50 در حالات مختلف 108

جدول 5-8-مقایسه نتایج روشهای ارائه شده با دیگر روشها بر روی پایگاه داده UCF50  108

فهرست شکل‌ها

عنوان                                             صفحه

شکل 1-1- یکی از کاربردهای تشخیص فعالیت انسانی در معابر عمومی   5

شکل 1-2- کاربرد تشخیص فعالیت در پزشکی.. 5

شکل 1-3-کاربرد تشخیص فعالیت در علوم شناختی... 5

شکل 1-4-کاربرد تشخیص فعالیت در صنعت پویانمایی.. 6

شکل 1-5-مقایسه مراحل مختلف انجام فعالیت پرش با نیزه در دو فرد مختلف   9

شکل 1-6-نمونه‌های مختلف از انجام حرکت دویدن... 10

شکل 1-7-سرعت انجام یک فعالیت در افراد مختلف متفاوت است.. 9

شکل 2-1-نمودار درختی روشهای ارائه شده در تشخیص فعالیت[1]... 14

شکل 2-2-حجم زمانی مکانی برای یک فعالیت بر حسب اطلاعات شبح کلی بدن انسان [3] 15

شکل 2-3-ساخت تصویر MEI و MHI از تصاویر مختلف [4]... 16

شکل 2-4-نقاط متحرک در حین فعالیت.. 18

شکل 2-5-نقاط جذاب زمانی-مکانی پا در راه رفتن.. 20

شکل 2-6-فعالیت نوشیدن به وسیله یک سری از حرکات ابتدایی . 22

شکل 2-7-بیان‌های متفاوت از مدل بدن انسان.. 24

شکل 2-8-ماسک مختلف اشکال برای تشخیص فعالیت تنیس[21] 25

شکل 2-9-مثالی از تشخیص فعالیت مشت زدن با استفاده از مدل مخفی مارکوف چند لایه.   29

شکل 3-1-چهار سلول مختلف و بردارهای اندازه و جهت گرادیان.. 32

شکل 3-2-استخراج ویژگی شار نوری....................... 34

شکل 3-3-قالب کلی در الگوریتمهای یادگیری ویژگی بدون ناظر[39] 37

شکل 3-4-شمای کلی روش کد گذاری تنک . 41

شکل 3-5-مسیر کلی" تشخیص" در سیستم بینایی انسان که دارای چندین مرحله است   45

شکل 3-6-پارامترهاي مساله بهينه سازي.. 57

شکل 3-7-توانايي SVM در جداسازي داده‌هاي غير خطي و متغير جهت کنترل انحراف   57

شکل 4-1-دیاگرام کلی مراحل انجام کار در مدل کیف ویژگی.. 62

شکل 4-2-شمای کلی مراحل انجام کار در مدل کیف ویژگی[34]... 63

شکل 4-3-خلاصه سازی و استخراج حالات کلیدی یک  فعالیت... 64

شکل 4-4-شمای کلی از ایده ساخت دیکشنری از حالات و ترکیب خطی آنها.   64

شکل 4-5-بیان ویدیو.. 66

شکل 4-6-دو منبع اصلی استخراج ویژگی شامل دانش اولیه و ویژگی‌های مستخرج از تصاویر می‌باشد... 68

شکل 4-7-دیکشنری استخراج شده از ویژگی حرکتی در جهت افقی.. 72

شکل 4-8-دو زیرفضای دوگان............................ 73

شکل 4-9-دو روش مختلف در بیان ویدیو.. 73

شکل 4-10-دیکشنری‌های شکل مستخرج از بانک فیلترهای متفاوت.   76

شکل 4-11-دو روش گروهبندی.. 77

شکل 4-12-نگاشت فریم‌های مختلف یک ویدیو و ضرایب آنها بر... پشتیبان خطی   81

شکل 4-13-هر کدام از ویژگی‌های شکل و حرکت.. 86

شکل 4-14-مرور کلی بر چارچوب اول.. 88

شکل 4-15-مرور کلی بر چارچوب دوم.. 89

شکل 4-16-مرور کلی بر چارچوب سوم.. 90

شکل 4-17-مرور کلی بر چارچوب چهارم.. 91

شکل 4-18-شمای کلی مرحله کد کردن.. 92

شکل 4-19-مرور کلی بر چارچوب پنجم.. 93

شکل 5-1-نمونه فریم کلاسهای مختلف پایگاه داده مصنوعی KTH در چند سناریو   96

شکل 5-2-نمونه فریم کلاسهای مختلف پایگاه داده Weizmann در چند سناریو   96

شکل 5-3-نمونه فریم کلاسهای مختلف پایگاه داده UCF Sports. 98

شکل 5-4-نمونه فریم کلاسهای مختلف پایگاه داده You tube. 98

شکل 5-5-نمونه فریم کلاسهای مختلف پایگاه داده UCF50 در چند سناریو   100

شکل 5-6-نمونه فریم کلاسهای مختلف پایگاه داده Hollywood در چند سناریو   101

شکل 5-7-نمونه فریم چند کلاس پایگاه داده mhdb. 101