Facial Action Unit Detection: 3D versus 2D Modality

ABSTRACT

In human facial behavioral analysis, Action Unit (AU) coding is a powerful instrument to cope with the diversity of facial expressions. Almost all of the work in the literature for facial action recognition is based on 2D camera images. Given the performance limitations in AU detection with 2D data, 3D facial surface information appears as a viable alternative. 3D systems capture true facial surface data and are less disturbed by illumination and head pose. In this paper we extensively compare the use of 3D modality vis-a-vis 2D imaging modality for AU recognition. Surface ` data is converted into curvature data and mapped into 2D so that both modalities can be compared on a fair ground. Since the approach is totally data-driven, possible bias due to the design is avoided. Our experiments cover 25 AUs and is based on the comparison of Receiver Operating Characteristic (ROC) curves. We demonstrate that in general 3D data performs better, especially for lower face AUs. Furthermore it is more robust in detecting low intensity AUs. Also, we show that generative and discriminative classifiers perform on a par with 3D data. Finally, we evaluate fusion of the two modalities. The highest detection rate was achieved by fusion, which is 97.1 area under the ROC curve. This score was 95.4 for 3D and 93.5 for 2D modality.

INTRODUCTION

Mental processes like emotions, social interactions as in winking and physiological effects like pain or fatigue do all generate expressions on  human faces, consciously or unconsciously. From behavioral scientists to human-computer interaction analysts there is a need for objective facial measurements. Facial Action Coding System (FACS) seems to provide the right medium . The downside of FACS is that due to the  countless rules defined in FACS and subtleties of AUs, encoding is a difficult and time consuming process, and requires certification. Also, due to the human factor in coding, analysis can be subjective by nature. These are the reasons that started vision based automated AU coding  research. The potential of an automatic AU encoder is obvious in the design of human-computer interfaces or in psychological studies, to infer social communication facial signals, mental and physiological activities.

چکیده

در تجزیه و تحلیل رفتاری صورت انسان، برنامه نویسی Action Unit (AU) یک ابزار قدرتمند برای مقابله با تنوع بیان صورت است. تقریبا تمام کار در ادبیات برای تشخیص عمل چهره بر اساس تصاویر دوربین 2D است. با توجه به محدودیت های عملکرد در تشخیص AU با داده های 2D، اطلاعات سطح 3D صورت به نظر می رسد جایگزین قابل قبول است. سیستم های 3D تصاویر واقعی سطح چهره را جذب می کنند و نور و سر به طور ناچیزی آسیب می بینند. در این مقاله، ما به طور گسترده ای از استفاده از روش های 3D در برابر روش های تصویربرداری 2D برای به رسمیت شناختن AU مقایسه می کنیم. داده های سطحی به داده های انحنای تبدیل شده و به 2D می رسند به طوری که هر دو حالت را می توان در یک زمین عادلانه مقایسه کرد. از آنجا که رویکرد کاملا مبتنی بر داده است، ممکن است تعصب احتمالی به علت طراحی اجتناب شود. آزمایشات ما 25 AU را پوشش می دهد و بر اساس مقایسه ی منحنی های عملیاتی گیرنده (ROC) است. ما نشان می دهیم که به طور کلی داده های 3D به طور خاص بهتر عمل می کنند، مخصوصا برای AU های پایین دست. علاوه بر این در تشخیص AU های کم فشار قوی تر است. همچنین، ما نشان می دهیم که طبقه بندی های مولد و تبعیض آمیز با داده های سه بعدی بر روی یک پارامتر کار می کنند. در نهایت، همجوشی دو روش را ارزیابی می کنیم. بالاترین میزان تشخیص توسط فیوژن بدست آمد که منحنی ROC برابر 97.1 است. این نمره 95.4 برای 3D و 93.5 برای مد 2D بود.

مقدمه

فرایندهای روانی مثل احساسات، تعاملات اجتماعی مانند اثرات چشمگیر و فیزیولوژیکی مانند درد یا خستگی، هرگونه آگاهی یا ناخودآگاه، بر روی چهره های انسان ایجاد می کنند. از دانشمندان رفتاری به متخصصان تعامل انسان و کامپیوتر، نیاز به اندازه گیری ابعاد صورت است. به نظر میرسد که سیستم کدگذاری عمل صورت (FACS) محیط مناسب را فراهم میکند. ناکامی FACS این است که با توجه به قوانین بی شماری که در FACS و ظرافت های AU ها تعریف شده است، رمزگذاری یک فرایند سخت و وقت گیر است و نیاز به صدور گواهینامه دارد. همچنین، با توجه به فاکتور انسانی در برنامه نویسی، تجزیه و تحلیل می تواند ذاتا طبیعت باشد. اینها دلایلی است که تحقیق در زمینه برنامه نویسی AU را بر اساس دید مبتنی بر آن انجام داد. پتانسیل یک دستگاه خودکار AU در طراحی رابط های انسانی کامپیوتر و یا در مطالعات روانشناختی، برای نشان دادن سیگنال های چهره ارتباط اجتماعی، فعالیت های ذهنی و فیزیولوژیکی واضح است.

Year: 2010

Publisher : IEEE

By :  Arman Savran, Bulent Sankur, M. Taha Bilge

File Information: English Language/ 8 Page / size: 1.05 KB

Download

سال : 1389

ناشر : IEEE

کاری از : آرمان صوران، بولنت سانکور، م. طاها بیگ

اطلاعات فایل : زبان انگلیسی / 8 صفحه / حجم : KB 1.05

لینک دانلود