Big Data: A Survey

ABSTRACT

In this paper, we review the background and state-of-the-art of big data. We first introduce the general background of big data and review related technologies, such as could computing, Internet of Things, data centers, and Hadoop. We then focus on the four phases of the value chain of big data, i.e., data generation, data acquisition, data storage, and data analysis. For each phase, we introduce the general background, discuss the technical challenges, and review the latest advances. We finally examine the several representative applications of big data, including enterprise management, Internet of Things, online social networks, medial applications, collective intelligence, and smart grid. These discussions aim to provide a comprehensive overview and big-picture to readers of this exciting area. This survey is concluded with a discussion of open problems and future directions.

INTRODUCTION

Over the past 20 years, data has increased in a large scale in various fields. According to a report from International Data Corporation (IDC), in 2011, the overall created and copied data volume in the world was 1.8ZB (≈ 1021B), which increased by nearly nine times within five years . This figure will double at least every other two years in the near future. Under the explosive increase of global data, the term of big data is mainly used to describe enormous datasets. Compared with traditional datasets, big data typically includes masses of unstructured data that need more real-time analysis. In addition, big data also brings about new opportunities for discovering new values, helps us to gain an in-depth understanding of the hidden values, and also incurs new challenges, e.g., how to effectively organize and manage such datasets.

چکیده

در این مقاله، پس زمینه و حالت پیشرفته داده های بزرگ را بررسی می کنیم. ابتدا زمینه کلی داده های بزرگ و بررسی فن آوری های مرتبط، مانند محاسبات، اینترنت چیزها، مراکز داده و Hadoop را معرفی می کنیم. سپس در چهار مرحله زنجیره ارزش داده های بزرگ، یعنی تولید داده ها، جمع آوری داده ها، ذخیره سازی داده ها و تجزیه و تحلیل داده ها تمرکز می کنیم. برای هر مرحلهای، ما پیشینه عمومی را معرفی میکنیم، در مورد چالشهای فنی بحث میکنیم و آخرین پیشرفتها را بررسی میکنیم. ما در نهایت چندین برنامه نمایشی داده های بزرگ، از جمله مدیریت سازمانی، اینترنت چیزها، شبکه های اجتماعی آنلاین، برنامه های رسانه ای، هوش جمعی و شبکه های هوشمند را بررسی می کنیم. این مباحث به منظور ارائه یک مرور جامع و تصویر بزرگ برای خوانندگان این منطقه هیجان انگیز است. این نظرسنجی با بحث درباره مسائل باز و جهت های آینده انجام شده است.

مقدمه

در طول 20 سال گذشته، داده ها در مقیاس وسیع در زمینه های مختلف افزایش یافته است. بر اساس گزارشی از شرکت بین المللی داده (IDC)، در سال 2011، حجم کلی ایجاد شده و کپی شده در جهان 1.8ZB (≈ 1021B) بود که تقریبا نه برابر ظرف پنج سال افزایش یافت. این رقم حداقل دو سال دیگر در آینده نزدیک دو برابر خواهد شد. تحت افزایش انفجاری داده های جهانی، اصطلاح داده های بزرگ به طور عمده برای توصیف مجموعه های داده های عظیم استفاده می شود. در مقایسه با مجموعه داده های سنتی، داده های بزرگ معمولا شامل توده های داده های غیر ساختاری هستند که نیاز به تجزیه و تحلیل زمان واقعی دارند. علاوه بر این، داده های بزرگ نیز فرصت های جدیدی برای کشف ارزش های جدید به ارمغان می آورد، به ما کمک می کند تا درک عمیق ارزش های پنهان را بدست آوریم، و همچنین چالش های جدیدی را به وجود می آورد، مانند چگونگی سازماندهی و مدیریت چنین مجموعه های داده ای.

Year: 2014

Publisher : SPRINGER

By : Min Chen · Shiwen Mao · Yunhao Liu