توضیحات
ABSTRACT
The advent of Solid State Drives (SSDs) stimulated a lot of research to investigate and exploit to the extent possible the potentials of the new drive. The focus of this work is on the investigation of the relative performance and benefits of SSDs versus hard disk drives (HDDs) when they are used as underlying storage for Hadoop’s MapReduce. In particular, we depart from all earlier relevant works in that we do not use their workloads, but examine MapReduce tasks and data suitable for performing analysis of complex networks which present different execution patterns. Despite the plethora of algorithms and implementations for complex network analysis, we carefully selected our “benchmarking methods” so that they include methods that perform both local and network-wide operations in a complex network, and also they are generic enough in the sense that they can be used as primitives for more sophisticated network processingapplications. We evaluated the performance of SSDs and HDDs by executing these algorithms on real social network data and excluding the effects of network bandwidth which can severely bias the results. The obtained results confirmed in part earlier studies which showed that SSDs are beneficial to Hadoop. How ever, we also provided solid evidence that the processing pattern of the running application has a significant role, and thus future studies must not blindly add SSDs to Hadoop, but they should build components for assessing the type of processing pattern of the application and then direct the data to the appropriate storage medium.
چکیده
ظهور درایوهای حالت جامد (SSD) تحقیقات زیادی را تحریک کرد تا در حد امکان از پتانسیلهای درایو جدید تحقیق و بهره برداری کند. تمرکز این کار بر روی بررسی عملکرد نسبی و مزایای استفاده از SSD در مقابل درایوهای دیسک سخت (HDD) است که در هنگام استفاده از آنها به عنوان فضای زیرزمینه MapReduce Hadoop استفاده می شود. به طور خاص ، ما از همه کارهای مرتبط قبلی که به دلیل عدم استفاده از حجم کار آنها استفاده می کنیم ، فاصله می گیریم ، اما وظایف MapReduce و داده های مناسب برای انجام تجزیه و تحلیل شبکه های پیچیده که الگوهای مختلف اجرا را ارائه می دهند را بررسی می کنیم. با وجود تعداد زیادی الگوریتم و پیاده سازی برای تجزیه و تحلیل شبکه پیچیده ، ما “روشهای محک” را با دقت انتخاب کردیم تا آنها شامل روشهایی شوند که هم در محلی و هم شبکه گسترده ای را در یک شبکه پیچیده انجام می دهند ، و همچنین به اندازه کافی عمومی هستند به این معنا که آنها می تواند به عنوان بدوی برای کاربردهای پیشرفته پردازش شبکه استفاده شود. ما با اجرای این الگوریتم ها بر روی داده های شبکه های اجتماعی واقعی و حذف اثرات پهنای باند شبکه ، عملکرد SSD و HDD را ارزیابی کردیم و نتایج را به شدت سوگیری کرد. نتایج به دست آمده در مطالعات قبلی که نشان می دهد SSD ها برای Hadoop مفید هستند ، تأیید شده است. تا به حال ، ما همچنین شواهد محکمی ارائه دادیم که الگوی پردازش برنامه کاربردی نقش مهمی دارد و بنابراین مطالعات آینده نباید کورکورانه SSD ها را به Hadoop اضافه کند ، بلکه باید آنها را برای ارزیابی نوع الگوی پردازش برنامه بسازند و سپس هدایت کنند. داده ها به محیط ذخیره سازی مناسب
Year: ۲۰۱۸
Publisher : ELSEVIER
By : M. Bakratsas, P. Basaras, D. Katsaros, L. Tassiulas
File Information: English Language/ 26 Page / size: 912 KB
سال : ۱۳۹۶
ناشر : ELSEVIER
کاری از : M. Bakratsas ، P. Basaras ، D. Katsaros، L. Tassiulas
اطلاعات فایل : زبان انگلیسی / 26 صفحه / حجم : KB 912
نقد و بررسی‌ها
هنوز بررسی‌ای ثبت نشده است.