A Taxonomy of Data Scheduling in Data Grids and Data Centers: Problems and Intelligent Resolution Techniques

توضیحات

ABSTRACT

Scheduling in traditional distributed systems has been mainly studied for system performance parameters without data transmission  requirements. With the emergence of Data Grids (DGs) and Data Centers, data-aware scheduling has become a major research issue. DGs arise quite naturally to support needs of scientific communities to share, access, process, and manage large data collections geographically
distributed. In fact, DGs can be seen as precursors of Data Centers of Cloud Computing platforms, which serve as basis for collaboration at large scale. In such computational infrastructures, the large amount of data to be efficiently processed is a real challenge. One of the key issues contributing to the efficiency of massive processing is the scheduling with data transmission requirements. Data-aware scheduling, although
similar in nature with Grid scheduling, is giving rise to the definition of a new family of optimization problems. New requirements such as data transmission, decoupling of data from processing, data replication, data access and security are the basis for the definition of a whole  axonomy of data scheduling problems from an optimization perspective. In this work we present the modelling of such requirements and define data scheduling problems. We exemplify the methodology for the case of data-ware independent batch task scheduling and present several heuristic resolution methods for the problem.

INTRODUCTION

Traditional scheduling problems are mainly concerned with high performance parameters related to task processing (CPU related parameters) such as makespan, flowtime, resource usage, etc. These parameters usually do no take into account requirements on data needed for task completion such as data transmission time, data access rights, data availability (replication) and security. On the one hand, in most formulations a task is assumed to encapsulate both software and data, and, on the other, in LANs and clusters data requirements are easily satisfied. Indeed, data transmission time is assured to be fast/very fast, data access rights are granted, due to the single domain of LANs and clusters, so there is no need for special data access management. Similarly, security issues are easily handled within the same administrative domain.

چکیده

برنامه ریزی در سیستم های سنتی توزیع شده به طور عمده برای پارامترهای عملکرد سیستم بدون نیاز به انتقال داده شده است. با ظهور شبکه های داده (DGs) و مراکز داده، برنامه ریزی داده ها آگاهانه تبدیل به یک مسئله تحقیق عمده است. DGs به طور طبیعی به وجود می آید تا از نیازهای جوامع علمی برای به اشتراک گذاری، دسترسی، پردازش و مدیریت مجموعه های داده های بزرگ به صورت جغرافیایی توزیع شود. در حقیقت، DG ها را می توان به عنوان پیشکسیران مراکز داده رایانه های رایانه ای شناخت، که به عنوان مبنایی برای همکاری در مقیاس وسیع عمل می کنند. در چنین زیرساخت های محاسباتی، مقدار زیادی از داده ها برای پردازش موثر یک چالش واقعی است. یکی از مسائل کلیدی که به کارایی پردازش عظیم کمک می کند برنامه ریزی با نیازهای انتقال داده است. برنامه ریزی دقیق داده ها، اگر چه با برنامه ریزی Grid مشابه است، تعریف یک خانواده جدید از مشکلات بهینه سازی را ارائه می دهد. الزامات جدید مانند انتقال داده ها، جدا شدن داده ها از پردازش، تکرار داده ها، دسترسی به داده ها و امنیت، مبنایی برای تعریف یک محدوده کل از مشکلات برنامه ریزی داده ها از دیدگاه بهینه سازی است. در این کار ما مدل سازی چنین الزاماتی را ارائه می دهیم و مشکلات برنامه ریزی داده ها را تعریف می کنیم. ما نمونه روش های مربوط به برنامه زمانبندی کارهای گروهی مستقل داده ها را ارائه می دهیم و چندین روش حل مسئله را ارائه می دهیم.

مقدمه

مشکلات برنامه ریزی سنتی عمدتا مربوط به پارامترهای کارایی بالا مربوط به پردازش وظیفه (پارامترهای مرتبط با CPU) از قبیل makepan، زمان جریان، استفاده از منابع و غیره است. این پارامترها معمولا نیازهای حسابداری برای داده های مورد نیاز برای تکمیل کار مانند زمان انتقال اطلاعات ، دسترسی به داده ها، دسترسی به اطلاعات (تکرار) و امنیت. از یک سو، در اکثر فرمول بندی ها، فرض بر این است که هر دو نرم افزار و داده ها را محصور کرده و از سوی دیگر، در شبکه ها و خوشه ها نیازهای داده ها به راحتی رضایت داده شوند. در حقیقت، زمان انتقال داده ها به سرعت / بسیار سریع اطمینان داده می شود، به دلیل دامنه تکاملی LAN ها و خوشه ها، دسترسی به داده ها اعطا می شود، بنابراین نیازی به مدیریت دسترسی به داده های خاص وجود ندارد. به همین ترتیب، مسائل امنیتی به راحتی در یک دامنه اداری مشابه مدیریت می شوند.

Year: 2011

Publisher : IEEE

By :  Joanna Kołodziej, Fatos Xhafa, Leonard Barolli, Vladi Kolici

File Information: English Language/ 9 Page / size: 327 KB

Only site members can download free of charge after registering and adding to the cart

Download tutorial

سال : 1390

ناشر : IEEE

کاری از : Joanna Kołodziej, Fatos Xhafa, Leonard Barolli, Vladi Kolici

اطلاعات فایل : زبان انگلیسی / 9 صفحه / حجم : KB 327

فقط اعضای سایت پس از ثبت نام و اضافه کردن به سبد خرید می توانند دانلود رایگان کنند.خوشحال می شویم به ما پبیوندید

آموزش دانلود