A DFO technique to calibrate queueing models

ABSTRACT

A crucial step in the modeling of a system is to determine the values of the parameters to use in the model. In this paper we assume that we have a set of measurements collected from an operational system, and that an appropriate model of the system (e.g., based on queueing theory) has been developed Not infrequently proper values for certain parameters of this model may be difficult to estimate from available data (because the corresponding parameters have unclear physical meaning or because they cannot be directly obtained from available measurements, etc.). Hence, we need a technique to determine the missing parameter values, i.e., to calibrate the model. As an alternative to unscalable “brute force” technique, we propose to view model calibration as a nonlinear optimization problem with constraints. The resulting method is conceptually simple and easy to implement. Our contribution is twofold. First, we propose improved definitions of the “objective function” to quantify the “distance” between performance indices produced by the model and the values obtained from measurements. Second, we develop a customized derivative-free optimization (DFO) technique hose original feature is the ability to allow temporary constraint violations. This technique allows us to solve this optimization problem accurately, thereby providing the “right” parameter values. We illustrate our method using two simple real-life case studies.

INTRODUCTION

Predicting the behavior of information systems is a key issue in computer analysis. The predictions may be used to design a new system, as well as to forecast performance impact of changes in hardware resources and/or application workload (capacity planning). Predictions can for instance estimate how increasing the utilization of an Ethernet network affects the average delay experienced by transmitted packets. Another case in point is to forecast the performance impact of a new storage device on the performance of the I/O subsystem. A possible way to address the effect of system or workload changes is to implement the corresponding scenario in the actual system and experimentally assess the resulting impact. Such a solution requires that the system be adequately instrumented, which can be both complex and costly. Additionally, in some instances, the instrumentation and measurement itself can drastically alter the performance of an operational system and compromise its reliability. For these reasons, engineers frequently look for alternative solutions.

چکیده

یک گام اساسی در مدل سازی یک سیستم، تعیین مقادیر پارامترها برای استفاده در مدل است. در این مقاله فرض می کنیم که مجموعه ای از اندازه گیری ها از یک سیستم عملیاتی جمع آوری شده است و یک مدل مناسب از سیستم (به عنوان مثال بر اساس نظریه صف بندی) توسعه داده شده است. اغلب مقادیر مناسب برای پارامترهای خاصی از این مدل ممکن است دشوار باشد از داده های موجود (از آنجا که پارامترهای مربوطه دارای معنی فیزیکی نامشخص هستند یا به دلیل اینکه آنها نمی توانند مستقیما از اندازه گیری های موجود به دست آید، و غیره) برآورد می شود. از این رو، برای تعیین مقادیر پارامتر گم شده، به منظور ترسیم مدل، نیاز به یک روش دارد. به عنوان یک جایگزین برای روش غیرقابل تحمل «نیروی بی رحم»، ما پیشنهاد می کنیم کالیبراسیون مدل را به عنوان یک مشکل بهینه سازی غیر خطی با محدودیت ها بررسی کنیم. روش در نتیجه مفهومی ساده و آسان برای پیاده سازی است. سهم ما دو برابر است. اولا، ما تعاریف بهبود یافته از “تابع هدف” را پیشنهاد می کنیم تا کمترین فاصله بین شاخص های عملکرد تولید شده توسط مدل و مقادیر حاصل از اندازه گیری ها را تعیین کنیم. دوم، ما یک تکنیک بهینه سازی مشتق شده بدون مشتق شده (DFO) را توسعه می دهیم که توانایی اجازه دادن به نقض موقت محدودیت را دارد. این روش ما را قادر می سازد تا این مشکل بهینه سازی را به طور دقیق حل کنیم، در نتیجه ارزش پارامتر “درست” را فراهم می کنیم. ما روش ما را با استفاده از دو مثال ساده زندگی واقعی مورد بررسی قرار می دهیم.

مقدمه

پیش بینی رفتار سیستم های اطلاعاتی یک مسئله کلیدی در تجزیه و تحلیل کامپیوتر است. پیش بینی ها می توانند برای طراحی یک سیستم جدید و نیز پیش بینی تاثیرات تغییرات در منابع سخت افزاری و / یا حجم کار برنامه (برنامه ریزی ظرفیت) مورد استفاده قرار گیرند. پیش بینی ها می توانند برای مثال تخمین بزنند که چگونه افزایش استفاده از یک شبکه اترنت تأخیر میانگین را تحت تاثیر بسته های منتقل قرار می دهد. یکی دیگر از موارد مهم این است که پیش بینی تاثیر عملکرد یک دستگاه ذخیره سازی جدید بر عملکرد زیر سیستم I / O باشد. یک راه ممکن برای رسیدگی به تأثیر تغییرات سیستم یا تغییر حجم کار، اجرای سناریو مربوطه در سیستم واقعی است و به طور تجربی، تاثیرات ناشی از آن را ارزیابی می کند. چنین راه حلی مستلزم آن است که سیستم به اندازه کافی ابزار، که می تواند پیچیده و پر هزینه باشد. علاوه بر این، در برخی موارد، ابزار دقیق و اندازه گیری می تواند به طور قابل توجهی عملکرد یک سیستم عامل را تغییر دهد و قابلیت اطمینان آن را تحت تاثیر قرار دهد. به همین دلیل، مهندسان اغلب به دنبال راه حل های جایگزین هستند.

Year: 2009

Publisher : ELSEVIER

By : T. Begin , B. Baynat , F. Sourd , A. Brandwajn