Distributed resource management in wireless sensor networks using reinforcement learning

توضیحات

ABSTRACT

In wireless sensor networks (WSNs), resourceconstrained nodes are expected to operate in highly dynamic and often unattended  environments. Hence, support for intelligent, autonomous, adaptive and distributed resource management is an essential ingredient of a middleware solution for developing scalable and dynamic WSN applications. In this article, we present a resource management framework based on a two-tier reinforcement learning scheme to enable autonomous self-learning and adaptive applications with inherent support for efficient resource management. Our design goal is to build a system with a bottom-up approach where each sensor node is responsible for its resource allocation and task selection. The first learning tier (micro-learning) allows individual sensor nodes to self-schedule their tasks by using only local information, thus enabling a timely adaptation. The second learning tier (macro-learning) governs the micro-learners by tuning their operating parameters so as to guide the system towards a global application-specific optimization goal (e.g., maximizing the network lifetime). The effectiveness of our framework is exemplified by means of a target tracking application built on top of it. Finally, the  performance of our  scheme is compared against other existing approaches by simulation. We show that our twotier reinforcement learning scheme is significantly more efficient than traditional approaches to resource management while fulfilling the application requirements.

INTRODUCTION

Wireless sensor network (WSN) nodes are remarkably constrained in terms of their resources, i.e., energy, computational power and radio bandwidth. WSNs normally operate in uncertain and dynamic environments where the state of the system changes dynamically over time. In fact, new sensor nodes may join an already deployed network. On the other hand, existing nodes may cease to participate in WSN operations due to depleted batteries, malfunctions, or disconnection from the rest of the network. As a consequence, applications have to explicitly  address the fact that WSNs are inherently dynamic and uncertain. At the same time, Quality of Service (QoS) requirements and optimization goals need to be fulfilled by the applications as well. Indeed, adaptive resource management is the key to any successful middleware solution to enable such applications.

چکیده

در شبکه های حسگر بی سیم (WSNs)، انتظار می رود که گره های مجاز محدود در محیط های بسیار پویا و اغلب بدون نظارت اجرا شوند. از این رو، پشتیبانی از مدیریت منابع هوشمند، مستقل، سازگار و توزیع شده، یک عنصر ضروری از راه حل middleware برای توسعه برنامه های کاربردی WSN مقیاس پذیر و پویا است. در این مقاله، ما یک چارچوب مدیریت منابع را بر اساس یک برنامه یادگیری تقویت دوجانبه ارائه می دهیم تا برنامه های خودموزنی و انطباقی را با پشتیبانی ذاتی برای مدیریت منابع کارآمد فراهم کنیم. هدف طراحی ما ساخت یک سیستم با یک رویکرد پایین به بالا است که در آن هر گره حسگر مسئول تخصیص منابع و انتخاب کارها است. اولین سطح یادگیری (یادگیری میکرو) اجازه می دهد تا گره های حسگر فردی خود را با استفاده از اطلاعات محلی به برنامه خود بسپارند، بنابراین سازگاری به موقع امکان پذیر است. مرحله دوم یادگیری (یادگیری ماکرو) با استفاده از تنظیم پارامترهای عملیاتی خود، یادگیرندگان میکرو را به منظور هدایت سیستم به سوی هدف بهینه سازی کاربردی جهانی برنامه (به عنوان مثال، به حداکثر رساندن طول عمر شبکه)، کنترل می کند. اثربخشی چارچوب ما با استفاده از یک برنامه ردیابی هدف ساخته شده بر روی آن نشان داده شده است. در نهایت، عملکرد طرح ما در مقایسه با سایر رویکردهای موجود با استفاده از شبیه سازی مقایسه می شود. ما نشان می دهیم که طرح یادگیری دوگانه تقویت ما به طور قابل ملاحظه ای کارآمد تر از رویکردهای سنتی برای مدیریت منابع در حالی که نیازهای برنامه را برآورده می کند.

مقدمه

گره های حسگر بی سیم (WSN) از لحاظ منابع خود، به عنوان مثال، انرژی، قدرت محاسباتی و پهنای باند رادیویی، محدود است. WSN ها به طور معمول در محیط های نامشخص و پویا عمل می کنند که در آن حالت سیستم به طور پویا تغییر می کند. در حقیقت، گره های سنسور جدید ممکن است به یک شبکه ی که قبلا مستقر شده است پیوست شوند. از سوی دیگر، گره های موجود ممکن است در عملیات WSN به علت باتری های تخلیه شده، خرابی ها یا قطع ارتباط از بقیه شبکه متوقف شوند. به عنوان یک نتیجه، برنامه ها باید به صراحت به این واقعیت اشاره کنند که WSN ها به طور ذاتی پویا و نامشخص هستند. در عین حال، نیازهای کیفیت خدمات (QoS) و اهداف بهینه سازی نیز باید توسط برنامه های کاربردی انجام شود. در واقع، مدیریت منابع انطباقی، کلید راه حل میان افزارهای موفق برای فعال کردن چنین برنامه هایی است.

Year: 2012

Publisher : SPRINGER

By : Kunal Shah ، Mario Di Francesco ، Mohan Kumar

File Information: English Language/ 20 Page / size: 858 KB

Only site members can download free of charge after registering and adding to the cart

Download tutorial

سال : 1391

ناشر : SPRINGER

کاری از : کونال شاه ، ماریو دی فرانچسکو ، محمد کومار

اطلاعات فایل : زبان انگلیسی / 20 صفحه / حجم : KB 858

فقط اعضای سایت پس از ثبت نام و اضافه کردن به سبد خرید می توانند دانلود رایگان کنند.خوشحال می شویم به ما پبیوندید

آموزش دانلود