A new convex objective function for the supervised learning of single-layer neural networks

ABSTRACT

This paper proposes a novel supervised learning method for single-layer feedforward neural networks. This approach uses an alternative objective function to that based on the MSE, which measures the errors before the neuron’s nonlinear activation functions instead of after them. In this case, the solution can be easily obtained solving systems of linear equations, i.e., requiring much less computational power than the one associated with the regular methods. A theoretical study is included to proof the approximated equivalence between the global optimum of the objective function based on the regular MSE criterion and the one of the proposed alternative MSE function. Furthermore, it is shown that the presented method has the capability of allowing incremental and distributed learning. An exhaustive experimental study is also presented to verify the soundness and efficiency of the method. This study contains 10 classification and 16 regression problems. In addition, a comparison with other high performance learning algorithms shows that the proposed method exhibits, in average, the highest performance and low-demanding computational requirements.

INTRODUCTION

For a single-layer feedforward neural network, with linear activation functions, the weight values minimizing the meansquared error function (MSE) can be found in terms of the pseudoinverse of a matrix .  Furthermore, it can be demonstrated that the MSE surface of this linear network is a quadratic function of the weights . Therefore, this convex hyperparaboloidal surface can be easily traversed by a gradient descent method. However, if nonlinear activation functions are used then local minima can exist in the objective function based on the MSE criterion . In  it was shown that the number of such minima can grow exponentially with the input dimension. Only in some specific situations it is guaranteed the lack of local minima. In the case of linearly separable patterns and a threshold MSE criterion, it was proved the existence of only one minimum in the objective function . Nevertheless, this is not the general situation. The  contribution of this work is to present a new convex objective function, equivalent to the MSE, that does not contains local minima and the global solution is obtained using a system of linear equations. This system can be solved, for each output, with  a complexity of OðN2Þ, where N is the number of parameters of the network.

چکیده

این مقاله روش جدید یادگیری تحت نظارت را برای شبکه های عصبی خوراکی تک لایه پیشنهاد می دهد. این رویکرد از یک تابع هدف جایگزین برای آن بر اساس MSE استفاده می کند که خطاهای قبل از عملکرد های غیر فعال خطی نورون را به جای بعد از آنها اندازه گیری می کند. در این مورد، راه حل می تواند به راحتی سیستم های حل معادلات خطی را بدست آورد، یعنی نیاز به قدرت محاسباتی بسیار کمتر از آنچه که با روش های معمول همراه است. یک مطالعه نظری شامل اثبات تقارن تقریبی بین مطلوب جهانی تابع هدف براساس معیار مکرر MSE و یکی از تابع MSE پیشنهادی پیشنهاد شده است. علاوه بر این، نشان داده شده است که روش ارائه شده دارای قابلیت آموزش مجدد و توزیع شده است. برای بررسی صحت و کارایی روش، یک مطالعه تجربی جامع نیز ارائه شده است. این مطالعه شامل 10 طبقه بندی و 16 مسئله رگرسیون است. علاوه بر این، مقایسه با سایر الگوریتم های یادگیری با کارایی بالا نشان می دهد که روش پیشنهاد شده به طور متوسط ​​بالاترین میزان عملکرد و الزامات محاسباتی کم نیاز را نشان می دهد.

مقدمه

برای یک شبکه عصبی feedforward تک لایه، با توابع فعال سازی خطی، مقادیر وزنی به حداقل رساندن تابع خطای معادل مربع (MSE) را می توان از نظر pseudoinverse یک ماتریس یافت. علاوه بر این، می توان نشان داد که سطح MSE این شبکه خطی، یک عملکرد درجه دوم وزن است. بنابراین، این سطح hyperparaboloidal محدب را می توان به راحتی با استفاده از روش تبدی گرادیان انجام داد. با این حال، اگر توابع فعال سازی غیرخطی مورد استفاده قرار گیرد، حداقل می تواند در تابع هدف بر اساس معیار MSE وجود داشته باشد. در این نشان داده شده است که تعداد این حداقل ها می تواند به طور نمادین با ابعاد ورودی رشد کند. فقط در بعضی شرایط خاص، کمبود حداقل ضوابط محلی تضمین شده است. در مورد الگوهای خطی جدایی و معیار آستانه MSE، وجود تنها یک حداقل در تابع هدف اثبات شد. با این وجود، این وضعیت کلی نیست. سهم این کار این است که یک تابع هدف محدب جدید، معادل با MSE ارائه شود که حاوی حداقل ضرایب محلی نیست و راه حل جهانی با استفاده از سیستم معادلات خطی به دست می آید. این سیستم را می توان برای هر خروجی با پیچیدگی OðN2Þ حل کرد، جایی که N تعداد پارامترهای شبکه است.

Year: 2010

Publisher: IEEE

By :  Oscar Fontenla-Romero , Bertha Guijarro-Berdin˜as, Beatriz Pe´rez-Sa´nchez, Amparo Alonso-Betanzos

File Information: English Language/ 9 Page / size: 442 KB

Download

سال : 1389

ناشر : IEEE

کاری از : اسکار فونتلا رمرو، برتا گویاررو بردیان، بئاتریس پورسنسچس، آمپارو آلونسو بتانزوس

اطلاعات فایل : زبان انگلیسی / 9 صفحه / حجم : KB 442

لینک دانلود