پیوندهای مفید
اخبار و اعلانات
آمار
| تعداد نشریات | 158 |
| تعداد شماره‌ها | 6,225 |
| تعداد مقالات | 67,685 |
| تعداد مشاهده مقاله | 114,975,425 |
| تعداد دریافت فایل اصل مقاله | 89,647,685 |
مهندسی شبکه های عصبی توسط اتوماتانهای یادگیر: تعیین اندازه مطلوب برای شبکه های عصبی سه لایه | ||
| نشریه دانشکده فنی | ||
| مقاله 1، دوره 34، شماره 4 - شماره پیاپی 1150، اسفند 1379 اصل مقاله (1.65 M) | ||
| نویسندگان | ||
| محمدرضا میبدی؛ حمید بیگی* | ||
| چکیده | ||
| هدف از مهندسی شبکه های عصبی بررسی معایب و مزایای شبکه های عصبی مصنوعی و ارایه روشهایی برای بهبود کارایی آنهاست. یکی از موضوعات مورد بحث در مهندسی شبکه های عصبی چند لایه، یافتن ساختار مناسب(نزدیک به بهینه) برای حل مسئله می باشد. معیار و نحوه انتخاب اندازه شبکه عصبی برای یک مسئله خاص هنوز شناخته شده نیست. در روشهای کلاسیک،طراح شبکه در ابتدای آموزش ساختاری را برای شبکه تعیین و سپس شبکه را آموزش میدهد و ساختار تعیین شده در حین آموزش ثابت نگاه داشته میشود. تعیین اندازه شبکه عصبی (تعدادواحدها و لایه های مخفی) تأثیر عمده ای بر روی کارایی شبکه های عصبی خواهد داشت. طراحی یک شبکه با ساختار بهینه یک مسئله ذاتاً مشکل است. بهمین جهت بیشتر الگوریتم های ارایه شده برای تعیین ساختار شبکه های عصبی ، الگوریتم های تقریبی هستند. این الگوریتم ها را میتوان به پنج گروه عمده الگوریتم های هرس، الگوریتم های سازنده،الگوریتم های ترکیبی،الگوریتم های تکاملی و الگوریتم های براساس اتوماتانهای یادگیر تقسیم کرد. تنها الگوریتم گزارش شده براساس اتوماتان یادگیر ،الگوریتم بقا نام دارد که توسط بیگی و میبدی ارایه گردیده است. این الگوریتم از یک اتوماتان یادگیر مهاجرت اشیا(بعنوان یک ابزار جستجوی عمومی) و الگوریتم یادگیری انتشار خطا به عقب استفاده میکند و در ضمن آموزش ،تعداد واحدهای مخفی یک شبکه سه لایه را تعیین مینماید. در این مقاله سه الگوریتم براساس اتوماتانهای یادگیر مهاجرت اشیا و الگوریتم یادگیری انتشار خطا به عقب ارایه شده است که ساختار مناسب شبکه عصبی سه لایه(ساختاری که دارای اندازه کوچک،پیچیدگی آموزش کم و قدرت تعمیم بالا باشد) را برای یک مجموعه از الگوهای آموزشی تعیین مینماید. اغلب روشهای گزارش شده برای تعیین ساختار شبکه از الگوریتم های کوهنوردی استفاده میکنند و مشکل گرفتاری در حداقل محلی را دارند. در روش پیشنهادی در این مقاله بدلیل استفاده از روشهای جستجوی عمومی، امکان گرفتاری در حداقل های محلی فضای ساختارها کاهش می یابد. الگوریتم های ارایه شده روی مسائل متنوعی از جمله شناسایی اعداد فارسی و شناسایی اعداد انگلیسی آزمایش شده اند. از طریق شبیه سازی نشان داده شده است که شبکه های تولید شده توسط الگوریتم های پیشنهادی دارای کارایی بالایی هستند. همچنین الگوریتم های پیشنهادی با الگوریتم هرس کارنین مقایسه گردیده است. نتایج الگوریتم های پیشنهادی هم از لحاظ ساختار تولید شده،هم از نظر زمان مورد نیاز برای تعیین ساختار شبکه عصبی،بسیار بهتر از الگوریتم هرس کارنین عمل کرده اند. | ||
| کلیدواژه‌ها | ||
| اتوماتهای یادگیر مهاجرت اشیا؛ ساختار شبکه های عصبی؛ شبکه های عصبی چند لایه؛ مهندسی شبکه های عصبی | ||
| عنوان مقاله [English] | ||
| - | ||
| چکیده [English] | ||
| The goal of neural network engineering (NNE) is to study the advantages and disadvantages of neural networks and also providing methods to increase their performance. One of the problems in NNE is determination of optimal topology of neural networks for solving a given problem. There is no method to determine the optimal topology of multi-layer neural networks for a given problem. Usually, the designer selects a topology for neural networks and then trains it. The selected topology remains fixed during the training period. The performance of neural network depends on its size(number of hidden layers and hidden units). Determination of the optimal topology of neural network is an intractable problem. Therefore, most of algorithms for determination of the topology of neural ne1twork are approximate algorithms. These algorithms could be classified into five main groups: pruning algorithms, constructive algorithms, hybrid algorithms, evolutionary algorithms, and learning automata based algorithms. The only learning automata(LA) based algorithms, called survival algorithm, has been proposed by Beigy and Meybodi. This algorithm uses an object migrating learning automata and error backpropagation (BP) algorithm and determines the number of hidden units of three layers neural networks, as training proceeds. In this paper, we propose three algorithms which are based on LA and BP. These algorithms determine a near optimal topology with low time complexity and high generalization capability for a given training set. These algorithms: have two parts: determination of number of hidden units and determination of the number of hidden weights. One of the proposed algorithms uses the survival algorithm to determine the number of hidden units. A new algorithm based on LA is proposed to determine the number of hidden weights. This algorithm deletes weights with small effect, which leads to lower time complexity and higher generalization rate. Two other algorithms do not omit the hidden units explicitly; a hidden unit is omitted when all its input weights are deleted. Most of the reported algorithms in the literature for determination of topology of neural networks use hill-climbing method and may stuck at local minima. The proposed algorithms use global search method which results in increasing the probability of escaping from local minima. The proposed algorithms have been tested on several problems such as: recognition of Farsi and English digits. Simulation results show that the produced networks have good performance. The proposed algorithms are compared with Karnin pruning algorithm. | ||
|
آمار تعداد مشاهده مقاله: 2,083 تعداد دریافت فایل اصل مقاله: 1,227 |
||