Нечіткі множини.�Операції над нечіткими множинами

Засновник

• Вперше термін нечітка логіка
• (fuzzy logic)був введений американським професором Лотфі Заде 1965 року у роботі “Нечіткі множини” у журналі “Інформатика та управління”.

Народився в Баку, Азербайджан якЛотфі Алескерзаде (або Аскер Заде) від російської матері та батька азербайджанця іранського походження; з 1932 року жив у Ірані, навчався Тегеранському університеті; з 1944 у Сполучених Штатах; працює у Каліфорнійському університеті (Берклі).

Приклад

• У лютому 1991 року була сконструйована перша <інтелектуальна> пральна машина, У системі управління якої поєднувалися нечітка логіка.

​

• Автоматично визначаючи нечіткі вхідні фактори:
• обсяг та якість білизни,
• рівень забрудненості,
• тип порошку і т.д.),
• пральна машина вибирала оптимальний режим прання із 3800 можливих.

Приклади застосування нечіткої логіки:

• Розпізнавання рукописних символів укишенькових комп'ютерах (записних книжках) �(Sony)
• Однокнопкове керування пральними машинами �(Matsushita, Hitatchi)
• Розпізнавання рукописних текстів, об'єктів, голосів�(CSK, Hitachi, Hosai Univ., Ricoh)
• Управління метрополітенами для підвищення зручності водіння, точності зупинки та економії енергії (Hitachi)
• Оптимізація споживання бензину в автомобілях �(NOK, Nippon Denki Tools)
• Підвищення чутливості та ефективності управління ліфтами �(Fujitec, Hitachi, Toshiba)

​

Приклади застосування нечіткої логіки: �

• Автоматичне управління воротами греблі на гідроелектростанціях
• Спрощене керування роботами
• Наведення телекамер під час трансляції спортивних подій�Ефективне та стабільне управління автомобільними двигунами �Управління економічною швидкістю автомобілів �(Nissan, Subaru)
• Оптимізоване планування автобусних розкладів(Toshiba)
• Системи архівації документів �(Mitsubishi Elec.)
• Системи прогнозування землетрусів (Japan)
• Діагностика раку�(Kawasaki Medical School)

​

Нечітка множина

Основи нечіткої логіки були закладені наприкінці 60-х років у роботах відомого американського математика

Латфі Заде

• Нехай E- Універсальна множина, x – елемент E, а R - певна властивість.

Тоді нечітка підмножина A універсальної множини E визначається як множина упорядкованих пар

,

​

де - характеристична функція приналежності (або просто функція приналежності), що приймає значення у певній впорядкованій множині M (наприклад, M = [0,1]).

Функція належності вказує рівень приналежності елемента x до підмножини A.

18

Приклади запису нечіткої множини

• Нехай Е = {x1,x2,x3,x4,x5}, M= [0,1]; A– елемент множини, для якого

​

• Тоді A можна уявити у вигляді:
• А ={0,2/x1;0/x2;0,4/x3;1/x4;0.7/x5},
• A={0,2/x1+0/x2+0,4/x3+1/x4+0,7/x5},
• А =

Приклад нечіткої множини

Основні характеристики нечітких множин

Нехай М=[0,1] та А – нечітка множина з елементами з універсальної множини Е і множиною належності М.

​

Висота: .

​

​

Якщо , то нечітка множина А нормована.

​

Якщо , то нечітка множина А субнормальна.

20

• Нечітка множина порожня, якщо .
• Непорожню субнормальну множину можна нормалізувати за формулою:

​

​

• Нечітка множина унімодальна, якщо тільки в одному x з E.
• Носієм нечіткої множини A є звичайна підмножина із властивістю , тобто .
• Елементи , для яких називаються точками переходу множини A.
• -рівнева підмножина з А - це множина, в якій

​

• Приклад: "Кілька" = 0,5/3+0,8/4+1/5+1/6+0,8/7+0,5/8; його параметри: висота=1, носій ={3,4,5,6,7,8}, точки переходу – {3,8}.

Лінгвістична змінна «Вік»

Нехай маємо завдання інтерпретації значень ЛП «вік»,таких як «молодий» вік, «похилий» вік або «перехідний» вік. Визначимо "вік" як ЛП. Тоді «молодий», «похилий», «перехідний» будуть значеннями цієї лінгвістичної змінної. Більше повний базовий набір значень ЛП «вік» наступний:

В={немовля, дитячий, юний, молодий, зрілий, похилий, старечий}.

Для ЛП «вік» базова шкала - це числова шкала від 0 до 120, що позначає кількість прожитих років, а функція власності визначає, наскільки ми впевнені в тому, що ця кількість років можна віднести до цієї категорії віку.

11

09:31

Методи визначення функції належності

• Прямі (опитування експертів)
• Непрямі (парні порівняння)
• LR -функції

LR нечіткі числа

Операції над нечіткими множинами

Логічні операції

1.Включення. Нехай А і В – нечіткі множини на універсальній множині Е. Тоді А міститься в В, якщо

.

Позначення:

2.Рівність. А і В рівні, якщо

Позначення: А = В

3.Доповнення. Нехай М = [0,1], А і В - нечіткі множини, задані на Е. А і В доповнюють один одного, якщо

Позначення:

4.Перетин - найбільша нечітка підмножина, що містить одночасно А і В ( ):

5.Об'єднання – найменша нечітке підмножина, що включає як А, і В, з функцією належності ( ):

6.Різниця – операція з функцією належності ( ):

7.Диз'юнктивна сума – логічна операція із функцією

належності ( ):

Приклад

• Нехай A нечіткий інтервал від 5 до 8
• B нечітке число близько 4

• Перетин нечітка множина цих множин (Синя лінія).

• Об'єднання нечітка множина (Синя лінія)

• Доповнення (заперечення) сенс НЕ

• Концентрація

Лінгвістичний сенс «дуже»

• Розмивання (або розмиття)

Лінгвістичний сенс

"не дуже"

Посилення чи ослаблення лінгвістичних понять

Посилення чи ослаблення лінгвістичних понять досягається запровадженням спеціальних квантифікаторів. Наприклад, якщо поняття «старечий вік» визначається як

​

​

​

то поняття «дуже старечий вік» визначиться як

​

​

​

тобто НМ для «дуже старечий вік» виглядатиме так

Приклад

Трикутні норми та конорми

Трикутна норма Трикутна конорма

2.Алгебраїчна сума цих множин позначається

і визначається так:

На основі операції алгебраїчного твору визначається операціязведення у ступіньα нечіткої множини, де α – позитивне число. Нечітка множина визначається функцією приналежності.

​

Окремим випадком зведення на ступінь є такі.

​

3. Операціяконцентрування (ущільнення)

4. Операціярозтягнення

5.Розмноження на число. Якщо α – позитивне число, таке що

, то нечітка множина αА має функцію

приладдя:

Алгебраїчні операції

1. Алгебраїчний твір А і В позначається

і визначається так:

Приклад застосування трикутних норм та конорм

Нечіткі стосунки.�Операції над нечіткими відносинами

Нечітка логіка та нейронні мережі

Приклад нечіткого відношення

Приклад подання 1

Приклад подання 2

Модель "Ринок-Продукція"

Операції над нечіткими відносинами

Операції над нечіткими відносинами

Приклад поєднання нечітких відносин

Приклад перетину нечітких відносин

Приклади композицій

Приклади композицій

Композиція двох нечітких відносин

•

=

Вибір кандидатів на навчання

Вибір кандидатів на навчання

Нечітка і лінгвістична змінні. Нечіткі числа

Нечітка логіка та нейронні мережі

Визначення нечіткою зміною

Приклад:нечітка змінна"високий зріст"

Х - «високий зріст»(найменування

змінної),

• U= [130,240],
• – функція власності

елементів з універсуXданої

нечіткої змінної.

Пояснення:Нечітка змінна - іменованенечітка безліч

Визначення лінгвістичної змінної

Приклад: ЛП"температура в кімнаті"

β="температура в кімнаті" - ім'я лінгвістичної змінної;

U= [5,35] -універс визначення;

T = {"холодно", "комфортно", "жарко"}-базова терм-множина;

G-синтаксичні правила, що породжують нові терми з використанням

квантифікаторів "і", "або", "не", "дуже", "більш менш";

М -процедура, що ставить кожному новому терму у відповідність

функцію приналежності (тобто ставлячинечітка безліч) за правилами: якщо терми А та В мали функції приналежності μа(x) та μB(x) відповідно, то нові терми матимуть функції приналежності:

Приклад:ЛП «дисципліна»

• β– дисципліна;
• Т– {«Складна дисципліна», «Цікава дисципліна», «Стане в нагоді в майбутній роботі»};
• U= [«Програмування», «Бази даних», «Нечітка логіка», «Історія»] – безліч дисциплін, що вивчаються студентами напряму «Бізнес-інформатика»;
• G- Процедура перебору елементів базового терм-множини;
• M- Процедура експертного опитування.

Приклад:товщина деталі

Нехай експерт визначає товщину виробу за допомогою понять «мала товщина», «середня товщина» та «велика товщина», При цьому мінімальна товщина дорівнює 10 мм, а максимальна – 80 мм.

Формалізація такого опису може бути проведена за допомогою наступної лінгвістичної змінної <β, T, X, G, M>, де

• β- Товщина виробу;
• T – {«мала товщина», «середня товщина», «велика товщина»};
• U= [10, 80];
• G – процедура утворення нових термів за допомогою зв'язокі,абота модифікаторів типудуже,не,злегката ін Наприклад: «мала або середня товщина»(рис. 24),«дуже мала товщина" та ін.;
• М - процедура завдання на X = [10, 80] нечітких підмножин�А1 = «мала товщина», А2=«середня товщина», А3 = «велика товщина», а також нечітких множин для термів з G(T) відповідно до правил трансляції нечітких зв'язок і модифікаторіві,або,не,дуже,злегката ін.

Приклад:товщина деталі

Функції приналежності нечітких множин:�«мала товщина»= А1, «середня товщина» = А2, «велика товщина» = А3

Функція приладдя�нечіткої множинимала або середня товщина» = А1U А1

Види ЛП

Швидкість

Розмір

Вік

Дисципліна

Гравець команди

Банк

Нечіткі числа

​

Нечіткі числа– нечіткі змінні, визначені числової осі, тобто. нечітке число визначається як нечітке безлічАна безлічіRcфункцією власності

​

Нечітке число— це нечітка підмножина універсальної множини дійсних чисел, що має нормальну та опуклу функцію приналежності, тобто таку, що:

а) існує значення носія, в якому функція приналежності дорівнює одиниці, а також

b) при відступі від свого максимуму ліворуч або праворуч функція приналежності не зростає.

​

Приклад:

«Товщина» (Т = {«мала товщина», «середня товщина», «велика товщина»})

Можливі значення, що залежать від області визначенняU: у цьому випадку значення лінгвістичної змінної «товщина виробу» можуть бути визначені як «близько 20 мм», «близько 50 мм», «близько 70 мм», тобто у виглядінечітких чисел.

​

Операції над нечіткими числами

LRнечіткі числа

LRнечіткі числа

LRнечіткі числа

• Толерантнінечіткі числа (LR)-типуназиваютьтрапезоїдними числами.

Якщо ми оцінюємо параметр якісно, ​​наприклад, кажучи: "Це значення параметра єсереднім", необхідно ввести уточнююче висловлювання типу"Середнєзначення - цеприблизновідa доb", яке є предметом експертної оцінки (нечіткої класифікації), і тоді можна використовувати для моделювання нечітких класифікацій трапезоїдні числа.

!!!це найприродніший спосіб невпевненої класифікації.

​

​

• Унімодальнінечіткі числа (LR)-типуназиваютьтрикутними числами.

Трикутні числа формалізують висловлювання типу"приблизно одно α". Зрозуміло, щоα+σ≈α, причому в міру спаданняσ До нуля ступінь упевненості в оцінці зростає до одиниці.

Нечіткий висновок

Нечітка логіка та нейронні мережі

Нечітке (логіко-лінгвістичне) моделювання

Логіко-лінгвістичний опис систем, нечіткі моделі

L1:Якщо<a₁₁> і/або…і/або<a_1m> то<b₁₁ > і/або…і/або<b_1n> �L2:Якщо<a₂₁> і/або…і/або<a_2m> то<b₂₁> і/або…і/або <b_2n>

....................�Lk:Якщо<a_k1> і/або…і/або<a_km> то<b_k1> і/або…і/або<b_kn>

Нечіткі висловлювання типів 1 та 2

Логіко-лінгвістичні методи опису систем засновані на тому, що

поведінка досліджуваної системи описується в природному

(або близькою до природної) мови у термінах лінгвістичних змінних.

Логіко-лінгвістичний опис систем, нечіткі моделі

Сукупність імплікацій{L1, L2, ..., Lk}відображає функціональний взаємозв'язок вхідних та вихідних змінних і є основою побудови нечіткого відношенняXRY,заданого на творі XxY універсальних множин вхідних та вихідних змінних.�СтавленняRбудується як.

L1: якщо <A1 > то <B1 >�L2: якщо <A2> то <B2>

....................�Lk : якщо <Ak> то <Bk>

Нечіткі висловлювання типу 3

Система“Набір баскетболістів”

• Зростання баскетболіста

Безліч визначення –[170,236]

Безліч термів-{дуже високий,високий,середній,низький}

Лінгвістичні змінні

• Техніка гри баскетболіста

Безліч визначення –[0,100]

Безліч термів-{відмінна,дуже хороша,гарна,середня,погана}

• Впевненість прийняття до команди

Безліч визначення –[0,100]

Безліч термів-{повна,середня,мала,не беремо}

Зростання баскетболіста

Безліч визначення –[170,236]

Дуже високий

високий

середній

низький

Система“Набір баскетболістів”

Система“Набір баскетболістів”

Техніка гри баскетболіста

Безліч визначення –[0,100]

дуже гарна

відмінна

середня

гарна

погана

Система“Набір баскетболістів”

Впевненість прийняття до команди

Безліч визначення –[0,100]

повна

середня

мала

не беремо

Система“Набір баскетболістів”-Правила

Схеми нечіткого висновку

• Схема 1: Алгоритм Мамдані (Mamdani). Імплікація моделюється мінімумом, а агрегація – максимумом.
• Схема 2 Алгоритм Цукамото (Tsukamoto). Вихідні посилки – як і попереднього алгоритму, але передбачається, що функції власності є монотонними.
• Схема 3. Алгоритм Суджено (Sugeno). Алгоритм передбачає, що праві частини правил виведення представлені як лінійних функцій.
• Схема 4. Алгоритм Ларсен (Larsen). У алгоритмі Ларсена нечітка імплікація моделюється з допомогою операції множення.
• Схема 5. Спрощений алгоритм нечіткого виведення. Вихідні правила у разі задаються як:

Якщо X є Аi і Y є Bi, то z = Zi,деZi- Точне значення.

Алгоритм Мамдані

• Нехай деяка система описується такими нечіткими правилами:

П₁: якщоxєAтодіwєD,

П₂: якщоyєBтодіwєE,

П₃: якщоzєCтодіwєF,

деx,y,z- Імена вхідних змінних,w- Ім'я змінної висновку, аA,B,C,D,E,F - Задані функції приналежності (трикутної форми).

Передбачається, що вхідні змінні набули деяких конкретних (точних) значень –x₀,y₀,z₀.

​

15

Алгоритм Мамдані

• Етап 1. Для даних значень та виходячи з функцій приналежностіA,B,C, знаходяться ступеня істинностіα(x₀), α(y₀), α(z₀)для передумов кожного з трьох наведених правил.
• Етап 2. Відбувається «відсікання» функцій належності висновків правил (тобто.D,E,F) на рівняхα(x₀), α(y₀), α(z₀).
• Етап 3. Розглядаються усічені на другому етапі функції власності та проводиться їхнє об'єднання з використанням операціїmax, внаслідок чого виходить комбінована нечітка підмножина, що описується функцією приналежностіμ_∑(w)та відповідне логічному висновку для вихідної змінноїw.
• Етап 4(за потреби). Знаходиться чітке значення вихідний змінної, наприклад, із застосуванням центроїдного методу: чітке значення вихідний змінної визначається як центр тяжкості для кривоїμ_∑(w):

​

16

Алгоритм Мамдані

17

Приведення до чіткості (скаляризація)

Приведення до чіткості (скаляризація)

Алгоритм Ларсена

Завдання про керування кондиціонером

Правила:

Завдання про керування кондиціонером

Завдання про керування кондиціонером

Алгоритм Цукамото

Алгоритм Суджено та Такажі

Алгоритм спрощеного вибору

Алгоритм спрощеного вибору

• Дякую за увагу!
• Успіхів!

Нейрони та нейронні мережі

Нечітка логіка та нейронні мережі

Нейронні сіті…

- розділ штучного інтелекту, у якому обробки сигналів використовуються явища, аналогічні що у нейронах живих істот.

84

Апроксимація

Класифікація та розпізнавання образів

Прогнозування

Ідентифікація та оцінювання

Асоціативне управління

Завдання, що успішно вирішуються нейромережами

• розпізнавання зорових, слухових образів;
• асоціативний пошук інформації та створення асоціативних моделей; синтез мови; формування природної мови;
• формування моделей та різних нелінійних і важко описуваних математичних систем, прогнозування розвитку цих систем у часі:
• застосування на виробництві; прогнозування розвитку циклонів та інших природних процесів; прогнозування змін курсів валют та інших фінансових процесів;

• системи управління та регулювання з передбаченням; управління роботами, іншими складними пристроями
• різноманітні кінцеві автомати: системи масового обслуговування та комутації, телекомунікаційні системи;
• прийняття рішень та діагностика, що виключають логічний висновок; особливо у галузях, де відсутні чіткі математичні моделі: у медицині, криміналістиці, фінансовій сфері.

​

85

Сфери знань

86

Нейрокомп'ютер…

- програмно-технічна система (її також можна назвати спеціалізованою ЕОМ), яка реалізує, або, як то кажуть, забезпечує деяку формальну модель природної нейронної мережі.

87

Програмування нейрокомп'ютерів здійснюється не завданням послідовності команд, а пред'явленням зразків, прикладів вирішення завдань із потрібної області

Історія нейрокомп'ютера

88

Рівень інтересу

40-ті

60-ті

50-ті

70-ті

80-ті

90-ті

ХХIстоліття

перші спроби розробки ІІС на основі нервових клітин

концепція клітинних ансамблів Хебба (Канада)

спад через технічні складності реалізації, розвитку символьного програмування

Розенблатом і Уіндроу створено персептрон – пристрій для розпізнавання образів

1. Нові знання про мозок
2. Розвиток мікроелектроніки та КТ =>технічна база
3. Недосконалість існуючих ІВС

передумови

Публікація Хопфілда: Модель Хебба~клас фізичних систем

5000 спеціалістів,> 100компаній

серійний випуск та експлуатація заснованих на нейромережевій технології прикладних систем

1996

Міжнародні конференції з нейромереж (Neural Information Processing Systemsта ін.),

спеціалізовані журнали (Neural Networks, NeuroComputersта ін.)

Деякі відомості про мозок

• У ньому міститься близько 100 млрд. нейронів, кожен із яких має у середньому 100 тис. зв'язків.
• Надійний: функціонує при втраті(відмирання) нейронів
• Обробка великих обсягів інформації здійснюється за частки секунди, незважаючи на те, що час реакції нейрона кілька мілісекунд.

89

добре вивченаструктура та функції окремих нейронів

Є деякі даніпро організацію внутрішніх та зовнішніх зв'язків між нейронами деяких структурних утворень мозку

Мало відомощодо участі різних структур у процесах переробки інформації.

Найскладніша з відомих систем переробки інформації.

Біологічний нейрон

90

Нервовий імпульс

• - Розповсюдження збудження по аксону від тіла клітини (аксонного горбка) до закінчення аксона.
• - основна одиниця інформації, яка передається по волокну.
• … передається у вигляді стрибків потенціалу внутрішньоклітинного середовища по відношенню до зовнішнього середовища, що оточує клітину зі швидкістю від 1 до 100 м/с.

91

Рефрактерність-відсутність збудливості нервової клітини після попереднього порушення.

Період рефрактерності- мінімальний інтервал часу між нервовими імпульсами (10^-4.. 10^-3с)

Мембрана

• Міра порушення клітини = рівень поляризації її мембрани, залежить від сумарної кількості нейромедіатора (хімічної субстанції), виділеної усім синапсах.

​

92

Забезпечує проведення нервових імпульсів з волокна

Товщина мембрани близько 10 нм.

Нейроподібний елемент (НПЕ) або формальний нейрон

• Модель фізичний нейрон.

93

деx_i- Вхідні сигнали, сукупністьx_i утворює вектор Х;

w_i- вагові коефіцієнти, сукупністьw_iутворює вектор вагW;

NET- зважена сума вхідних сигналів, значенняNETпередається на нелінійний елемент;

Θ - Пороговий рівеньданого нейрона;

F- Нелінійна функція, званафункцією активації.

НПЕ складається з виваженого суматора та нелінійного елемента. Функціонування визначається формулами:

НПЕ має кілька вхідних сигналів х та один вихідний сигналOUT. Параметри НПЕ: вектор вагW, пороговий рівеньΘта вид функції активаціїF.

і

Принцип роботи НПЕ

1. На НПЕ надходить вхідний вектор X, що є вихідними сигналами інших НПЕ.

Цей вхідний сигнал відповідає сигналам, що надходять у синапси біологічних нейронів

• Кожен вхідний сигнал множиться на відповідну вагу w1, w2, ... wn – аналог ефективності сигналу.

Вага є скалярною величиною, позитивною для збудливих і негативною для зв'язків, що гальмують.

• Зважені вагами зв'язків вхідні сигнали надходять на блок підсумовування, що відповідає тілу клітини, де здійснюється їхнє алгебраїчне підсумовування та визначається рівень збудження НПЕ.
• Вихідний сигнал нейрона y визначається шляхом пропущення рівня збудження через функцію активації.

94

Види функцій активаціїF

Жорстка сходинка та полога сходинка

96

Жорстка сходинка

+ Проста;

+ Реалізація вимагає малих витрат;

• не дозволяє моделювати схеми з безперервними сигналами;
• утруднено навчання нейромереж.

Полога сходинка

+ легко розраховується;

+ Навчання утруднене.

Гіперболічний тангенс та функція Фермі

97

Гіперболічний тангенс

Логістична функція

(функція Фермі)

* застосовується для багатошарових персептронів;

+ Широкий діапазон сигналів;

+ Легке навчання.

* застосовується для мереж із безперервними сигналами;

+ Легке навчання.

Особливі функції активації

• Експонента
• SOFTMAX-функція (виходи-імовірності)
• Лінійна функція (не потрібне послідовне з'єднання шарів
• Гаусова крива (реакція НПЕ має бути максимальна для деякого значення)

​

98

Вибір функції активації

визначається…

1. специфікою завдання.
2. зручністю реалізації на ЕОМ, як електричної схеми чи іншим способом.
3. алгоритмом навчання: деякі алгоритми накладають обмеження вид функції активації, їх треба враховувати.

99

Найчастіше вид нелінійності не має принципового впливу на вирішення задачі. Проте вдалий вибір може скоротити час навчання у кілька разів

Обмеження моделі нейрона

• Обчислення виходу нейрона передбачаються миттєвими, які не вносять затримки.
• У моделі відсутні нервові імпульси.
• Немає модуляції рівня сигналу щільністю імпульсів, як у нервовій системі.
• Не з'являються ефекти синхронізації, коли накопичення нейронів обробляють інформацію синхронно, під керуванням періодичних хвиль збудження-гальмування.
• Немає чітких алгоритмів вибору функції активації.

• Немає механізмів, що регулюють роботу мережі в цілому (приклад - гормональне регулювання активності в біологічних нервових мережах).
• Надмірна формалізація понять: "поріг", "вагові коефіцієнти".
• Не підтримується різноманіття синапсів. Гальмівні та збуджуючі синапси реалізуються в даній моделі у вигляді вагових коефіцієнтів протилежного знака, але це далеко не всі види.
• У моделі не простежується різницю між градуальними потенціалами і нервовими імпульсами.

100

Нейроподібна мережа

- сукупність нейроподібних елементів, певним чином з'єднаних один з одним та із зовнішнім середовищем.

101

Вхідний вектор (який кодує вхідний вплив або образ зовнішнього середовища) подається на мережу шляхом активації вхідних нейроподібних елементів.

Безліч вихідних сигналів нейронної мережіy₁,y₂,...,y_n називаєтьсявектором вихідної активності, абопатерної активностінейронної мережі.

Особливості архітектури нейромережі

• топологія міжнейронних зв'язків;
• вибір певного підмножини НПЕ для введення та виведення інформації;
• наявність чи відсутність конкуренції;
• напрям та спосіб управління та синхронізації інформаційних потоків між нейронами

102

обумовлюють конкретний вид виконуваного мережею перетворення інформації

Штучні нейронні мережі

103

Найважливіші властивості біологічних нейромереж

• Здатність до повної обробки інформації: асоціативність (мережа може відновлювати повний образ з його частини), здатність до класифікації, узагальнення, абстрагування та багато інших.
• Надійність. Біологічні НР мають фантастичну надійність: вихід з ладу навіть 10% нейронів у нервовій системі не перериває її роботи. У порівнянні з послідовними ЕОМ, заснованими на принципах фон Неймана, де збій одного осередку пам'яті або одного вузла в апаратурі призводить до краху системи.

• Паралельність обробки інформації.
• Самоорганізація. У процесі роботи біологічні НС самостійно, під впливом довкілля, навчаються вирішенню різноманітних завдань. Невідомо жодних важливих обмежень на складність завдань, які вирішуються біологічними нейронними мережами. Нервова система сама формує алгоритми своєї діяльності, уточнюючи та ускладнюючи їх протягом життя.
• Біологічні СР є аналоговими системами

104

Відмінності між біологічними НР та ЕОМ на архітектурі фон Неймана

(С) І.В. Попова

105

Підходи до створення нейронних мереж

• Інформаційний підхід: ббайдуже, які механізми лежать в основі роботи штучних нейронних мереж, важливо лише, щоб при вирішенні завдань інформаційні процеси в СР були подібні до біологічних.
• Біологічний підхід: при моделюванні важлива повна біоподібність, і необхідно детально вивчати роботу біологічного нейрона.

Великі роботи у дослідженнях біологічних нейронних мереж належать Ендрю Хакслі, Алану Ходжкіну, Бернарду Катцу, Джону Екклзу, Стівену Куффлеру та ін.

106

Методи дослідження нейроподібних мереж

107

Категорії моделей нейронних мереж

• моделі окремих нейронів;
• моделі невеликих груп нейронів;
• моделі нейронних мереж;
• моделі розумової діяльності та мозку в цілому.

108

Види навчання нейронних мереж

109

Алгоритми навчання

110

Методи навчання МСП

111

класичний

Алгоритм зворотного

поширення помилки

Градієнтні

Евристичні методи

Виявлення градієнта

цільової функції

На основі особистого досвіду

автора у галузі навчання

нейронних мереж

Алгоритм якнайшвидшого спуску

Алгоритм змінної метрики

Алгоритм Левенберга-Марквардта

Алгоритм сполучення градієнтів

Модель МакКаллока-Пітса

112

Вихідний сигнал:

Порогова функція:

​

​

Побудова дискретної моделі обґрунтовується проявом рефракції у біологічних нейронів, що призводить до того, що нейрон може змінювати свій стан з кінцевою частотою, причому тривалість періодів бездіяльності залежить від частоти спрацьовування.

Логічні операції

Алгоритм навчання персептрона Маккалока-Піттса

Модель нейрона Хебба

115

Правило Хебба: вагаw_ij нейрона змінюється пропорційно до твору його вхідного та вихідного сигналів:

​

деη- Коефіцієнт навчання, значення якого змінюється (0,1)

Під час навчання з учителем:

Стабілізація процесу навчання:

Класифікація нейронних мереж

116

Нейронна мережа

Односпрямовані

Рекурентні

(З зворотним зв'язком)

Одношарові

Багатошарові

Кількість шарів нейронів

Спосіб об'єднання нейронів

Простий персептрон

• матриця бінарних входів (сенсорних нейронів або сітківка) r₁, r₂, ... r_n, куди подаються вхідні образи;
• набір нейроподібних елементів x₁, x₂, ... x_m, з фіксованими зв'язками до підмножин сітківки ("детектори ознак");

117

• "вирішальний елемент" - бінарний НПЕ з зв'язками, що модифікуються, з "детекторами". Зазвичай число вирішальних елементів вибирається рівною кількості класів, на яку необхідно розбити образи, що пред'являються персептрону.

Персептрон Розенблатта

118

Простий персептрон, для якого справедливі умови:

n=m та x_i= r_i,

при цьому детектори ознак можна розглядати як вхідний шар.

Персептрон Розенблатта мав один шар учнів, на входи якого подавалися сигнали з d = 512 асоціюючих нейронів з випадковими фіксованими вагами, що утворюють ознаковий простір для 400-піксельних образів

Алгоритм навчання персептрона Розенблатта

1.Вектор ваг w_iвстановлюється у довільний стан.

2.На сітківку по черзі подають образи з навчальної вибірки, які трансформуються у вихідний сигнал y вирішального елемента.

3.При правильному відгуку нічого не змінюється.

4.При неправильному відгуку y=0 ваги всіх зв'язків від активних елементів сітківки збільшують, а при неправильному відгуку y=1 – зменшують на величину.

Якщо рішення існує, воно буде досягнуто кінцевого числа кроків при початковому виборі зв'язків.

119

процедура збіжності персептрона Розенблатта

Характеристики персептрону

• Тип вхідних сигналів: бінарні чи аналогові (дійсні).
• Розмірності входу та виходу обмежені при програмній реалізації лише можливостями обчислювальної системи, на якій моделюється нейронна мережа, при апаратній реалізації – технологічними можливостями.
• Місткість мережі збігається з числом нейронів.
• Модифікації. Багатошарові персептрони дають можливість будувати складніші розділяючі поверхні і тому мають ширше застосування при вирішенні задач розпізнавання.
• Переваги. Програмні чи апаратні реалізації моделі дуже прості. Простий та швидкий алгоритм навчання.
• Недоліки. Примітивні розділяючі поверхні (гіперплощини) дають можливість вирішувати лише найпростіші завдання розпізнавання.
• Області застосування. Розпізнавання образів, класифікація.

Багатошаровий персептрон

121

• Принцип зв'язку між нейронами - "кожен з кожним".
• Кількість нейронів у шарах може бути довільним.
• Зазвичай у всіх прихованих шарах однакова кількість нейронів.
• Вхідний шар лише розподіляє сигнали.

Вихідний (результативний) шар

Сенсорний (вхідний) шар

Приховані (асоціативні) шари

мережа прямого поширення

Класифікація

Регресія (апроксимація)

Алгоритм розв'язання задач за допомогою МСП

1. Визначити, який сенс вкладається у компоненти вхідного вектора x. Вхідний вектор має містити формалізовану умову завдання, тобто. всю інформацію, необхідну отримання відповіді.
2. Вибрати вихідний вектор таким чином, щоб його компоненти містили повну відповідь поставленої задачі.
3. Вибрати вид нелінійності у нейронах (функцію активації).
4. Задати діапазон зміни входів, виходів, ваг та порогових рівнів, враховуючи безліч значень обраноїфункції активації.

5. Присвоїти початкові значення ваговим коефіцієнтам і пороговим рівням та додатковим параметрам (наприклад, крутизні функції активації, якщо вона налаштовуватиметься під час навчання).
6. Провести навчання, тобто. підібрати параметри мережі так, щоб завдання вирішувалося якнайкраще. Після закінчення навчання мережа готова вирішити завдання того типу, яким вона навчена.
7. Подати на вхід мережі умови завдання у вигляді вектора x. Розрахувати вихідний вектор, який і дасть формалізоване рішення задачі.

124

Алгоритм зворотного розповсюдження помилки

125

Основа методу – цільова функція, що формулюється у вигляді квадратичної суми різниць між фактичними та очікуваними значеннями вихідних сигналів.

У разі одиничної одинарної вибірки(x,d) цільова функція визначається у вигляді:

При великій кількості навчальних вибірокj(j=1,2,..p) цільова функція перетворюється на суму за всіма вибірками:

Error backpropagation

Етапи виконання алгоритму зворотного розповсюдження помилки

1. Аналіз нейронної мережі у напрямі передачі при генерації вхідних сигналів, складових черговий вектор Х.
2. Створення мережі зворотного розповсюдження помилок
3. Уточнення ваг
4. Описаний у п. 1, 2 і 3 процес слід повторити всім навчальних вибірок.

.

126

До 1розраховуються значення вихідних сигналів нейронів прихованих шарів та вихідного шару, а також відповідні похідні функції активації кожного шару.

​

​

До 2.шляхом зміни напрямів передачі сигналів, заміна функцій активації їх похідними та подача на колишній вихід збудження у вигляді різниці між фактичним та очікуваним значенням.Для певної у такий спосіб мережі необхідно розрахувати значення необхідних зворотних різниць.

До 3.за формулами на основі результатів, отриманих у п. 1 і 2, для оригінальної мережі та для мережі зворотного розповсюдження помилки

До 4.Дія алгоритму завершується в момент, коли норма градієнта впаде нижче апріорі заданого значення точності навчаннятобто.

Порівняння градієнтних методів навчання

127

Перенавчання нейромережі

обрана випадковим чином функція дає погані передбачення на нових прикладах, які були відсутні в навчальній вибірці, хоча останню мережу відтворила без помилок.

Замість узагальнити відомі приклади, мережа запам'ятала їх

128

У

Нейросітка з нульовою

помилкою навчання

Функція-вчитель, що породжує навчальні приклади,N<∞

Проблема: недостатньо інформації, щоб вибрати правильне рішення : функцію-вчителя.

⇒

Багатошаровий персептрон

Боротьба з перенавчанням

• Підходи:
• рання зупинка навчання;
• проріджування зв'язків (метод від великого - до малого);
• поетапне нарощування мережі (від малого – до великого).

135

Поділ даних нанавчальнеівалідаційнебезлічі прикладів

у момент мінімумупомилки валідації. При цьому зазвичайпомилка навчанняпродовжує знижуватися

скоротити різноманітність можливих конфігурацій навчених нейромереж при мінімальній втраті їх апроксимуючих здібностей

додавання проміжних нейронів з фіксованою вагою

Мережа Хопфілда

136

• вихідні сигнали нейронів є одночасно вхідними сигналами мережі, при цьому збудливий вектор особливо не виділяється.
• відсутній зв'язок нейрона з власним виходом

Вихідний сигналi-го нейрону:

деb_i- граничне значення, задане зовнішнім джерелом,N– кількість нейронів.

Вирішення задач за допомогою мереж Хопфілда

1. Побудувати функцію енергії в такий спосіб, щоб точка глобального мінімуму цієї функції збігалася з розв'язанням задачі. При цьому градієнт функції енергії повинен допускати обчислення за допомогою НР.
2. Записати формули для розрахунку параметрів мережі (вагових коефіцієнтів та порогових рівнів) для розрахунку градієнта функції енергії.
3. Розірвати ланцюжок зворотного зв'язку та пред'явити мережі вхідний вектор. Розрахувати значення виходів.
4. Замкнути зворотний зв'язок та надати мережі можливість самостійно змінювати свій стан (релаксація). Зупинити процес релаксації по тому, як вихідний вектор перестане змінюватися, тобто. після досягнення мінімуму функції енергії. Отримані виходи мережі дають вирішення задачі.

137

Режим навчання мережі Хопфілда

Фаза навчання орієнтована формування таких значень терезів, за яких у режимі функціонування завдання початкового стану нейронів, близького до одного з навчальних векторівх, придотримання залежності

​

​

призводить до стабільного стану, в якому реакція нейроніву = хзалишається незмінною будь-якої миті часу.

138

Така форма передбачає одноразове пред'явлення всіхрнавчальних вибірок, внаслідок чого матриця ваги мережі приймає фіксоване значення.

Нехай при правильно підібраних вагах кожна подана на вхід вибіркахгенерує на виході саму себе, миттєво призводячи до стану:

Тоді рішення в результаті всіх перетворень набуде вигляду:

при

Режим розпізнавання мережі Хопфілда

139

Навчання

Тестування

Зразки – 10 цифр, представлених у піксельній формі розмірністю 7x7.

⇒кількість нейронів мережі Хопфілда становить 49, а кількість навчальних вибірок – 10.

Навчання з Хеббу: безпомилково розпізнанийодинобраз.

​

Навчання за методом проекцій: майже безпомилково розпізнанийкоженіз запам'ятаних образів.

Властивості сучасних нейромереж

• Навчання. Вибравши одну з моделей СР, створивши мережу та виконавши алгоритм навчання, ми можемо навчити мережу розв'язання задачі, яка їй під силу. Немає жодних гарантій, що це вдасться зробити при вибраних мережі, алгоритмі та задачі, але якщо все зроблено правильно, то навчання буває успішним.
• Здатність до узагальнення. Після навчання мережа стає нечутливою до малих змін вхідних сигналів (шуму або варіація вхідних образів) і дає правильний результат на виході.
• Здатність до абстрагування. Якщо пред'явити мережі кілька спотворених варіантів вхідного образу, мережа сама може створити на виході ідеальний образ, з яким вона ніколи не зустрічалася.

140

Відмінність експертних та НС систем за характером знань