2 of 44

Зміст лекції № 1

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Вступ.
Історія розвитку людино-комп’ютерної взаємодії.
Що таке природньо-інтуєтивна взаємодія ?
Технічне забезпечення.
Модулі опрацювання даних, вводу/виводу.
Висновки.
Контрольні запитання.

Історія розвитку людино-машинної взаємодії

3 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ (HМI, HUMAN-MACHINE INTERACTION) – це дисципліна, яка має діло з проектуванням, оцінкою та реалізацією інтерактивних обчислювальних систем для використання людиною, а також із дослідженнями основних явищ, пов'язаних з цим питаннями.

4 of 44

Вступ

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Електронно-вимірювальні машини зайняли місце поряд з людиною в середині XX віку, і з часом така взаємодія тільки збільшувалась.
На зорі розвитку електронно-вимірювальної техніки спілкування з комп’ютером здійснювали тільки обмежена кількість людей.
Розробники старались зробити взаємодію з обчислювальними пристроями як можна більш природнім для людини. Проте розвиток цього напрямку стримувався недостатнім технологічним рівнем.
В останній час гуманізації користувацьких інтерфейсів намітились значні успіхи. До прикладу, поява сенсорних екранів та функцій багаторазових дотиків дозволяють взаємодіяти з електронними гаджетами на інтуїтивному рівні.

5 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Середина XX вік - перші електронно-вимірювальні машини були орієнтовані на виконання складних розрахунків і на взаємодію із спеціалістами.

Взаємодія людини і ЕОМ ENIAC

6 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

ENIAC (Electronic Numerical Integrator And Calculator) проект 1943-46 рр. під керівництвом Дж. Моучлі и Дж. Эккера (Пенсільванський університет). Група розробників – 200 чол. Мета – автоматизація розрахунків для розробки балістичних таблиць різних видів зброї (замовлення балістичної дослідної лабораторії Армії США). Вага 30 тон 18 тисяч радіоламп, 10 тисяч конденсаторів, 6 тисяч перемикачів, 500 тисяч паяних з’єднань.

Потужність 150 кіловат (~1000 TV) Площа 150 м²Швидкість 5000 операцій. В середньому 1 лампа замінялась через 20 годин

7 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Із історії розвитку ЕОМ

8 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Із історії розвитку ЕОМ

Пристрій зчитування перфолент ЕОМ Mark I

(From Harvard University Cruft Photo Laboratory)

9 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Із історії розвитку ЕОМ

10 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

1960 рік - Дж.К.Р. Ликлайдер (J.R. Licklider) висунув ідею «симбіозу людини і комп’ютера» – об’єднання людського інтелекту та обчислювальної техніки для управління інформацією. Були запропоно-вані проміжні цілі, досягнення яких передбачало реалізацію даної ідеї.

11 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Коротко термінові цілі	Средньо термінові цілі	Довго термінові цілі
Розподіл часу комп’ютера між користувачами; Електронний ввід/вивід символьної і графічної інформації; Інтерактивні системи реального часу для опрацювання інформації і програмування; Велико маштабні системи зберігання та пошуку інформації.	Координація обєднання розробників для проектування та програмування великих систем; Здатність ЕОМ розпізнавати мову оператора; Здатність ЕОМ розпізнавати рукописні тексти; Можливість використання світлового пера, в якості пристрою вводу координат та указки (світлове перо – світлочутли-вий пристрій).	озуміння ЕОМ природньої мови; Здатність ЕОМ розрізняти мову довільного користувача; Еврістичне програмування.

12 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

1963 год - Айвен Сазерленд (Ivan Sutherland) розробив SketchPad – графічний комплекс, прообраз майбутніх САПР, який дав значний вклад на формування базових принципів графічних корис-тувацьких інтерфійсів.

13 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Середина 60-х років - командою Дугласа Энгельбарта було розроблено середовище NLS (oN-LineSystem), яке включало в себе:

Принципово нову операційну систему;
Універсальну мову програмування;
Електрону пошту;
Розподілені екрани телеконференцій;
Систему контекстної допомоги;
Представлений прототип

WIMP-интерфейса (windows, icons, menus, pointers).

14 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Як додатковий ефект проекта NLS був винахід перший маніпулятор типу миші.

Перша комп'ютерна мишка (1964 рік)

15 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

В 1969 році амереканський математик Алан Кей розро-бив принцип створення пер-сонального комп’ютера.

З 1971 року Алан Кей зай-мався теоретичною розроб-кою прототипа персональ-ного комп’ютера, під назвою Dynabook.

16 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Концепція Dynabook описувала те, що зараз відомо як ноутбук,

або планшетний ПК.

17 of 44

Історія розвитку людино-комп’ютерної взаємодії

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Незважаючи на те, що графічний інтерфейс був описаний ще на початку 70-х років, у реальності взаємодія користувача з ЕОМ забезпечувалась за рахунок інтерфейсу командної стрічки (CLI, Command Line Interface).

До кінця 70-х років накопичились технології, які дозволяли реалізувати ергономічне проектування обчислювальної техніки. При створені персональних комп’ютерів враховували зручність користувачів.

18 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Еволюція пристроїв вводу/виводу

	Пристрої виводу	Пристрої виводу
На зорі обчислювальної техніки	- перемикачі та гнучкі кабелі із штекерами; - перфолента та перфокарта; - клавіатура.	- екран дисплея; - телетайп; - прінтери.
Недавне минуле	- клавіатура; - світлове перо; - джойстик; - мишь; - мікрофон;	- прокручуючий “скляний телетайп”; - текстовий термінал; - аудіо.
Наші дні	- цифрові рукавички та костюми; - природні мови; - інтерактивна камера.	- аналоговий дисплей; - глобальні обчислення; - автономні агенти.
Найближче майбутне	???	???

19 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Природньо-інтуїтивна взаємодія

Природньо-інтуїтивна взаємодія - це еволюція в області взаємодії з комп’ютером через природні для людини способи та інтерфейси.
Це не просто заміна вводу з клавіатури або тачскріна, це новий досвід із взаємодії з обчислювальної техніки.
На даний момент у нас є достатньо обчислювальних потужностей для того, щоб пояснити комп’ютеру те чого хоче від нього користувач і заставити його передбачати наміри користувача.

20 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Технічне забезпечення

Значна кількість інженерних задач може бути вирішено за допомогою:

- інтеграції нових удосконалених датчиків в персональні комп’ютери, ультрабуки, планшети та смартфони;

- стандартизованість та мініатюризація датчиків;

- камери, здатні оцінити глибину;

- мікрофонів, які визначають направленість звука;

- тачпадів, чутливих до надавлювання.

21 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів;
Модуль розпізнавання обличчя;
Модуль голосового управління;
Модуль відстежування двовимірних і тривимірних об’єктів;

Модулі опрацювання даних, вводу/виводу

22 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Відстежування позицій пальців на руці (7 точок):

Кінцівки пальців;
Центр долоні;
Максимально видима точка, яка знаходиться біля ліктя.

23 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Розпізнавання стандартних жестів:

Великий палец верх;
Великий палець вниз;
Символ V (перемога).
Розкрита долоня.

Розпізнання динамічних жестів:

помах руки вліво, вправо, верх, вниз, колові рухи, помахи рукою.

24 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні вказівники великим пальцем

Великий палець вверх

Великий палець вниз

25 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні вказівники пальцями

Знак перемоги

Велика п’ятірка

26 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

«Захоплення» і «Відміна» - Перед початком виконання цього жесту користувач повинен прийняти відповідне положення, у якій його великий палець та інші пальці розімкнені, наступним жестом усі пальці об'єднують разом. Зворотня дія – розведення пальців у різні сторони відпускає об’єкт.

27 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

«Рух» - Після захвату об’єкта користувач переміщує руку для переміщення об’єкта.

28 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

«Панорамування» виконується тільки повністю прямою долонею. Рух прямою долонею панорамує об’єкт, проте як тільки долоня приймає розслаблення або скрученість панорамування зупиняється.

29 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

«Масштабування» виконується за рахунок зміни відстаней між двома долонями. Масштабування вимагає дії, яка здійснить зміну масштабу, у іншому випадку користувач не зможе завершити команду зміни масштабу.

30 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

«Похитування» - При цьому жесті, користувач швидко махає рукою. Даний жест використовується для відміни, вихід із режиму, або для переміщення у верх по ієрархії меню.

31 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

«Коло» - Жест коло виконується тоді, коли користувач об’єднує усі пальці та рухає рукою по колу.

32 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

Для багатьох жестів число пальців які приймають участь у жесті не має значення.

33 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання жестів

Модуль опрацювання даних, вводу/виводу

Основні жести для розпізнавання

Для багатьох жестів число пальців які приймають участь у жесті не має значення.

34 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання обличчя

Модуль опрацювання даних, вводу/виводу

Модуль дозволяє одержати велику кількість інформації про розпізнане обличчя (7 точок на обличчі):

Кутики очей;
Кутики рота;
Кінчик носу.

35 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль розпізнавання обличчя

Модуль опрацювання даних, вводу/виводу

Модуль дозволяє отримати деяку аналітичну інформацію про розпізнане обличчя:

Вікова група обличь, які присутні на картинці (дитина, похила людина);
Стать;
Підморгування;
Посмішка.

Ще одна корисна властивість цього модуля є у тому, що він може знаходити положення обличчя.

36 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль голосового управління

Модуль опрацювання даних, вводу/виводу

Модуль має наступну функціональність:

Реалізація голосових меню;
Надиктовування;
Синтез мови.

На даний момент доступний лише англійський словник. Інші мови будуть добавлені по мірі співпраці з розробниками голосового движка.

На сьогодні для реалізації голосового управління використовується голосовий двигун Nuance Dragon Assistant. Сподіваюсь, що український або російський словник також будуть доступні.

37 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Модуль відслідковування двовимірних й тривимірних об’єктів

Модуль опрацювання даних, вводу/виводу

Функціонал даного модуля дозволяє відслідковувати плоскі двовимірні об’єкти. Достатньо створити модель об'єкта на комп’ютері та відслідковувати його.

В результаті будуть одержані:

Параметри позиції об’єкта;
Кут нахилу і т.д.

Також підтримується відслідковування тривимірних об’єктів, які задаються у вигляді моделі (.obj файла).

38 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Область використання та приклади ужитків

Модуль опрацювання даних, вводу/виводу

Розпізнавання пальців на руках; \

- Моделювання систем захоплення будь-якого тривимірного віртуаль-ного об’єкта;

- Переміщення об’єкта;

- Показ даного об’єкта.

«Желізна людина»

режисер Джон Фавро

39 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Область використання та приклади ужитків

Модуль опрацювання даних, вводу/виводу

Розпізнавання руху рук або жестів може бути інтерпретовано комп’ютером та використано для взаємодії. Можуть бути реалізовані такі жести, як перелистування у різних напрямках (до прикладу, переключити треки в плейлісті або перелистувати сторінки книги.

40 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Область використання та приклади ужитків

Модуль опрацювання даних, вводу/виводу

Функції розпізнавання обличчя та реперних точок обличчя дає можливість визначити, де знаходяться очі, ніс або уста. Присутня функція розпізнавання підморгування, посмішки, розпізнавання статі та вікової групи.

41 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Область використання та приклади ужитків

Модуль опрацювання даних, вводу/виводу

Проста ідентифікація особистості (обличчя-логін).

Комбінація параметрів обличчя, голосу й жестів для більш детальної ідентифікації особис-тості.

42 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Висновок

Реалізація функцій природньо-інтуїтивної взаємодії у інтерактивних програмних ужитках дозволить:

Відображати реальність, а не створювати ілюзію реальності;
Дійсно, а не абстрактно відображати об’єкти реального світу;
Створювати програмні ужитки інтуїтивно зрозумілими;
Створювати надійні ужитки;
Розширювати функціонал інтерактивних ужитків.
Новий підхід до управління в іграх;
Ідентифікація особистості в системах безпеки;
Сегментація об’єктів переднього та заднього плану;
Розпізнавання трьох мірних об’єктів реального світу та комбінування їх з інтерактивним контентом.

43 of 44

ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ

human-machine interaction

Питання для контролю якості знань

1. Що включає в себе термін ЛЮДИНО-МАШИННА ВЗАЄМОДІЯ?

2. Перерахуйте основні засоби людино-машинного інтерфейсу.

3. Де використовуються сенсорні дисплеї?

4. Які види клавіатур Ви знаєте?

5. Перерахуйте сфери використання трекболів, джойстиків та маніпуляторів типу «мишка».

6. В чому є принцип роботи шолома віртуальної реальності?

7. Чи наявні принципово нові, інноваційні розробки в області створення засобів людино-машинного інтерфейсу? Дайте характеристику цим інноваційним розробкам.

8. Чи на даний час існують ефективні системи розпізнавання мови? У чому недоліки систем розпізнавання мови?

1 of 44

2 of 44

3 of 44

4 of 44

5 of 44

6 of 44

7 of 44

8 of 44

9 of 44

10 of 44

11 of 44

12 of 44

13 of 44

14 of 44

15 of 44

16 of 44

17 of 44

18 of 44

19 of 44

20 of 44

21 of 44

22 of 44

23 of 44

24 of 44

25 of 44

26 of 44

27 of 44

28 of 44

29 of 44

30 of 44

31 of 44

32 of 44

33 of 44

34 of 44

35 of 44

36 of 44

37 of 44

38 of 44

39 of 44

40 of 44

41 of 44

42 of 44

43 of 44

44 of 44