1
Інститут проблем реєстрації інформації Національної академії наук України
ТЕМА: «ДОСЛІДИТИ ТА РОЗРОБИТИ ТЕХНОЛОГІЇ КОМП’ЮТЕРНОГО МОДЕЛЮВАННЯ СИСТЕМ КЕРУВАННЯ ЗНАННЯМИ ПРИ ПРОВЕДЕННІ АНАЛІТИЧНОЇ ДІЯЛЬНОСТІ»
ШИФР ТЕМИ - «УЗОР – 2014»
СТРОКИ - 01.2014 – 12.2018
НАУКОВИЙ КЕРІВНИК РОБОТИ -
Додонов Олександр Георгійович, засл. діяч науки і техніки України,
д.т.н., професор, заступник директора ІПРІ НАН України
2
Інститут проблем реєстрації інформації Національної академії наук України
Напрями досліджень 2017 року
Дослідження і розробка технології моделювання аналітичної діяльності з використанням сценарно-цільового підходу і систем керування знаннями з можливістю обробки стратегічно великих масивів даних (Big Data)
Дослідження і розробка технології формування комп‘ютерного середовища для моделювання аналітичної діяльності із системою керування знаннями
Підготовка проміжного річного звіту
Метою науково-дослідної роботи є дослідження та розробка технологій комп‘ютерного моделювання систем керування знаннями при проведенні аналітичної діяльності, у тому числі з обробкою стратегічно великих масивів даних (Big Data), розробка методології побудови системи керування знаннями при проведенні аналітичної діяльності.
Мета роботи
3
Інститут проблем реєстрації інформації Національної академії наук України
І етап – 2014 рік
Визначення підходів до виділення й класифікації знань для проведення аналітичної діяльності, основних джерел знань та методів доступу до них, сучасних методів та засобів формального опису знань
Етапи виконання
ІІ етап – 2015 рік
Аналіз та дослідження методів оцінки достовірності знань, визначення параметрів для оцінки актуальності знань і методів їх актуалізації, методів розширеного пошуку знань для виконання аналітичної діяльності
ІІІ етап – 2016 рік
Дослідження і розробка методів побудови концептуально-логічних моделей баз знань для виконання аналітичної діяльності, методів побудови моделей систем керування знаннями,
як ряду стратегій і методів, що використовуються для отримання, опису, представлення, розповсюдження і використання знань та досвіду
ІV етап – 2017 рік
Дослідження і розробка технології моделювання аналітичної діяльності з використанням сценарно-цільового підходу і систем керування знаннями з можливістю обробки стратегічно великих масивів даних (Big Data), технології формування комп‘ютерного середовища для моделювання аналітичної діяльності із системою керування знаннями
V етап – 2018 рік
Дослідження методів і розробка технології адміністрування і управління системою керування знаннями при реалізації сценаріїв аналітичної діяльності, розробка методології побудови системи керування знаннями на основі технологій комп‘ютерного моделювання
4
Інститут проблем реєстрації інформації Національної академії наук України
Класифікація знань
Знання
емпіричні – спостереження, явища
теоретичні – закони, теорії, абстракції, узагальнення
особисті – знання пізнавального характеру (знаю, що)
прикладна майстерність (знаю, як)
системне уявлення (знаю, чому)
особиста мотивація творчості (хочу знати, чому)
організаційні – стратегічні доктрини і програми, теоретичні знання конкретної сфери діяльності,
технологічні і виробничі стандарти, правила і інструкції, комерційні знання
неявні – досвід, майстерність, культура мислення, інтуїція, здатність людини до адаптації
явні – опис теорій, методів, методик, технологій, механізмів і машин, конструкцій, систем і т.д.,
що зберігаються на фізичних носіях (книги, паперові документи, малюнки, схеми, фільми,
аудіо та відеозаписи, електронні файли, бази даних)
необхідна для фахівців сукупність даних, яка використовується за певними правилами з урахуванням професійного ставлення, відношення фахівців до цієї інформації для надання допомоги в прийнятті рішень
Європейська Концепція по керуванню знаннями [European Guide to good Practice in Knowledge Management, Part1] 2002
Знання
5
Інститут проблем реєстрації інформації Національної академії наук України
Основні джерела і форми представлення знань
Знання у пам‘яті людини, як результат мислення і попереднього досвіду (неформалізовані знання)
Знання у явному вигляді – зафіксовані за допомогою знакових систем (книги, написані на природній мові)
Поле знань – структурований опис основних понять і об‘єктів предметної області, їх атрибутів і зв‘язків між ними (структуровані знання)
Формалізовані знання - зафіксовані на мовах представлення знань (продукційні мови, семантичні мережі, фрейми, дескриптивна логіка)
БД 2
БД
БЗ
Бази знань – машинні носії в комп’ютерних системах
6
Інститут проблем реєстрації інформації Національної академії наук України
ОСНОВНІ ВИЗНАЧЕННЯ
ДАНІ → ІНФОРМАЦІЯ → ЗНАННЯ
ДАНІ масиви незв'язних різнорідних територіально-розподілених даних фактичного характеру, що описують об’єкти, процеси або явища предметної області, а також їхні властивості по, яким можна лише виконувати елементарний пошук
ІНФОРМАЦІЯ попередньо оброблені та узагальнені дані, класифіковані за певною ознакою, що становлять інтерес для фахівців при проведенні аналітичної діяльності у визначеній ПрО. Отримання інформації з даних виконується із застосуванням методів аналітичної обробки, узагальнення, групування, математичних моделей і методів, методів класифікації, структуризації і систематизації, аналітичної обробки даних, узагальнення
ЗНАННЯ сукупність даних та про об'єкт, що включають інформацію про властивості об'єктів, закономірності процесів і явищ, а також правила використання цієї інформації для прийняття та ухвалення рішень
БАЗА ЗНАНЬ — це сукупність відомостей про реальні об'єкти, процеси, події або явища, що відносяться до певної предметної області та організовані таким чином, щоб забезпечити зручне представлення цієї сукупності, яка представляє цінність для фахівців
МОДЕЛЬ ПРЕДМЕТНОЇ ОБЛАСТІ – складається з переліку взаємопов'язаних понять, що використовуються для опису цієї області, разом з властивостями й характеристиками, класифікацією цих понять, за типами, ситуацій, ознаками в даній області і законів протікання процесів в ній.
АНАЛІТИЧНА ДІЯЛЬНІСТЬ – сукупність процесів (збір, пошук, аналіз інформації та знань), які сприяють появи нових знань та спрямовані на обґрунтування рішень у різних сферах
7
Інститут проблем реєстрації інформації Національної академії наук України
Факти, відомості ЗМІ, мультимедійні дані
Сховища
документів
Бази даних
ДАНІ
Результат аналізу: узагальнення, групування, класифікація, структурування та систематизація даних о подіях, процесах, явищах, які спостерігаються в предметної області
Обробка «сирих» даних з використанням математичних та інформаційних методів і моделей
Знання як продукт осмислення аналітиком попередньо обробленої інформації
Знання, отримані на підставі логічного виведення із застосуванням онтології
Семантична обробка інформації, включаючи онтологічні моделі
Засоби комп’ютерного моделювання сценаріїв аналітичної діяльності
ІНФОРМАЦІЯ
ЗНАННЯ
Дані Інформація Знання
8
Методологія аналітичної діяльності
9
Інститут проблем реєстрації інформації Національної академії наук України
Результат інформаційно-аналітичної діяльності
Інформаційні документи
Аналітичні документи
Мультимедійні документи
10
Інститут проблем реєстрації інформації Національної академії наук України
Управління знаннями
Управління знаннями в організації для здійснення аналітичної діяльності
Аналіз потреб організації в знаннях
Ідентифікація та формалізація знань
Виявлення базових знань
Визначення рівня компетенції прерсоналу
Етапи циклу управління знаннями
Експертна оцінка персоналу
Отримання знань
Систематизація та документування знань
Визначення джерел знань
Добір нових відомостей
Отримання нових знань
Класифікація знань
Зовнішні
Внутрішні
Теоретичні
Практичні
Кодифікація знань
Розподіл знань по напрямах за доменами мережі
Розробка навчальних програм
Управління доступом до знань
Документа
ція
Внутрішні
Зовнішні
URI 1I
Зовнішні
Внутрішні
Використання та
продаж знань
Створення сприятливих організаційних умов для використання знань
Активне використання знань
Продаж знань
URI 2I
URI nI
Технологічна підтримка та обмін знань
Забезпечення доступу працівників до знань організації
Застосування ІТ для передачі та поширення знань
Обслуговування та розвиток знань
Застосування ІТ для групової взаємодії працівників із знаннями
Навчання працівників
та засвоєння знань
Виявлення нових знань
Оновлення нових знань
Наявні
Нові
Оновлені
Інтеграція накопичених знань
Внутрішні засоби
Зовнішні засоби
Внутрішні засоби
Зовнішні засоби
11
Інститут проблем реєстрації інформації Національної академії наук України
Головні завдання та інформаційні технології підтримки системи управління знаннями
12
Інститут проблем реєстрації інформації Національної академії наук України
Класифікація моделей формального опису знань
Моделі знань
Логічні моделі
Числення висловів
Числення предикатів
Продукційні моделі, засновані на правилах
Фреймові моделі знань
Мережеві моделі знань
Нейронні моделі
Онтологічні моделі
Об’єктно-орієнтовані моделі знань
Спеціальні моделі знань
Комплексні (інтегровані) моделі знань
13
Інститут проблем реєстрації інформації Національної академії наук України
Звдання продукційних правил
Інформаційні ресурси ПрО
Інтегрована модель подання знань для аналітичній системи
При створенні аналітичних систем, які дотримуються парадигмі ДАНІ → ІНФОРМАЦІЯ → ЗНАННЯ, виникає необхідність в об’єднанні різних методів опису знань, оскільки жодний окремий метод не може забезпечити в повному обсязі опис моделі знань реальній аналітичній системи
14
Інститут проблем реєстрації інформації Національної академії наук України
Критерії ефективності моделі знань
| Критерій | Опис | Засіб оцінки |
| Виразні потужності моделі знань | Понятійний апарат для опису предметної області має бути сприйматися розробником | Оцінка повноти відображення семантики предметної області експертом з використанням візуальних та графічних засобів (об’єкт – зв'язок – властивість) |
| Модернізація знань на етапах життєвого циклу | Процедури та інструментальні засоби модернізації знань | Можливість внесення нових понять на всіх етапах життєвого циклу |
| Рівень структуризації знань | Пристосованість моделі знань до подальшого опрацювання методами та засобами штучного інтелекту | Оцінка пристосованості моделі знань за рахунок формування запитів з використанням різних механізмів логічного виводу та аналізу отриманих відповідей |
| Нотаційна адекватність знань | Визначає відповідність подання знань моделі сприйняття знань людиною | Оцінка нотаційної адекватності знань здійснюється експертом за результатами отримання запитів до бази знань |
| Семантична зв’язність
| Визначає семантичний зв'язок між інформаційними об’єктами предметної області | Оцінка правильності зв’язків між інформаційними одиницями моделі бази даних типу: причина – наслідок |
| Семантична метрика | На множини інформаційних одиниць, вводяться деякі шкали, що дозволяють оцінити їхню семантичну близькість понять | Оцінка якості семантичної близькості понять здійснюється експертом методом формування запитів з використанням різних механізмів логічного виводу та дозволяє знаходити в інформаційній базі знання, близькі до вже знайденого |
15
Інститут проблем реєстрації інформації Національної академії наук України
Методологія семантичного моделювання бази знань аналітичній системи
16
Інститут проблем реєстрації інформації Національної академії наук України
Технологія побудови моделі прикладної онтології предметної області
17
Інститут проблем реєстрації інформації Національної академії наук України
Технологія моделювання аналітичної діяльності (експертних систем) на основі нечіткої отології та прецедентів
18
За
Інститут проблем реєстрації інформації Національної академії наук України
Мови та інструментальні засоби формального опису знань
XML – eXtensible Markup Language – розширювана мова розмітки, яка призначена для опису ієрархічної структури інформації за допомогою лінійного синтаксису. Моделлю даних є ієрархія (дерево)
RDF – Resource Description Framework - мова структури опису ресурсів (документів, користувачів тощо). Моделлю даних цієї мови є орієнтований граф, який відповідає моделі подання знань як багатовимірної мережі понять і відносин між ними
RDFS – RDF Vocabulary Description Language, RDF Schema – мова опису RDF, призначена для запису метаданих на мові RDF. Використовується для опису словників понять і відносин (властивостей)
OWL – Ontology Web Language - мова Web-онтологій, заснована на дескриптивній логікі SPARQL – Protocol and RDF Query Language — мова запитів, представлених моделлю RDF, та протокол для передачі цих запитів і відповідей на них
SWRL – Semantic Web Rule Language – мова для висловлювання правил онтології, а також логіки, поєднуючи мови OWL DL або OWL Lite
Protégé – візуальний редактор для створення та редагування онтології
Neo4j – графічна база даних. Реалізована з використанням Java машини. Зберігає дані у вигляді графів
Gephi – набір інструментальних засобів для візуалізації та аналізу баз даних, представлених у вигляді графів (в тому числі й Big Data) відкрита платформа
19
Інститут проблем реєстрації інформації Національної академії наук України
Редактор онтології Protégé 5
20
Інститут проблем реєстрації інформації Національної академії наук України
Приклад побудови моделі онтології для МК КСУ КС
21
Інститут проблем реєстрації інформації Національної академії наук України
Оцінка ефективності систем управління знаннями
22
Інститут проблем реєстрації інформації Національної академії наук України
Методи оцінки достовірності знань
Достовірність інформації – властивість інформації, яка визначає ступінь об'єктивного, точного відображення подій, фактів, що мали місце
Процес отримання достовірної інформації - складний аналітичний процес, що залежить від багатьох факторів. Неможливо дати універсальну методологію, що може бути застосована у загальному виді для будь-якої ПрО
Релевантність - семантична відповідність пошукового запиту і пошукового образу документа
TF-IDF- term frequency - inverse document frequency - метод оцінки релевантності визначає таблицю статичних показників, що використовується для оцінки важливості слів у контексті документу. Значимість слова пропорційна кількості вживань цього слова у документі
Показник TF-IDF використовується в задачах аналізу текстів та інформаційного пошуку. Його застосовують як один з критеріїв релевантності документу до пошукового запиту
23
Інститут проблем реєстрації інформації Національної академії наук України
Порівняльний аналіз мов запитів до бази знань за критерієм зручності
Мова запитів SPARQL
Мова запитів DL-Query
SPARQL-запит з FILTER (?Noise_emission > 60 db) має такий вигляд:
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX owl: <http://www.w3.org/2002/07/owl#>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>
SELECT ?Hydroacoustic_object ?Noise_emission
WHERE {
? Hydroacoustic_object: Helicopter ;
rdfs:label ? Hydroacoustic_object;
prop: Noise_emissionEstimate ? Noise_emission.
FILTER (?Noise_emission > 60 db) .
Інтелектуальний інтерфейс формування запиту
24
Інститут проблем реєстрації інформації Національної академії наук України
Метод побудови концептуально-логічних моделей баз знань, заснованих на прецедентах
24
Інститут проблем реєстрації інформації Національної академії наук України
Багаторівнева архітектура системи управління знаннями на основі онтології
Документи організації
Реляційні дані
HTML дані
Зовнішні
Бази знань
Рівень Даних організації
Рівень конвертації/
перетворення даних
Витяг текстової інформації
Web – сервіс
Web – сервіс
Web – сервіс
Web – сервіс
Аналітичні
застосунки
Рівень онтології
(включаючи n – доменні)
SPARQL запрос
SPARQL запрос
SPARQL запит
SPARQL запит
Інтелектуальний інтерфейс Користувача
Linked Data
Linked Data
Конвертор реляційних даних в RDF
Конвертор моделей знань в RDF
25
25
Інститут проблем реєстрації інформації Національної академії наук України
Загальний сценарій аналітичної діяльності на базі онтологічного підходу
Онтологічна модель ПрО – система взаємопов'язаних понять, відношень, властивостей, обмежень,
правил виводу
База знань на основі онтології
Редактор онтології
Формування моделі ПрО на мові OWL 2
Завдання основних аксіом та правил формування бази знань ПрО
Машини логічного виводу
Формування запитів на базі типових сценаріїв
Big Data
Запит до системи
Отримані
Знання
Конвертори для перетворення та пошуку даних відповідно до онтологічної моделі ПрО
Excel
HTML
Driver DB
26
Інститут проблем реєстрації інформації Національної академії наук України
Сценарій аналітичної діяльності на основі нечіткої отології та прецедентів
БД прецедентів
Формування моделі нечітких прецедентів
(Fuzzy OWL)
Вхідні дані для аналізу
Онтологія ПрО в OWL-форматі
Обов'язкові класи
CB_CASE
CBR_DESCRIPTION
CBR_INDEX
Формування умов запиту (прецеденту) для аналізу
вхідних даних
Розрахунок функції наближення даних умовам запиту
(прецеденту)
Оцінка відповідності знайденого рішення умовам запиту
Запис знайденого рішення в БД прецедентів
Формування нових умов запиту для аналізу
Не відповідає
Відповідає
27
Інститут проблем реєстрації інформації Національної академії наук України
Сценарій аналізу багатовимірних даних
1) Визначення (вибір) учасників виконання сценарію
2) Визначення основних кроків сценарію, умов і подій, що задіяні в процесі виконання сценарію
3) Формування САД як взаємопов’язаних елементів сценарію від початкового елемента до кінцевого
4) Прив’язки елементів сценарію у вигляді функцій/процедур обробки даних
5) Реалізації необхідних для сценарію але відсутніх функцій/процедур
6) Перевірки сумісності, повноти та наявності реалізації всіх елементів САД
7) Збереження опису сценарію у БД сценаріїв, з можливістю їхнього пошуку, корекції та повторного виконання
Приклад сценарію аналізу великих даних держбюджету
28
Інститут проблем реєстрації інформації Національної академії наук України
UsTask1
UsTask2
UsTask3
UsTask5
UsTaski
WebS1
WebS2
WebS3
WebSn-1
WebSn
Множина Web–сервісів, залучаємих для реалізації загального сценарію
Загальний сценарій вирішення завдання аналітика
UsTask4
Виклик Web–сервісу
Результат виконання Web–сервісу
Формування сценаріїв роботи аналітика в Web-середовищі на основі наявних сервісів
Множина Web –сервісів, включаючи хмарні сервіси, які пропонуються різними провайдерами: Amazon Web Services, Microsoft Azure, Google Cloud Platform, IBM Cloud, Red Hat, Adobe, Oracle Cloud, SAP та інші
пошук, витяг даних та знань, верифікація, візуалізація, методи обробки даних різної природи
29
Інститут проблем реєстрації інформації Національної академії наук України
Інтегроване середовище для моделювання процесів аналізу великих даних
Вхідні дані
Таблиці
Web (XML)
Текстові документи
Інструментальні засоби завантаження даних різних форматів
Бази даних
Репозиторії RapidMiner
Побудова моделі процесу обробки даних
Перетворення даних в формати RapidMiner
Етапи дослідження даних методами DataMining
Генерація звітних матеріалів за результатами дослідження
30
Інститут проблем реєстрації інформації Національної академії наук України
Моделювання процесів витягу знань з великих даних
Методологія побудови моделі процесів обробки даних із застосуванням візуальних методів
31
Інститут проблем реєстрації інформації Національної академії наук України
Rapid Miner – універсальна платформа для аналізу стратегічно великих масивів даних
32
Інститут проблем реєстрації інформації Національної академії наук України
Приклад застосування методів кластеризації при досліджені даних
Модель процесу кластеризації засобами Rapid Miner
Вхідні дані
Застосування різних методів кластеризації
k-means
X-means
K-Medoids
33
Інститут проблем реєстрації інформації Національної академії наук України
<object-stream>
<com.rapidminer.example.set.SimpleExampleSet id="1" serialization="custom">
<com.rapidminer.operator.AbstractIOObject>
<default>
<source>Clustering (2)</source>
</default>
</com.rapidminer.operator.AbstractIOObject>
<com.rapidminer.operator.ResultObjectAdapter>
<default>
<annotations id="2">
<keyValueMap id="3">
<entry>
<string>Source</string>
<string>//Local Repository/GDP_2017_3</string>
</entry>
</keyValueMap>
</annotations>
</default>
</com.rapidminer.operator.ResultObjectAdapter>
<com.rapidminer.example.set.AbstractExampleSet>
<default>
<idMap id="4"/>
<statisticsMap id="5"/>
</default>
Фрагмент XML-коду моделі кластерізації вхідної вибірки з групування вхідних даних методом k-means при (К=8)
34
Інститут проблем реєстрації інформації Національної академії наук України
Частотний аналіз
Аналіз чутливості
Приклад застосування методу імітаційної оптимізації при аналізі великих масивів даних на базі платформи Analytic Solver Platform
Функція PsiNormal кращого наближення
Критичні процеси
35
Прототип інструментального засобу для створення та моделювання систем керування знаннями при проведенні аналітичної діяльності
Інтерфейс адміністратора системи
Базові онтології та правила логічного виведення
Метадані предметної області
Редактор онтології
Машини логічного виведення
Онтології предметної області
Сховища документів
Корпоративні джерела
Мультимедійні дані
Конвертори перетворення даних для онтологічного пошуку знань із зовнішніх джерел
Сервіси навігації та семантичного пошуку інформації
Інтерфейс користувача інтелектуальної системи, заснованої на знаннях
Аналітики
Адміністратор
системи
Корпоративний Web – портал засобів моделювання та побудови аналітичних систем
Контент менеджер
Управління контентом
Web – порталу
Засоби аналізу даних (big data)
Засоби перетворення та очищення даних із зовнішніх джерел (аналіз Big Data)
Реляційні дані
36
Інститут проблем реєстрації інформації Національної академії наук України
Основні завдання
37
Інститут проблем реєстрації інформації Національної академії наук України
Онтологічна модель аналітика – користувача Web-порталу
38
Інститут проблем реєстрації інформації Національної академії наук України
Основні функції адміністратора управління знаннями (Knowledge administrator)
39
Інститут проблем реєстрації інформації Національної академії наук України
Управління знаннями корпоративного Web-порталу за технологією Joomla
Відкрита універсальна система керування вмістом для публікації інформації в інтернеті
40
Інститут проблем реєстрації інформації Національної академії наук України
Приклад управління процесом моделювання та формування бази знань
41
Інститут проблем реєстрації інформації Національної академії наук України
Приклад залучення різноманітних інструментальних засобів в аналітичній системі при обробці різнотипних даних
42
Інститут проблем реєстрації інформації Національної академії наук України
РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ
43
Інститут проблем реєстрації інформації Національної академії наук України
РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ
44
Інститут проблем реєстрації інформації Національної академії наук України
РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ
45
Інститут проблем реєстрації інформації Національної академії наук України
Публікації за темою дослідження за 2014 - 2018 роки
46
Інститут проблем реєстрації інформації Національної академії наук України
Публікації за темою дослідження за 2014 - 2018 роки
47
Інститут проблем реєстрації інформації Національної академії наук України
Конференції та інші видання
48
Інститут проблем реєстрації інформації Національної академії наук України
Конференції та інші видання
49
Інститут проблем реєстрації інформації Національної академії наук України
50
Інститут проблем реєстрації інформації Національної академії наук України
Дякую за увагу