1

ЗВІТ

ПРО НАУКОВО-ДОСЛІДНУ РОБОТУ

«Теоретичні та технологічні засади експертної підтримки прийняття рішень при побудові стратегічних планів»

(Шифр «Стратегія»)

​

2017

Науковий керівник

Завідувач лабораторії СППР,

д.т.н., с.н.с.

В.В. Циганок

НДР «Теоретичні та технологічні засади експертної підтримки прийняття рішень при побудові стратегічних планів» (Шифр «Стратегія»)

2

вид тематики (назва програми, конкурсу) Відомча (фундаментальна)

Державний реєстраційний номер роботи 0115U002075

Виконується за постановою Бюро Відділення інформатики НАН України

від 15.05.14, протокол № 3  

І етап (2015 рік)

• Дослідження наявних підходів до стратегічного планування та його особливостей. Розробка теоретичних засад застосування методології цільового оцінювання в процесі стратегічного планування.

​

ІІ етап (2016 рік)

• Розробка методологічних засад стратегічного планування в умовах обмеженості ресурсів.

​

ІІІ етап (2017рік)

• Розробка технології побудови стратегічних планів та визначення показників її якості.

Робочий план на І етап (2015 рік)

1. Дослідження наявних підходів до стратегічного планування та його особливостей, пов’язаних з підвищенням обороноздатності та безпеки держави.
2. Аналіз особливостей процесу стратегічного планування, пов’язаних зі слабкою структурованістю предметних областей, до яких належить військова сфера. 
3. Обґрунтування необхідності застосування технологій підтримки прийняття рішень на основі експертної інформації в ході стратегічного планування при державному управлінні.
4. Розробка теоретичних засад застосування методології цільового оцінювання в процесі стратегічного планування як у сферах підвищення обороноздатності та безпеки держави, так і у інших галузях державного управління.
5. Підготовка проміжного звіту за етапом НДР, інших звітних матеріалів.

3

Робочий план на ІІ етап (2016 рік)

1. Дослідження особливостей моделей предметних областей в контексті побудови стратегічних планів, орієнтованих на довгострокову перспективу, у тому числі, пов’язаних з підвищенням обороноздатності та безпеки держави.
2. Розробка принципів врахування ризиків та загроз при побудові моделей предметних областей, до яких належить військова сфера.
3. Розробка методологічних засад підвищення адекватності моделей предметних областей та достовірності результатів експертиз.
4. Підготовка проміжного звіту за етапом НДР, інших звітних матеріалів.

4

4

Робочий план на ІІІ етап (2017 рік)

1. На основі запропонованих теоретичних засад розробити технологію побудови стратегічних планів в умовах обмеженості ресурсів.
2. Визначити показники якості розробленої технології та оцінити технологію за цими показниками.
3. Підготовка заключного звіту за НДР, інших звітних матеріалів.

5

5

Основні отримані результати

1. Запропоновано нову модель отримання експертної інформації та на основі даної моделі розроблено технологію експертного оцінювання із застосуванням шкал різного рівня інформативності, яка дозволяє уникнути спотворення інформації, отриманої від експерта. Завдяки послідовному підвищенню інформативності остаточне оцінювання проводиться в шкалі, що найбільш відповідає інформованості експерта в питанні, що розглядається.
2. Запропоновано метод приведення експертних оцінок, заданих у різних за інформативністю шкалах, до єдиної, найбільш інформативної шкали.
3. Розроблено метод визначення змістової подібності об’єктів БЗ слабко структурованих предметних областей в експертних СППР, який, на відміну від існуючих, не потребує наявності навчальної вибірки (корпусу текстів). Метод дозволяє підвищити адекватність моделей предметних областей, запобігти помилковому введенню у БЗ однакових за змістом об'єктів, зокрема, при об’єднанні БЗ, сформованих різними експертними групами, а також може використовуватись для пошуку за ключовими словами у БЗ об’єктів, точні формулювання яких невідомі.
4. Запропоновано новий підхід до урахування ризиків та загроз у ході прийняття стратегічно важливих рішень, який дозволяє розширити можливості наявних та нових систем підтримки прийняття рішень при їхньому застосуванні для побудови стратегій та прийняття управлінських рішень на різних рівнях у сфері оборони та безпеки держави.

6

6

Основні отримані результати

5. Розроблено новий підхід до визначення узгодженості експертних оцінок, що базується на подвійному визначенні ентропії Шенона: при врахуванні ступеня невизначеності частот експертних оцінок та ступеня невизначеності концентрацій цих оцінок. Запропонований підхід, у порівнянні з існуючими, дозволяє точніше визначати узгодженість між експертними судженнями та, тим самим, підвищити достовірність отриманих у ході експертизи результуючих узагальнених оцінок.
6. Запропоновано метод обчислення компетентності членів експертної групи у якому, на відміну від наявних методів, враховуються усі складові показника компетентності: апріорні (об’єктивна компонента, взаємооцінка, самооцінка) та апостеріорні (повнота, докладність, внутрішня та взаємна узгодженість експертних оцінок). Цей метод дозволяє удосконалити процедури агрегації групових експертних оцінок та зробити результати їх застосування більш достовірними і такими, що відображують реальний рівень компетентності учасників експертизи.
7. Розроблено технологію побудови стратегічних планів в умовах обмеженості ресурсів, а саме: оптимальний розподіл ресурсів для виконання заходів, відбір заходів для фінансування, вибір оптимальної множини заходів у розрізі досягнення (головної) стратегічної цілі, оцінка ефективності виконання стратегічного плану на поточний момент часу.

7

7

Дослідження наявних підходів до стратегічного планування та його особливостей, пов’язаних з підвищенням обороноздатності та безпеки держави. �

• корпорація RAND (Research ANd Development) США – перша почала займатися дослідженнями в сфері стратегій розвитку
• 50-70 роки ХХ століття створюються: на Заході – теорія ігор – Моргенштерном і Дж. Фон-Нейманом, в СРСР – теорія "конфліктуючих структур" – В.А.Лефевром
• Джон Бойд – один з найбільш яскравих представників військово-теоретичної науки США (теорія Бойда представлена у формі системи постулатів, інтегрованих у нормативну модель військової діяльності для умов простої «дуельної ситуації»
• роботу професора Томаса Шелінга відзначено Нобелівською премією (книга „Стратегія конфлікту” – т.з. кооперативні ігри)
• сучасні стратеги у сфері підприємництва: розробка стратегії це скоріше творчий, ніж аналітичний процес (Roger M. Strategize First, Analyze Later: Harvard Business Review Press)
• Аналітична доповідь Національного інституту стратегічних досліджень: “Військово-технічна та оборонно-промислова політика України в сучасних умовах” (сформульовано підходи до удосконалення методології та механізмів формування і реалізації вищезгаданої політики держави.)

​

​

8

Підхід до урахування ризиків та загроз у ході прийняття стратегічно важливих рішень

9

9

Пропонується, відносний вплив ризику/загрози W, який лежить у рамках діапазону [0; 1], моделювати за формулою:

, де

– частковий коефіцієнт впливу проекту – відносна величина, що відповідає загрозі/ризику, за умови повної реалізації загрози/ризику, яка визначається експертним шляхом

– ступінь виразності загрози на поточний момент часу t (також, може визначатися шляхом експертного оцінювання);

– імовірність реалізації загрози.

Розробка методологічних засад підвищення адекватності моделей предметних областей та достовірності результатів експертиз

10

10

1 Підвищення адекватності моделей предметних областей завдяки визначенню змістової подібності об’єктів баз знань

2 Підвищення достовірності експертиз за рахунок представлення експертних даних

3 Підвищення достовірності результатів експертиз при оцінюванні з використанням різних шкал

4 Про визначення узгодженості експертних оцінок шляхом подвійного застосування формули ентропії

Use Case діаграма експертної СППР

11

СППР «Солон-3»

Підсистема визначення змістової подібності

Підсистема групової побудови БЗ «Консенсус»

Підсистема експертного оцінювання «Рівень»

11

Метод визначення змістової подібності об’єктів БЗ СППР

12

Обчислимо вектор відстаней від об’єкта до інших об’єктів БЗ:

​

як зважену манхеттенську відстань:

​

​

або інші метрики.

Формуємо симетричну матрицю відмінностей КС між собою: ,

​

, , ,

​

.

t

Визначимо відносний показник змістової подібності об’єктів БЗ до заданого об’єкту :

12

Підвищення достовірності експертиз за рахунок представлення експертних даних

Проаналізовано основні етапи експертизи та запропоновано низку рекомендацій для інженерів по знаннях, організаторів експертиз, та розробників програмного забезпечення СППР

1. Ознайомчі тренінги (coaching sessions)
2. Напрям декомпозиції – аналітичний: від загального до одиничного, від абстрактного до конкретного
3. Збалансованість ієрархії (рівномірний розподіл цілей між рівнями, урахування псих. обмежень людини)
4. Уникнення однотипних питань (щодо характеру впливу цілей, їхньої сумісності)
5. Заміна кількісних значень поділок шкали їхніми вербальними еквівалентами

Ці рекомендації дозволяють зробити процес отримання експертних даних та їх введення в СППР більш конструктивним, і, таким чином, підвищити рівень довіри ОПР до результатів експертизи.

​

13

13

Технологія ЕО

Поетапне уточнення оцінки при виконанні парного порівняння

Підвищення достовірності результатів експертиз при оцінюванні з використанням різних шкал

Визначення експертом наявності переваги

серед пари об'єктів(шкала з 2 поділками)

Можу визначити ?

Визначення ступеня переваги

у вербальній шкалі з 4-ма поділками

Визначення ступеня переваги

у вербальній шкалі з 9-ма поділками

Можу визначити ?

так

так

ні

ні

Можу визначити ?

так

ні

Видача остаточного результату

оцінювання у обраній шкалі

14

Уніфікація оцінок Сутність підходу – приведення оцінок до єдиної, найбільш інформативної (деталізованої) шкали, шляхом визначення однозначної відповідності між градаціями різних шкал.

Числові відповідники для градацій шкали із:

а) 8-ма; б) 4-ма; в) 3-ма градаціями.

де   – числовий відповідник для i-ої із n градацій шкали;

l – ліва границя шкали (l = 1.5);

p – права границя шкали (p = 9.5).

Приведення вербальних шкал оцінювання

15

Сутність подвійно-ентропійного показника узгодженості

16

16

де

​

та

Підхід до урахування ризиків та загроз у ході прийняття стратегічно важливих рішень

17

Пропонується, відносний вплив ризику/загрози W, який лежить у рамках діапазону [0; 1], моделювати за формулою:

, де

– частковий коефіцієнт впливу проекту – відносна величина, що відповідає загрозі/ризику, за умови повної реалізації загрози/ризику, яка визначається експертним шляхом

– ступінь виразності загрози на поточний момент часу t (також, може визначатися шляхом експертної оцінки);

– імовірність реалізації загрози.

Вимоги до створення стратегій:

​

• спрямованість на досягнення певної мети (головної цілі проблеми);
• розрахунок (оцінювання) варіантів дій в довготерміновій перспективі – урахування тривалості виконання проектів та затримок у впливах між цілями);
• урахування об’ємів фінансування, необхідних для виконання тих, чи інших завдань;
• доцільність застосування експертного оцінювання на ряду з кількісною об’єктивною інформацією;
• урахування ризиків та загроз, що виникають при виконанні завдань.

18

Особливості предметних областей, пов’язаних зі слабкою структурованістю

19

Характерні особливості систем для створення стратегій

• Значні за обсягом бази знань
• Динамічність моделей
• Можливість довготермінового планування
• Імовірнісний характер моделей
• Можливість врахування кількісних та якісних показників

20

Загальні етапи побудови стратегії

1. Формулювання головної мети (цілі)
2. Підбір експертів
3. Побудова ієрархії цілей, що описує предметну область
4. Оцінка експертами відносних впливів цілей в ієрархії
5. Розрахунок відносної ефективності проектів, тобто «відносного внеску» кожного проекту у досягнення головної цілі
6. Визначення оптимальної стратегії розвитку галузі

​

21

Публікації (2015)

• Tsyganok V.V. Using different pair-wise comparison scales for developing industrial strategies / V.V.Tsyganok, S.V.Kadenko & O.V.Andriichuk // International Journal of Management and Decision Making. – 2015. – vol. 14, issue 3. – P. 224-250. IF=0.568
• Olenko A. Double Entropy Inter-Rater Agreement Indices / Andriy Olenko & Vitaliy Tsyganok // Applied Psychological Measurement. – 2015. – Published online before print July 22, 2015, doi: 10.1177/0146621615592718. IF=1.178
• Циганок В.В., Каденко С.В., Андрійчук О.В., Качанов П.Т., Роїк П.Д. Інструментарій підтримки прийняття рішень як засіб стратегічного планування. Озброєння та військова техніка. 2015. № 3(7). С. 59–66.

​

• Циганок В.В. Технологія стратегічного планування на основі експертної підтримки прийняття рішень / В.В.Циганок, О.В.Андрійчук, С.В.Каденко // Системи підтримки прийняття рішень. Теорія і практика : Збірник доповідей наук.-практ. конф. з міжнар. участю // НАН України, Інститут проблем математичних машин і систем. – Київ, 2015. – С.33-37.
• Качанов П.Т. Підвищення рівня обґрунтованості прийняття колективних рішень / П.Т.Качанов // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції. – К: ІПРІ НАН України, 2015. – С.152-154.
• Циганок В.В. Метод експертної підтримки прийняття групових рішень зі зворотним зв’язком / В.В.Циганок // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції. – К: ІПРІ НАН України, 2015. – С.150-152.
• Каденко С.В. Застосування методів експертної підтримки прийняття рішень для стратегічного планування в слабко-структурованих предметних областях / С.В.Каденко // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції. – К: ІПРІ НАН України, 2015. – С.154-156.
• Андрійчук О.В. Місце та роль визначення змістової подібності при експертній підтримці прийняття рішень/ О.В.Андрійчук // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції. – К: ІПРІ НАН України, 2015. – С.156-158.

​

22

Публікації (2016)

• Tsyganok V.V. Usage of Scales with Different Number of Grades for Pair Comparisons in Decision Support Systems / Vitaliy V. Tsyganok, Sergii V. Kadenko, Oleh V. Andriichuk // International Journal of the Analytic Hierarchy Process. – 2016. – vol. 8, issue 1. – P.112-130. ISSN 1936-6744 (retrieved from http://dx.doi.org/10.13033/ijahp.v8i1.259 ).
• Olenko A. Double Entropy Inter-Rater Agreement Indices / Andriy Olenko & Vitaliy Tsyganok // Applied Psychological Measurement. – 2016. – v.40(1). – P.37-55. doi: 10.1177/0146621615592718. (IF=1.178)
• Каденко С.В. Проблеми представлення експертних даних у системах підтримки прийняття рішень / С.В.Каденко // Реєстрація, зберігання і обробка даних. – 2016. – т.18. – №3. – С. 67-74.
• Tsyganok V.V. Usage of Scales with Different Number of Grades for Pair Comparisons in Decision Support Systems / Vitaliy V. Tsyganok, Sergii V. Kadenko, Oleh V. Andriichuk // International Journal of the Analytic Hierarchy Process. – 2016. – vol. 8, issue 1. – P.112-130. ISSN 1936-6744 (retrieved from http://dx.doi.org/10.13033/ijahp.v8i1.259 ).

​

• Ночвай В.І. Модель прийняття рішень з розподілу ресурсів між проектами в соціоекологічній системі / В. І. Ночвай, В. В. Циганок // Моделювання-2016 ИПМЭ им. Г.Е. Пухова НАН Украины, 2016.
• Tsyganok Vitaliy A Method with Feedback for Aggregation of Group Incomplete Pair-Wise Comparisons using Scales with Different Numbers of Grades / Vitaliy Tsyganok // Proceedings of the International Symposium on the Analytic Hierarchy Process: the 14-th ISAHP conference / London, UK / August 4 - 7, 2016. – p.92 (ISAHP-2016 retrieved from http://www.isahp.org/uploads/isahp16_proceeding_1143968.pdf).
• Kadenko Sergii Decision Support Arsenal Usage for Strategic Planning // Proceedings of the International Symposium on the Analytic Hierarchy Process: the 14-th ISAHP conference / London, UK / August 4 - 7, 2016. – p.95 (ISAHP-2016 retrieved from http://www.isahp.org/uploads/isahp16_proceeding_1143768.pdf).
• Tsyganok Vitaliy On a Method for Group Decision Making with Feedback based on Incomplete Pair-Wise Comparisons using Scales with Different Numbers of Grades / Vitaliy Tsyganok // XXVIII International Conference “Problems of Decision Making under Uncertainties” (PDMU-2016) / Dedicated to 70-th anniversary of Professor Jaroslav Michalek / August 25-30, 2016 / Brno, Czech Republic
• Циганок В.В. Технологія підтримки прийняття рішень при стратегічному плануванні / В.В.Циганок, П.Д.Роїк // Праці VIII міжнародної школи-семінару «Теорія прийняття рішень» 26 вересня – 1 жовтня 2016 р. – Ужгород, УжНУ. – 2016. – С.262-265.
• Циганок В.В. Про визначення узгодженості експертних оцінок шляхом подвійного застосування формули ентропії / В.В.Циганок, П.Д.Роїк // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 16-17 травня 2016 року / НАН України. Інститут проблем реєстрації інформації. – К: ІПРІ НАН України, 2016. – С.128-130.
• Андрійчук О.В Підвищення достовірності експертних оцінок у системах підтримки прийняття рішень / О.В.Андрійчук // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 16-17 травня 2016 року / НАН України. Інститут проблем реєстрації інформації. – К: ІПРІ НАН України, 2016. – С.124-126.
• Каденко С.В Особливості діалогу з експертом у процесі експертизи / С.В.Каденко // Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 16-17 травня 2016 року / НАН України. Інститут проблем реєстрації інформації. – К: ІПРІ НАН України, 2016. – С.126-128.
• Цыганок В.В. Поддержка принятия решений при планировании мероприятий по противодействию информационным операциям / В.В.Цыганок // Информационные технологии и безопасность: Материалы международной научно-технической конференции 1 декабря 2016 года / – К: ІПРІ НАН України, 2016.
• Каденко С.В Можливості та перспективи використання експертних технологій підтримки прийняття рішень у сфері інформаційної безпеки / С.В.Каденко // Інформаційні технології та безпека: Матеріали міжнародної науково-технічної конференції 1 грудня 2016 року / – К: ІПРІ НАН України, 2016.
• Андрейчук О.В Методика применения инструментария экспертной поддержки принятия решений при идентификации информационных операций / О.В.Андрейчук, П.Т.Качанов // Информационные технологии и безопасность: Материалы международной научно-технической конференции 1 декабря 2016 года / – К: ІПРІ НАН України, 2016.

23

23

Публікації (2017)

• Tsyganok V., Kadenko S., Andriychuk O., Roik P. Usage of multicriteria decision-making support arsenal for strategic planning in environmental protection sphere. Journal of Multi-Criteria Decision Analysis 2017;24: 227–238. (retrieved from https://doi.org/10.1002/mcda.1616 ).
• Каденко С.В., Циганок В.В. Визначення відносної компетентності експертів під час агрегації парних порівнянь. Реєстрація, зберігання і обробка даних. 2017. т.19. №2. – С.69-83.
• Борохвостов І.В., Павловський І.В., Циганок В.В., Андрійчук О.В. Експертна підтримка прийняття рішень при визначенні пріоритетів розвитку озброєння та військової техніки. Озброєння та військова техніка. 2017. № 4(9). С. 3–10.

​

• Tsyganok V.V. Decision-Making Support for Strategic Planning / Vitaliy Tsyganok // Open Semantic Technologies for Intelligent Systems : материалы междунар. науч.-техн. конф.; Вып.1 (Минск, 16-18 февраля 2017г.). – Минск : БГУИР, 2017.– P.347-352.
• Циганок Віталій & Bozóki Sándor Комбінаторний метод з використанням середнього геометричного та доведення його оптимальності згідно методу логарифмічних найменших квадратів / Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 17-18 травня 2017 року / НАН України. Інститут проблем реєстрації інформації. – К: ІПРІ НАН України, 2017. – С.95-97.
• Bozóki Sándor & Tsyganok Vitaliy Spanning trees and logarithmic least squares optimality for complete and incomplete pairwise comparison matrices / 10th Japanese-Hungarian Symposium on Discrete Mathematics and Its Applications, May 22-25, Budapest, Hungary, 2017. (retrieved from http://cs.bme.hu/jh2017/)
• Циганок В.В. Підтримка прийняття рішень при побудові стратегії протидії інформаційним операціям. Актуальні проблеми управління інформаційною безпекою держави : зб. матеріалів наук.-практ. конф., (Київ, 24 трав. 2017 р.). – Київ : Нац. акад. СБУ, 2017. – C.230-232.
• Bozóki Sándor & Tsyganok Vitaliy A feszítőfákból számolt súlyvektorok mértani közepének optimalitása a logaritmikus legkisebb négyzetes célfüggvényre nézve / 32th Hungarian Conference on Operations Research, June 14-16, Cegléd, Hungary, 2017. – p.9. (retrieved from http://bolyai.hu/MOKAbsztraktok.pdf)
• Sándor Bozóki & Vitaliy Tsyganok Spanning trees and logarithmic least squares optimality for complete and incomplete pairwise comparison matrices. Proceedings of the 24th International Conference on Multiple Criteria Decision Making, July 10-14, Ottawa, Canada. 2017. – p.103. (retrieved from http://sites.telfer.uottawa.ca/mcdm2017/files/2016 /08/MCDM-2017-Scientific-Program-June-29.pdf)
• Sándor Bozóki & Vitaliy Tsyganok The logarithmic least squares optimality of the geometric mean of weight vectors calculated from all spanning trees for (in)complete pairwise comparison matrices / 21st Conference of the International Federation of Operational Research Societies (IFORS), July 17-21, Quebec, Canada, 2017. (retrieved from http://ifors2017.ca/)
• Ночвай В.І., Циганок В.В. Прийняття рішень для досягнення регіональних, національних та міжнародних цілей сталого розвитку. Системи підтримки прийняття рішень. Теорія і практика: Збірник доповідей наук.-практ. конф. з міжнар. участю / НАН України, Інститут проблем математичних машин і систем. Київ, 2017. – С.14-17.
• Циганок В.В. Платформа трансферу знань для підтримки прийняття рішень в слабко структурованих предметних областях / Міжнародна науково-практична конференція «Інформаційні технології та взаємодії», КНУ ім.Тараса Шевченка, 8-10 листопада, м.Київ, 2017
• Tsyganok V.V., Kadenko S.V., Andriichuk O.V. Considering Importance of Information Sources during Aggregation of Alternative Rankings / Информационные технологии и безопасность (ИТБ – 2017). Материалы 17-й международной научно-практической конференции – Киев, 2017 – с.272-288.
• Цыганок В.В., Борохвостов И.В., Роик П.Д. Проблемно-ориентированная платформа трансфера знаний для поддержки принятия решений в социотехнических системах / Информационные технологии и безопасность (ИТБ – 2017). Материалы 17-й международной научно-практической конференции – Киев, 2017 – с. 263-272.

​

• Свідоцтво про реєстрацію авторського права на твір №75023. Комп’ютерна програма „Система розподіленого збору та обробки експертної інформації для систем підтримки прийняття рішень – «Консенсус-2»” / Циганок В.В., Роїк П.Д., Андрійчук О.В., Каденко С.В. // від 27/11/2017.

24

Публікації за темою НДР

Всього: 35

• Статей - 9
• Sсopus - 5
• Тез доповідей – 26
• Sсopus - 7

​

25

Захищено дисертацію �на здобуття наукового ступеня кандидата технічних наук �за спеціальністю 01.05.04 – системний аналіз і теорія оптимальних рішень

Андрійчук О.В.

Метод визначення змістової подібності об’єктів баз знань експертних систем підтримки прийняття рішень

​

26

26

Авторське свідоцтво

27

Свідоцтво про реєстрацію авторського права на твір №75023. Комп’ютерна програма „Система розподіленого збору та обробки експертної інформації для систем підтримки прийняття рішень – «Консенсус-2»” / Циганок В.В., Роїк П.Д., Андрійчук О.В., Каденко С.В. // від 27/11/2017.

Рецензії

28

Акти використання

29

30

Дякую за увагу !