Відкриті дані в ОМС: практичний курс
Тренінг для відповідальних осіб Київської міської державної адміністрації
Посилання: bit.ly/od-2019-05-09
Порядок денний
Який ваш найбільший виклик?
Нормативна база
Головна data.gov.ua > Інфохаб > Методичні матеріали
Посилання: data.gov.ua/blog/metodychni-rekomendatsii
Отже, відкриті дані - це ...
Публічна інформація у формі відкритих даних - це публічна інформація у форматі, що дозволяє її автоматизоване оброблення електронними засобами, вільний та безоплатний доступ до неї, а також її подальше використання. (Закон України “Про доступ до публічної інформації”, ст. 10)
Формально
Практично
Нормативна база розпорядника
Необхідні нормативні документи
Розпорядчий документ (акт) щодо відкритих даних, у тому числі, щодо призначення відповідальних осіб
Нормативна база розпорядника
=
+
Рекомендовані нормативні документи
Посадові обов’язки відповідальних осіб щодо відкритих даних;
План дій із реалізації політики відкритих даних;
Положення або порядок щодо відкритих даних.
Реєстр наборів даних
Розділ “Для всіх розпорядників”
~ 15 наборів залежно від повноважень
Реєстр наборів
=
+
Розділ розпорядник
Якщо розпорядник включений до Постанови КМУ №835
+
Інші
набори
На основі аудиту даних, запитів громадськості, системи обліку публічної інформації
Структура та підготовка реєстру: data.gov.ua/pages/835-rec-register-of-datasets
Нормативна база: data.gov.ua/blog/metodychni-rekomendatsii
Форма для аудиту даних: перейти до таблиці
Що не варто оприлюднювати на data.gov.ua?
Підготовка даних
Які дані є машиночитаними?
Ієрархія можливостей роботи з даними
Можу переглядати дані
Наприклад: скановані PDF, зображення (JPG).
Можу шукати дані зберігати та копіювати
Наприклад: сторінки веб-сайтів (HTML), DOC, DOCX, ODT, XLS, XLSX, ODS.
Можу написати код, який буде збирати та аналізувати дані
Наприклад: CSV, JSON, XML.
Дані розуміють машини, тому обмін ними майже автоматичний
Лише для розробників: запит у Google “linked data”, “семантична інтероперабельність”.
Типи машиночитаних даних
Стовпчик 1 | Стовпчик 2 | Стовпчик 3 | Стовпчик 4 |
Рядок 2 | 1 | 2 | 3 |
Рядок 3 | 4 | 5 | 6 |
Рядок 4 | 7 | 8 | 9 |
Предок
Нащадок 3
Нащадок 2
Нащадок 1
Нащадок 5
Нащадок 4
Розпорядники найчастіше працюють з двома типами даних: табличними та ієрархічними.
Формати файлів: XLS, XLSX, ODS, CSV
Формати файлів: JSON, XML
Приклади
Електронна таблиця
Схематичне зображення JSON
Машиночитані дані
Машиночитані
таблиці (структуровані дані)
Непридатна для машинної обробки інформація в таблиці
name | capital | population |
Італія | Рим | 61855120 |
Єгипет | Каїр | 88487396 |
Канада | Оттава | 35099836 |
Бразилія | Бразиліа | 204259812 |
Італія | |
Столиця | Населення |
Рим | 61,9 млн. |
Єгипет | |
Столиця | Населення |
Каїр | 88478 тис. |
Ознаки: заголовки, об’єднані комірки, форматування тексту, нестандартизовані значення.
Ознаки: чітка структура з колонок та рядків, машиночитана шапка, наявність структури, стандартизовані значення.
Дані: https://uk.wikipedia.org/
Чисті та брудні дані
чим відрізняються дві таблиці?
Дані: https://uk.wikipedia.org/
name | capital | population |
Італія | Рим | 61855120 |
Єгипет | Каїр | 88487396 |
Канада | Оттава | 35099836 |
Бразилія | Бразиліа | 204259812 |
name | capital | population |
IT | Rome | 61.85 млн |
Єгипет | Каїр | NA |
Канада | Ванкувер | 35099836 |
Бразил. | Бразиліа | невідомо |
Ознаки: значення мають різні стандарти, наявні помилки.
Ознаки: усі значення стандартизовані відповідно до форматів, таблиця не містить помилок.
Машиночитані
таблиці (“чисті” дані)
Непридатні для машинної обробки таблиці (“брудні” дані)
Підготовка таблиць
Структура (словник даних)
Назва колонки (name) | Заголовок колонки (title) | Опис значень у колонці (description) | Тип даних (datatype) |
identifier | Ідентифікатор | Номер або будь-який інший унікальний ідентифікатор структурного підрозділу. Наприклад: 1.2. | string |
prefLabel | Повна назва | Назва відповідно до організаційно-розпорядчих документів. Наприклад: Архівний відділ. | string |
altLabel | Коротка або альтернативна назва | Будь-яка інша, у тому числі скорочена назва. Наприклад: Архів. | string |
description | Опис | Короткий опис у довільній формі (декілька речень або до 300 символів). Опис має включати коротку інформацію про мету, функції, діяльність. Рекомендовано, щоб опис не дублював дані в інших колонках таблиці. | string |
purposeTitle | Назва документа, що визначає мету й повноваження | Повна назва організаційно-розпорядчого документа, що визначає мету діяльності, повноваження, функції. Наприклад: Положення про департамент стратегічного планування. | string |
Формати даних
Юридична особа
Код ЄДРПОУ та назва в окремих колонках
date |
2018-04-04 |
identifier | prefLabel |
01234567 | ДП “Інфосистеми” |
adminUnitL1 | adminUnitL2 | postName | addressThoroughfare | locatorDesignator | locatorName | postCode | poBox |
Україна | Харківська область | Харків | майдан Свободи | 5/1 | Офіс 10 | 012345 | 345 |
Адреса
Кожна складова записується в окремій колонці
identifier | issued | title |
123 | 2018-04-04 | Про затвердження ... |
Дата
Формат ISO 8601 (рррр-мм-дд)
Документ
Номер, дата ухвалення, назва в окремих колонках
homepage | hasTelephone | openingHours |
https://www.e.gov.ua/ | +380123456789 | Пн-Пт 09:00-17:00 |
Контактні дані
Посилання на веб-сторінку, телефон, години прийому
Практичне завдання: аналіз прикладів наборів за посиланням.
Рекомендації для наборів
Головна > Інфохаб > Рекомендації для оприлюднення наборів відкритих даних
Посилання: data.gov.ua/pages/835-rec-index
Рішення для наборів
10
2
2
Шаблони таблиць
Рекомендації для оприлюднення фінзвітності
Загальні рекомендації
1. Фінансова звітність суб’єктів господарювання державного та комунального сектору економіки
2. Річні зведені основні фінансові показники виконання фінансових планів підприємств державного та комунального секторів економіки
1. Переліки національних стандартів, які в разі добровільного застосування є доказом відповідності продукції вимогам технічних регламентів
2. Адміністративні дані, в значенні Закону України “Про державну статистику”, що збираються (обробляються) та підлягають оприлюдненню відповідно до вимог закону, розпорядником інформації
Структура рекомендацій
I. Коротка
довідка
узагальнені структуровані дані про набір даних.
II. Огляд законодавства
аналіз законодавства стосовно створення, збору, зберігання, використання й поширення даних.
III. Підготовка даних та структура
покрокова інструкція з підготовки до оприлюднення й оновленовлення набору.
IV. Оформлення паспортів
включає приклади заповнення паспортів наборів та ресурсів на data.gov.ua.
підготовка реєстру наборів > підготовка наборів > завантаження на портал
Робота з розпорядника з наборами
Структура рекомендацій:
Робота з порталом
Головна data.gov.ua > Інфохаб > Інструкція та інформація розпорядникам
Посилання: data.gov.ua/pages/manager
Як зробити використання порталу максимально ефективним?
Рекомендовано
1. Реєстрація та керування профілем розпорядника
2. Керування учасниками
Додайте опис, логотип та категорію розпорядника.
Сторінка розпорядника > Меню “Керування” > Вкладка “Редагувати”
Рекомендовано
Додайте відповідальних осіб розпорядника у ролі адміністраторів.
Сторінка розпорядника > Меню “Керування” > Вкладка “Учасники”
3. Керування наборами та ресурсами
Рекомендовано
Додайте вигляд для таблиць.
Меню “Керування” на сторінці набору або ресурсу.
4. Комунікуйте з користувачами даних
Рекомендовано
Відповідайте на побажання та пропозиції користувачів
Сторінка набору даних > Вкладка “Пропозиції”
Сховище (архів) даних — база даних порталу, яка допомога користувачам отримувати дані у форматах CSV та JSON.
Вигляд — дає можливість переглядати вміст файлів, як таблиці, текст або зображення.