1 of 45

& THE SCIENCE OF WHERE

Open Expo - Esri Open Vision

bit.ly/EsriOpenVision

2 of 45

Para comprender �nuestro mundo

¿POR QUÉ?

¿QUÉ?

¿CÓMO?

Partners

Contenidos

Servicios

Plataforma ArcGIS 360º

Desde cualquier lugar

Colaborar

En cualquier momento

Visión abierta

¿Por qué estamos hoy aquí?, ¿por qué existe Esri? -> porque los fundadores querían hacer algo para ayudar a entender mejor el mundo y en definitiva ayudar a tener argumentos para poder tomar mejores decisiones
¿Cómo querían conseguir esto?: permitiendo que profesionales, organizaciones, y máquinas colaborasen entre sí (desde cualquier lugar en cualquier momento) -> y para ello hace falta una plataforma/visión abierta.
¿Qué hacemos para que esto sea posible?:

Crear una plataforma 360º (que permite comprende todo el flujo de trabajo: recoger, almacenar, analizar y representar información)
Reunir a nuestros mejores partners para extender e implementar la plataforma en clientes
Ofreciendo servicios de formación, servicios profesionales y soporte
Facilitando el acceso a contenidos de alta calidad de manera sencilla

Para que todo esto sea posible es necesario tener una visión abierta, y por eso durante la sesión vamos a hablar de 6 aspectos clave en los que trabajamos de manera continua desde Esri.

YO INCLUIRIA EL DISCURSO DE SCIENCE OF WHERE PARA QUE PODAMOS ALOJAR ESTA PARTE ALTRUISTA DE FACILITAR LA INTELIGENCIA DEL DONDE EN LOS DATOS QUE MANEJA EL SECTOR.

3 of 45

Open Standards
Data & Product Interoperability
Open Data
Open APIs & Specifications
Open Source
Open Community

Esri Open Vision - 6 pilares

4 of 45

6 - Open Standards

esri.com/software/open/open-standards

5 of 45

Formatos

Servicios

Metadatos

Estándares de...

6 of 45

>100, algunos ejemplos de formatos que generamos y consumimos:

Open Standards - Formatos de datos

S-57 GML-OGC (Dev by NOAA)

ENT. MARINOS y NAVEGAC.

Geopackage - OGC

GENERALISTA

KML - OGC (Dev. by Google)

GENERALISTA

AIXM - GML-OGC

AERONÁUTICA

7 of 45

CSDGM (Federal Geographic Data Committee)
ISO 19115 - Info geográfica y servicios
Dublin Core
INSPIRE
DCAT

Open Standards - Metadatos

8 of 45

WMS: Web Map Service
WMTS: Web Map Tile Service
WFS: Web Feature Service
WCS: Web Coverage Service
WPS: Web Processing Service
CSW: Catalog Service for the Web�

http://opengeospatial.org/resource/products/compliant#ESRI

Open Standards - Servicios

9 of 45

5 - Data & Product Interoperability

esri.com/software/open/data-interoperability

10 of 45

ArcGIS soporta más de 300 formatos (estándares y de facto)

Data Interoperability

Datos geográficos: JSON, XML, KML, GML, GDB, shapes, CAD...
Datos tabulares: CSV, DBase, XLS, ACCDB, ...
Bases de datos: PostgreSQL, MongoDB, SQL Server, Oracle, SAP HANA, Teradata, Informix,…
Datos raster y 3D: Imágenes satélite, fotos aéreas, Lidar, Jpeg, Tiff,…
Web y sensores en tiempo real: Sierra Wireless RAP, Trimble TAIP, RSS, Twitter,…

Esri ha realizado un gran esfuerzo para que su software sea lo más interoperable posible.

Soporta más de 300 formatos, algunos que son estándares (KML, GML,..) y otros que, sin serlo, son tan ampliamente usados que se consideran como tales. Este abanico tan amplio permite al cliente acceder a los datos en el formato de partida o transformarlo, según sus necesidades

Geográficos: CAD (dgn, dwg, dxf),
Tabulares:
Bases de datos: SQL Server, Oracle, PostgreSQL, SAP HANA, Teradata, Informix,…
Raster y 3d: ecw, tif, envi, erdas, ikonos satélite, jpeg, LAS, spot, GRIB (formato organización meteorológica mundial)
Web y sensores: con la extensión de GeoEvent (Server) podemos incorporar flujos de información en tiempo real. Existen conectores para recibir datos en formato rss, Trimble TAIP (Trimble ASCII Interface Protoco). También se puede personalizar un conector propio.

11 of 45

Libres:

Hadoop
RabbitMQ
Linux
PostgreSQL
PostGIS
GDAL
Apache
...

Propietarios:

ArcGIS Data Interoperability.
ArcGIS Maps for Office.
ArcGIS for AutoCAD.
SAP HANA.
Esri Maps for SharePoint.
Esri Maps for IBM Cognos
Esri Maps for Power BI
...

Product Interoperability

12 of 45

4 - Open Data

esri.com/software/open/open-data

13 of 45

Nov 2016

56.924 datasets�3512 organizaciones

May 2017

67.543 datasets�4094 organizaciones

6 meses

~+20%

ArcGIS Open Data

Hoy en día muchas organizaciones necesitan o quieren compartir y liberar determinados datos, ya sea por requerimientos de transparencia o porque piensan que pueden ser útiles para otras organizaciones o personas

ArcGIS Open Data, es la pieza de la plataforma ArcGIS que nos va a permitir a todos los usuario compartir su datos y además podrá hacerlo sin que suponga un coste adicional en su presupuesto. Vamos a poder divulgar nuestros datos como datos abiertos si no que vamos a poder hacerlo desde un portal web propios y públicos que vamos a poder crear desde un entorno muy amigable, y que van a facilitar al usuario final ver información, consultar y descargarla en varios formatos, hoja de datos, csv, kml o shapefiles.

Esta es una funcionalidad más incluida en ArcGIS Online y tan solo vamos a tener que activarla

14 of 45

opendata.esri.es

opendatalapalma.es

manlleu.cat/dadesobertes

ArcGIS Open Data - Portales España

ESRI ESPAÑA

Ayto. LA PALMA

Ayto. MANLLEU

15 of 45

http://doc.arcgis.com/es/open-data/provider/federating-with-ckan.htm

ArcGIS Open Data - Federar con CKAN

16 of 45

ArcGIS Open Data - Open Components

dc.esri.com || github.com/esridc

Koop

Cedar

Open API

+

17 of 45

3 - Open APIs & Specifications

esri.com/software/open/open-apis-and-spes

18 of 45

API REST

APIs y especificaciones abiertas

i3S (indexed 3D Scene)

LERC (Limited Error Raster Compression)

File Geodatabase API y esquema XML

Shapefile

Webmap

SHX

DBF

SHX

Evitando el vendor locking – Hay y se pueden crear más: shapefiles, geodatabases, i3S, webmaps, etc

API REST:

Damos SDKs y librerías
Utilizar el lenguaje que quieras (NodeJS, Leaflet, AngularJS, React?, NativeScript, Ionic, Titanium, Ruby, Php…

Webmap

121 páginas de especificación en formato JSON
Permite representar un mapa
Incluye:

Información de contexto: mapa base, �referencia espacial, extensión inicial, etc.
Capas operacionales: URLs de los servicios, orden �de las capas, simbología/renderizadores, configuración de�popups, opacidad, etc.
Otros: marcadores, notas de mapa, etc.

i3S (Escenas 3D indexadas) & SLPK (Scene Layers Packages)

Creative Commons Attribution-NoDerivs 3.0
Tras investigar diferentes tecnologías para distribuir grandes vólumenes de contenidos 3D entre diferentes sistemas (servidores, cloud, soft. Escritorio, etc)
Ambos usan JSON y binary ArrayBuffers (es una tecnología que se usa para enviar datos en crudo (binario) y se apoya en algunas APIs como WebSockets, XMLHttpRequestions, WebWorkers, etc)
i3S puede extenderse
Codifican:

objetos 3D a partir de datos GIS (ej: exterior de edificios)
mallas integradas (mallas de pirámides, por ej: a partir de datos capturados por un dron), puntos, nubes de puntos, líneas y polígonos a partir de datos GIS (hospitales, árboles, señales)

File Geodatabase API y esquema XML

API de los ficheros GeoDatabase: permite acceder, visualizar y modificar datos almacenados en un fichero geodatabase. Soportando el modelo de información completa de la geodatabase, incluyendo: topologías, catálogos de imágenes raster, datasets de red y del terreno y localizadores de direcciones.
Esquema XML: este esquema abierto ofrece la posiblidad de transferir datos de cualquier geodatabase usando XML, pudiendo importar y exportar todos los elementos, incluyendo dominios, reglas, entidades y topologías

LERC

Licenciado bajo Apache 2.0
Es un formato de imagen o raster open source que permite la codificación y decodificación de cualquier tipo de pixel (no sólo RGB o Byte). Permite establecer un error máximo de compresión por pixel para garantizar un nivel de precisión.
Se puede/suele usar para:

Comprimir imágenes y garantizar que se vean bien
Controlar error máximo de codificación por píxel (importante al trabajar con: elevaciones, datos científicos, datos de imágenes médicas, etc.)

Algoritmos:

C++ para comprimir y descomprimir imágenes
Codes en JavaScript, C# y Python para decodificar ficheros LERC

Shapefiles:

Formato multiarchivo para almecenar elemtos geográficos (puntos, líneas y polígonos) y los atributos asociados a estos. Pero no por ejemplo información topológica
Archivos mínimos:

.shp -> las entidades geométricas de los objetos
.shx -> índice de las entidades
.dbf -> base de datos en formato dBase con los atributos de los objetos

Opcionales: .prj (información del sistema de coordenadas WKT), shp.xml (metadatos), …

Evitando el vendor locking – Hay y se pueden crear más: shapefiles, geodatabases, i3S, webmaps, etc

19 of 45

2 - Open Source

esri.com/software/open/open-source

20 of 45

Más de 350 proyectos en GitHub:

ArcGIS Editor para OpenStreetMap
Esri Leaflet, Angular, jQuery,…
GIS Tools para Hadoop
R – ArcGIS
ArcREST
Conectores GeoEvent: twitter, instagram, hadoop, mongodb, activemq, rabbitmq, kml, mqtt, kafka

Open Source

21 of 45

Soluciones:

Administración local
Gestión del agua
Smart communities

Open Source

Plantillas y aplicaciones:

Story Maps
Plantillas web ready-to-use

22 of 45

Casos de éxito: IMIDA, Ayuntamiento de Sevilla y Ayuntamiento de A Coruña

Open Standards - Esri Geoportal

Referencia de implementación del OGC para CSW

http://www.opengeospatial.org/resource/products

23 of 45

Open Standards - Contribuciones (>200 proyectos)

24 of 45

1 - Open Community

esri.com/software/open/community

25 of 45

Dudas:

geonet.esri.com (+180.000)
gis.stackexchange.com (+40.000)
StackOverflow (+4.700)
github.com/esri - Issues (+1.100)

Manuales y tutoriales

Ideas

bit.ly/our-ideas (+13.000)

Colaborar e interactuar

26 of 45

Interactuar/networking

meetup.com/es-ES/topics/arcgis/global/ (+8.900)
g eonet.esri.com/people (+6000)
Linkedin (+1600 ArcGIS, +1.500 Esri)
gisdevs.slack.com (+1.300)
geodevelopers.org (+900)
geodev.slack.com (26) & esri-es.slack.com (11)
#geodev, #arcgis, #storymap, #devsummit, etc.

Compartir código

codesharing.arcgis.com (+1.900)
github.com/esri/developer-support (+500)

Colaborar e interactuar

27 of 45

+67.500 datasets Open Data�+4.000 organizaciones Portales

Resumen: Esri Open Vision

+100 estándares soportados

+300 formatos de datos

+110 certificaciones OGC

Comunidad:

+225.000 Q&As

+160.000 tutoriales

+2.800 vídeos & slides

+13.000 ideas

+15.000 miembros

+350 proyectos Open Source

( +1000 issues respondidos )

6 APIs y especificaciones

+7.000 páginas de doc.

+100 productos (compatibilidad)

28 of 45

PREGUNTAS ABIERTAS

Raúl Jiménez - raul.jimenez@esri.es

bit.ly/EsriOpenVision

29 of 45

ADENUM

30 of 45

Nuestros usuarios trabajan con gran cantidad de tecnologías y necesitan que estas sean interoperables.

Jack Dangermond

31 of 45

6 - Open Standards

32 of 45

AIXM 5.1 - Modelo Aerunáutico

Especificación diseñada para permitir la codificación y la distribución en formato digital de la información aeronáutica�
Proporcionada por el Servicio Nacional de Información Aeronáutica (AIS) de acuerdo con el Convenio de la OACI.�
Los flujos de datos AIS que son cada vez más complejos y se integran en sistemas interconectados.

33 of 45

Open Standards - Metadatos

34 of 45

5 - Data & Product Interoperability

35 of 45

ArcGIS Maps for Office

*included with ArcGIS

36 of 45

ArcGIS Maps for Office

Visualiza
Geo Enriquece
Analiza (puntos fríos y calientes, busca entidades cercanas)
Comparte tus mapas (capas y/o mapas web)
Cuenta tu historia

Con ArcGIS Maps for Office podemos

Visualiza tus datos: crea mapas desde Excel y simbolízalos
Geoenriquece tus datos con más de 600 variables para España. Un ejemplo típico es disponer de una capa de tiendas, definir un área de influencia (por ejmplo tiempo de viaje en coche ) de la misma y ver el número de personas que viven en esa zona, el rango de edades que tienen, datos de educación, nacionalidades, número de hogares, renta, cuanto se gastan en diferentes apartados como comida, seguros, …
Analiza tus datos: buscar puntos frios calientes en tu capa o buscaentidades cercanas (permite seleccionar entidades en el mapa y buscar entidades que están dentro de una distancia determinada o dentro de un tiempo de recorrido de la selección.)
Comparte tus mapas. Compartir un mapa creado en ArcGIS Maps for Office con ArcGIS es una forma rápida y fácil de compartir información con otros usuarios dentro o fuera de su organización. Puede compartir capas individuales o el mapa completo. Cuando comparte un mapa, se crea un mapa Web en ArcGIS, donde puede seguir trabajando en él. También puede agregar el mapa a una diapositiva de PowerPoint.
Cuenta tu historia: se puede crear una diapositiva de que contenga una imagen estática del mapa o agregar un mapa dinámico.

37 of 45

ArcGIS for AutoCAD

Es un plug-in gratuito para AutoCAD
Descargable desde www.esri.com
Provee interoperabilidad entre el entorno CAD y ArcGIS
Permite el acceso a los mapas base de ArcGIS Online
Acceso a servicios de mapas, servicios de imágenes y servicios de entidades de ArcGIS Server
Permite la edición de servicios de entidades
La última versión de ArcGIS for AutoCAD soporta las versiones 2013-2017 de AutoCAD

38 of 45

Product Interoperability

SAP HANA
Esri Maps for Sharepoint
Esri Maps for IBM Cognos
Esri Maps for Power BI

Existen otras soluciones de interoperabilidad que permiten consumir datos espaciales desde diferentes plataformas como SAP. Sharepoint o Cognos.

NOTAS por si preguntan

Esri Maps for Salesforce ha entrado ya en soporte maduro, y ya no se puede descargar

se quiere impulsar una nueva estrategia de geoanalytics basada en Insights for ArcGIS y extensiones para BigData de ArcGIS for Server. La idea es poder explotar los datos de un BI desde nuestra plataforma, y no solo poner un mapa de visualización en plataformas de terceros.

En la web de producto de Microstrategy no hay nada anunciado, pero es posible que este sea el siguiente producto en discontinuarse.

INCLUIR TAMBIEN LA DESCRIPCIÓN DE CONEXTION PARA POWER BI, EVOLUCION GRATUITA QUE PERMITE CONSUMIR LOS CONTENIDOS DE LA PLATAFORMA ARCGIS DESDE OTROS PRODUCTOS.

39 of 45

Podemos:

Trabajar con una gran variedad de formatos, nativos o no.
Convertir formatos
Realizar transformaciones de datos, a nivel tabular o geométrico.
Sin conocimientos de programación.

Data Interoperability

Vamos a hablar en primera lugar de la extensión de data interoperability.

Esta extensión nos va a permitir extraer, transformar y cargar una gran variedad de formatos, sean nativos de o no de Esri.

Esto implica tanto la extracción de datos procedentes de diferentes formatos, como la transformación de los mismos, a nivel tabular (añadir campos, modificarlos, eliminarlos,…) o a nivel geométrico (como pueda ser crear un buffer por ejemplo) o carga de datos.

Para todo esto no es necesario tener conocimientos de programación ni escribir una sola línea de código.

Con esta extensión se puede trabajar en de seis maneras

Para integrar diferentes tipos de formatos en un único formato.

Para distribuir la misma información en varios tipos de formato, por ejemplo para el departamento financiero en Excel, para el departamento de gis en una geodatabse Enterprise sobre postgre y para los usuarios finales en un servicio de entidades accesible desde un portal open data.

Para migrar de un formato a otro.

Para validar datos, hay transformadores que permiten testear y validar geometrías.

Para detectar cambios en el esquema de los datos.

Y por último para automatizar procesos.

40 of 45

Importación y exportación rápida

Spatial ETL

Lectura directa

Data Interoperability

Vamos a poder trabajar con la extensión de tres formas.

Lectura directa: activar la extensión, buscar el fichero con el catálogo de ArcMap . Asemeja a un Featuere data set. Se puede usar en mapas y geoprocesos.

Importación y exportación rápida: formato a FGDB y al revés. Sin cambios en los atributos, ni del sistemas de coordenadas. Es una herramienta que se puede usar en Model Builder para, por ejemplo, automatizar geoprocesamientos

ETL: Se puede crear una spatial ETL desde el catálogo y acceder al espacio de trabajo de FME.

En pantalla podeis ver un ejemplo que hice con los datos de padrón, como partiendo de unos datos en txt y agregandole una serie de tranformadores, para añadir los código de municipio, y agregar esos datos a un esquema de geodatabse que ya tenía preparado de otros años.

En pantalla podeis ver dos transformadores, que se usan para validar. Con ellos podemos definir un flujo de trabajo para los casos en los que se cumpla la condición y otro diferente para el caso contrario.

Desktop, tanto arcmap como ArcGIS PRO 1.3 trabaja con FME

ArcGIS Server (permite publicar ETLS) y ArcGIS Engine también disponen de esta extensión

41 of 45

4 - Open Data

42 of 45

ArcGIS Open Data

Desktop

Web

Device

Server

Online Content and Services

Online

Web GIS

ArcGIS Open Data

Simple

Integrado

Abierto

Es un componente más de la plataforma que nos permite trabajar con información que tengamos en nuestra nube de ArcGIS Online como incluso servicios de entidades que tengamos en Arcgis Server y que podamos registrar en nuestras organizaciones.

ArcGIS open data es un componente que lleva activo más de dos años y que cada vez esta registrando un mayor crecimiento, tanto en el número de organizaciones que lo usan como en datasets compartidos.

Estos dos años se han caracterizado por el desarrollo de ArcGIS Open Data basándose en tres pilares

Esto es debido a que es

SIMPLE (con unos pocos clicks podemos convertir nuestro datos en open data)

INTEGRADO dentro de ArcGIS Online, no vamos atener que republicar nuestros servicios.

ABIERTO, ya que podemos integrar nuestros datasets con otras plataformas open spurce como CKAN.

43 of 45

ArcGIS Open Data

ArcGIS Online

ArcGIS Open Data

Public Access

Pero, ¿cual es el punto de partida si queremos publicar unos datos en ArcGIS Online?

Activar una funcionalidad que se encuentra en nuestras organizaciones y realizar un par de pasos muy sencillos en la publicación.

El primer paso es subir nuestros datos a ArcGIS Online, ya sean datos espaciales (vectores o raster), o no espaciales como tablas o documentos de todo tipo, pdf o imágenes.

Una vez activa la funcionalidad de Open Data basat con que al publicar nuestros datos los incluyamos en uno o varios grupos open data.

A partir de ese momento la información ya está disponible para los distintos portales de open data y la información podrá ser descargada en diversos formatos como csv, shapefile, kml, si estamos hablando de imágenes en png,jpeg o tiff, o incluso podemos usar directamente esos servicio ya sea como geoservicios o GeoJSON

Esto último tiene una ventaja : el usuario no tiene que preocuparse por las actualizaciones DE LOS DATOS, basta con conectarse al servico y cuando este se actualize con nuevos datos estos se reflejaran automáticamente, min¡entras que si elige la opción de descarga tendrá que estar atento a posibles actuazlaiciones para volver a descargarlo.

Tal y como hemos comentado antes podemos hacer esto mismo con nuestros servicios de ArcgiS Server y lo único que tensmos que hacer es registrarlo desde nuestra organización de ArcGIS Online y luego compartirlo con el grupo o los grupos open data que hayamos activado previamente.

AQUI CONVIENE TENER EN CUENTA LA NUEVA INTERFAZ DE OPENDATA, INDICAR LO POSITIVO QUE TIENE PARA QUE PODAMOS A PARTIR DEL PORTAL OPENDATA 2.0 OFRECER MEJORES RESULTADOS

44 of 45

ArcGIS Open Data

1.- Configuración

2.- Funciones

3.- Administrador de grupos

4.- Administrador de datos

5.- Editor del sitio

Cada organización puede crear un o varios portales open data sin coste adicional.

Se puede generar un portal de datos abiertos en cinco pasos

Configuración: nombre del sitio, iconos, Google analytics, un dominio personalizado, mapa base

Funciones: en las funciones podemos escoger algunas de las características del portal, como puede ser habilitar ls posibilidad de que los usuarios puedan crear graficos, habilitar una búsqueda mejorada, un resumen de ubicaciones, geohash (mostrar las ubicaciones en una cuadrícula), permitir el samrt mapping, maps de calor, habilitar las descargas en la proyección nativa del servicio en vez de en WGS84

Administrador de grupos: Desde aquí podemos buscar y elegir los grupos de open data que quieren que estén accesible en tu portal

Administrador de datos: los informes de datos y las herramientas de administración se proporcionan para ayudar a los administradores de Open Data a identificar los problemas existentes en los datasets del sitio de Open Data,

Editor del sitio: Desde el editor podremos s definir el diseño de la página de inicio y personalizar el encabezado y el pie de página. Todo esto se puede hacer desde la pestaña Editor del sitio. Esta pestaña te permite diseñar el sitio usando el editor proporcionado muy fácil de usar que se basa en widget que podemos ir arrastrando y cambiando de tamaño a nuestro gusto, podemos añadir tantos como queramos, podemos añadir textos, imágenes, podemos asignar a cada imagen una determinada categoría que lleve asociada un búsqueda o filtro predeterminado.

Si queremos una mayor personalización podemos usar código HTML y css y personalizarlo a nuestro gusto.

De momento estamos creando el portal, cuando estemos satisfechos con el resultado tan solo tendremos que pasar del modo privado al público. VER LA PARTE DE LAS MEJORAS OPENDATA PORTAL 2.0

45 of 45

ArcGIS Open Data

Descubre

Explora

Descarga

Comparte