domingo, 22 de mayo de 2011

MAPPING W3C 5 STARS AND MELODA

Find here a mapping table in order to understand how it is related a 5 stars qualifying of a data source and a MELODA assessment of a data source.


5 stars
MELODA

MELODA
Legal
Technical
Accessibility
make your stuff available on the web (whatever format) but with an open licence


> 17%
Minimum 25 %
It could be protected with an open licence but only private use
Minimum 0 %
It could be privative standards
Minimum 25 %
The access to information could require a manual selection of dataset althoguh being in an URL
★★ Available as machine-readable structured data (e.g. excel instead of image scan of a table)

> 17%
Minimum 25 %
It could be protected with an open licence but only private use
Minimum 0 %
It could be privative standards
Minimum 25 %
The access to information could require a manual selection of dataset althoguh being in an URL
★★★ as (2) plus non-proprietary format (e.g. CSV instead of excel)

>25%
Minimum 25 %
It could be protected with an open licence but only private use
Minimum 25 %
It could be an non-propietary format but without explanation about the content
Minimum 25 %
The access to information could require a manual selection of dataset althoguh being in an URL
★★★★ All the above plus, Use open standards from W3C (RDF and SPARQL) to identify things, so that people can point at your stuff

>67%
Minimum 25 %
It could be protected with an open licence but only private use
100 %
Using RDF and SPARQL
Minimum 75 %
It could no tinclude specific information about how to use data
★★★★★ All the above, plus: Link your data to other people’s data to provide context

>75%
Minimum 50 %
It could be protected with an open licence but only for non commercial uses
100 %
Using RDF and SPARQL
Minimum 75 %
It could no tinclude specific information about how to use data

Assessing opendata sources with MELODA


ASSESSING HOW TO

Stages 1 to 5 for every dimension (legal, technical and accessibility) are marked as 0, 25, 50,75 and 100%
Every dimension is weighted equal than the others. So that the global mark for an individual datasource is composed by one third of every mark.
Global assessing of an institution that releases data is the average of the mark of every datasource released by this institution.

Example

Institution A releases an opendata source that you are assessing. It is released as a csv file without further instructions about its content only for private use through a unique URL.
Legal assessing : Stage 2 → 25%
Technical assessing: Stage 2 → 25%
Accessibility assessing: Stage 3 → 50%
global mark (25% +25% +50% )/3 = 33,3%


The institution A which releases previous example has 2 additional sources apart from the above mentioned, one marked with 58% and another one marked 16%.
So that the final MELODA assessing for the institution is:
global mark (33,3% +58% +16% )/3 = 35,8%

MELODA 0.202 Methodology for assessing released data of opendata sources


INTRODUCTION. BACKGROUND

Objective

The aim of MELODA (MEthodology for reLeasing Open DAta) is to provide a tool that will accelerate the release of information to society, mainly from the public sector but also from the private sphere.
Its use is focused on the maximum use of released information including commercial uses, mixing with private sources, etc. So that legal issues about information are considered as well as technical and accessibility issues.

Users

This methodology is aimed at those public and private entities that are releasing data and want to maximize the use of data published under a free reuse scheme.

Where to find

We release new versions of this methodology in http://gobernamos.com check it out.

DIMENSIONS OF ANALYSIS

To be operational MELODA must obtain a figure by assessing the available information of a data source (the same information that any user could reach). This requirement restricts the number of dimensions of analysis.
In this version MELODA analyses three dimensions:
  • Legal framework
  • Technical Standards
  • Accessibility to the information
For each dimension to be analyzed 5 stages of maturity are considered.



Legal framework

In this five stages other considerations (i.e. Restriction of malicious use of informaTion, misuse, requirements to include the last update's date, etc are not included).
Attrirbution to the original source is always considered as a must.

Stage 1. Copyright.

Data sources in this stage:
  • Either will reserve the copyright of data, thus restricting unauthorized use
  • Either those entities require of an non-online authorisation to use the information (i.e. A form that has to be manually answered fits this category).Stage 2. Private use only

Stage 2. Private use

Data sources in this stage will allow the use of the data without approval processes but only for private uses. (non-commercial)

Stage 3. Non-commercial reuse

Data sources in this stage will allow reuse of data but they do not allow commercial uses of the information reuse.
(i.e. For a blog, for a non-profit organisation)

Stage 4. Commercial reuse

Data sources in this stage will allow reuse of data, including the commercial reuse.
(i.e. For any company in order to create new visualization of data)

Stage 5. Only recognition

Data sources in this stage will only ask re-users the attribution of the data.
I.e. releasing with CC BY.



Technical Standards for data releasing

Stage 1. Closed standard

Data sources in this stage are release on proprietary standards. Other open formats but not suitable for reutilization will be considered closed as well. The definition of open standard can be found in national level legislation.
Eg xls, pdf, doc, shp, etc.

Stage 2. Open standard

Data sources in this stage are published on open standards but as individual files.
i.e. eg, csv, txt, odb, odt, ods, etc.

Stage 3. Open standard with explanatory documentation

Data sources in this stage includes those which release information as open standards in individual files but with available explanatory information about the contents of the files.
i.e. csv, odb, odt, ods, etc with additional information about size, data type, range of registers of the file.

Stage 4. Open standards, individual access/metadata

Data sources in this stage includes those which release information accessible item by item through some technical mechanism (API, individual URI, etc). Additional information about the content of the data source is not available.
i.e. rdf without additional instructions

Stage 5. Open standard with associated metadata and explanatory material

Data sources in this stage includes those which release information accessible on individual basis through some open technical mechanism (open API, individual URI, etc). Additional information about the content of the data source is available.
I.e. rdf with additional documentation

Accessibility to information

Stage 1. No web access or manual request

Access to information requires a non-automatic approval process for access to data information or to register data in a manual form.

Stage 2. Web Access URL with registration or multiple sources

Access to information via the web, but requires user interaction to select the data source.

Stage 3. Web access or unique URL parameters

Access to information via the web, but allows each of the datasets to be accessed individually, or through a shortened URL, or by specific parameters in the query call.

Stage 4. Web Access URL only or update parameters

Access to information via the web, but allows each of the datasets to be accessed individually, or through a shortened URL, or by specific parameters in the query call and includes the date of last data update.

Stage 5. API or query language

Access to information provides access to specific data of the dataset, either by calling a documented API or through a query language of data sources
(I.e. SPARQL).

miércoles, 18 de mayo de 2011

OFF TOPIC. Oido en la radio a propósito de la #spanishrevolution

Aquí está la transcripción de la conversación en radio nacional de una oyente, Cristina, de Burgos, a propósito de las revueltas en la puerta del sol.
En rojo, me permito destacar algunas frases para la reflexión posterior de lo que puede ser el open gov que viene.


"Hola buenos días, estoy hablando con la radio pública verdad?


Vale, la que nos representa a todos. 
Vale la que estamos pagando con nuestros impuestos. Bueno, mira me parece absolutamente lamentable que desde la radio publica tengamos que estar escuchando, ahora que estamos en precampaña, bueno, que estamos ya en plena campaña electoral, que estemos escuchando a los dos principales partidos españoles como si fueran parvularios que lo único  que hacen es tirarse los trastos a la cabeza, yo todavía no he oído propuestas para que realmente tengamos una sociedad mejor, mas justa, mas equilibrada y mas equitativa para todos.


Tengo 46 años, estuve en la manifestación de Madrid este domingo y tengo que decir algo. 
Había muchisima gente joven, pero eramos gente de todas las edades y de todas las condiciones. 
¿Antisistema? Si, evidentemente, los políticos y los banqueros y los que realmente están apoyando esas medidas que realmente están recortando todos los derechos que nuestros padres y nuestros abuelos les costó sangre sudor y lágrimas, ganar, nuestros políticos, a los que hemos votado, que están dirigidos evidentemente por las mismas manos del capital, que están dirigiendo también los medios de comunicación, son los que están convirtiendo nuestros jóvenes o nuestros hijos en antisistemas por que los están dejando fuera del sistema.
El sistema en el que todos quisieramos vivir de una forma justa y de forma digna, todos quisieramos tener un hogar, quisieramos tener un trabajo y quisiéramos poder tener paz, tranquilidad para poder ver crecer a nuestros hijos y a nuestros nietos y ese futuro nos los están cercenando.


Asi es que, por favor, si vosotros, que estáis trabajando en la radio pública, que vuestros sueldos están pagados por los impuestos de todos nosotros, cuando tengáis en la tertulia personas como las que ha habido hoy, que uno de ellos ha dicho 'este tipo de jóven que tenemos', podemos volver a oir la tertulia y lo escucharéis, este tipo de joven que tenemos, es el que nos va a dar una gran sorpresa, por que España es diferente, efectivamente, España aguanta, aguanta, aguanta, aguanta,  pero llega un momento en que se dice basta  y ese momento ha llegado y ya no es el momento de la indignación, no, ahora ya es el momento de la reacción.


Los han echado de La puerta del sol y ahí estamos todos apoyándolos y no necesitamos partidos políticos, ni partidos económicos, no necesitamos nada de eso, nos bastamos y nos sobramos, nuestros padres y abuelos ya nos educaron en la dignidad de seguir siempre al frente persiguiendo nuestro ssueños. 

Ahi estamos todos. No, no hay antisistemas, no hay cuatro  descerebrados, no. Somos todos, los que estamos reivindicando un mundo mejor.  Es lo unico que quería decir."

1) estamos pagando con nuestros impuestos
Es claro que se va a exigir más 'rendimiento' y transparencia a aquellas entidades que son sufragadas con el esfuerzo ciudadano. Open data
2)  dos principales partidos españoles como si fueran parvularios que lo único que hacen es tirarse los trastos a la cabeza
Aunque el debate y la discusión no terminará nunca, se está reclamando más concreción en las propuestas. La dicotomía izquierda vs derecha pierde su sentido y se reclama de las organizaciones políticas recojer el sentir ciudadano en forma de propuestas. Gobierno abierto.
3) a los que hemos votado,
El voto cada 4 años no da carta blanca a la clase política para la acción.  Los ciudadanos están comenzando a exigir participación en las decisiones entre periodos de elecciones. Gobierno abierto.
4) ahora ya es el momento de la reacción
La conectividad P2P ciudadana permite que la respuesta ante una mala praxis se pueda organizar en cuestión de horas como demuestra el hashtag #spanishrevolution. Escucha activa.
5)No necesitamos partidos políticos, ni partidos económicos, no necesitamos nada de eso, nos bastamos y nos sobramos,
La conectividad P2P ciudadana permite además que la intermediación de los partidos políticos y otros agentes sociales sea claramente puenteada si la ocasión lo requiere. Nuevas formas de gobierno abierto.

domingo, 15 de mayo de 2011

MELODA: Metodología de evaluación de fuentes open data

MELODA. MEtodología de Liberación de Open DAta.
Aunque llamarle metodología es pretencioso, aquí está. Y puedes ver los  resultados de su puesta en práctica en este mapa y el formulario para aplicarla.

INTRODUCCIÓN. CONDICIONANTES

Objetivo

El objetivo de MELODA es proporcionar una herramienta más que permita acelerar la liberación de datos a la sociedad, fundamentalmente del ámbito público pero también del ámbito privado.

Destinatarios

Esta metodología esta orientada a aquellas entidades tanto públicas como privadas que estén realizando procesos de liberación de datos y quieran maximizar el uso de los datos que publican bajo un esquema de reutilización libre.

DIMENSIONES DE ANÁLISIS

Para ser operativa MELODA ha de obtener la información de la evaluación de la misma forma que cualquier usuario. Esto restringe el número de dimensiones de análisis.
En esta versión MELODA atiende a tres dimensiones:
  • Marco jurídico
  • Estándares de liberación de datos
  • Mecanismos de acceso
    Para todas las dimensiones a analizar se consideran 5 estadios de madurez.

Marco jurídico

Para el marco jurídico se contemplan 5 estadios. Para todos ellos no influirá términos que restrinjan usos malintencionados de la información, usos contrarios a la legislación vigente, indicación de la última fecha de actualización etc.

Estadio 1. Copyright.

En este estadio estarán todas las fuentes que reserven el copyright de los datos, restringiendo por tanto usos no autorizados o aquellas entidades que para el uso  de los datos requieran de procesos de aprobación previa.

Estadio 2. Uso sólo privado

En este estadio estarán todas las fuentes que permitan la utilización de los datos sin procesos de aprobación pero sólo para usos privados.

Estadio 3. Reutilización no comercial

En este estadio estarán todas las fuentes que permitan la reutilización de los datos pero no permitan los usos comerciales de esa reutilización.

Estadio 4. Reutilización comercial

En este estadio estarán todas las fuentes que permitan la reutilización de los datos, incluyendo la reutilización comercial.

Estadio 5. Solo atribución

En este estadio estarán todas las fuentes que permitan la reutilización de los datos, con la única restricción de la atribución de los datos a la fuente originaria.

Estándares de liberación de datos

Estadio 1. Estándar cerrado

En este estadio estarán todas las fuentes que incluyan la publicación de información en estándares propietarios o que no faciliten la reutilización de la información como por ejemplo accediendo a datos individuales. La definición de estándar abierto puede encontrarse en la legislación nacional1.
La publicación será en formato fichero agregado.
Ej. xls, pdf, doc, shp, etc

Estadio 2. Estándar abierto

En este estadio estarán todas las fuentes que incluyan la publicación de información en estándares abiertos2 pero en forma de ficheros individuales.
Ej. csv, odb, odt, ods, etc

Estadio 3. Estándar abierto con documentación explicativa

En este estadio estarán todas las fuentes que incluyan la publicación de información en estándares abiertos3 y además incluyan documentación adicional explciativa del contenidos de las fuentes de datos que se encuentran en forma de ficheros individuales.
Ej. csv, odb, odt, ods, etc

Estadio 4. Estándar abierto con metainformación asociada

En este estadio estarán todas las fuentes que incluyan en su publicación metainformación asociada de forma que sea posible la utilización por medios semánticos, pero que no incluyan documentación explicativa.
Ej. rdf,

Estadio 5. Estándar abierto con metainformación asociada y documentación explicativa

En este estadio estarán todas las fuentes que incluyan en su publicación metainformación asociada de forma que sea posible la utilización por medios semánticos, y que además incluyan documentación explicativa.
Ej. rdf

Mecanismos de acceso

Estadio 1. No acceso web o bajo petición

El acceso a la información no es por vía web, o requiere de un proceso de aprobación para el acceso a los datos de la información

Estadio 2. Acceso web bajo registro o URL múltiples fuentes

El acceso a la información es por vía web, pero requiere de interacción manual para la selección de la fuente de datos.

Estadio 3. Acceso web URL único o con parámetros

El acceso a la información vía web, pero permite que cada uno de los datasets sea accedido de forma individual, bien por medio de una URL acortada o bien mediante parámetros específicos en la query de llamada.

Estadio 4. Acceso web URL único o con parámetros con actualización

El acceso a la información vía web, pero permite que cada uno de los datasets sea accedido de forma individual, bien por medio de una URL acortada o bien mediante parámetros específicos en la query de llamada y además incluye la fecha de última actualización de los datos.

Estadio 5. API o lenguaje de interrogación

El acceso a la información proporciona acceso a segmentos de datos específicos del dataset, bien mediante llamadas a un API documentado o bien por medio de un lenguaje de interrogación de fuentes de datos (P.e. SPARQL).

martes, 10 de mayo de 2011

Acceso ciudadano, open data y gobierno abierto

El próximo jueves 12 de Mayo tendrá lugar en las Escuela Superior de Telecomunicaciones de la UPM, la reunión anual del foro de gobernanza de internet.
Dentro de las sesiones tendremos a las 10:30 una sesión bajo el título "Acceso ciudadano, open data y gobierno abierto" donde contaremos con  las siguientes microponencias.
  • Alberto Abella. El futuro del opendata. Rooter
  • David Cabo. Desafío abredatos. Pro bono publico
  • Francisco Ruiz. Reutilización de información del sector público. Google.
  • Hector Montenegro. Cloud Computing en proyectos Opendata. Microsoft
  • Pedro Gato. “La contratación pública en un entorno abierto”. Vortal
  • Miguel De Bas. Pacto por la transparencia. Gate2g
  • Antonio Fumero. ¿Por qué lo llaman tecnología cuando quieren decir ciudadanía?. UPM.
  • Roberto Santos. Retos del Ogov masivo, acceso multicanal y dispositivos en movilidad. Telefónica.
  • Lourdes Muñoz.  Gobierno abierto, gobernando con los ciudadanos. PSOE 
Serán ponencias de menos de 5' para que la participación sea amplia y así poder recoger las más amplias conclusiones que plasmaremos en un posterior documento.
Además estaremos en el hashtag de twitter #IGFS11_OPEN donde podréis hacer preguntas y comentarios que se verán en directo.

Os podéis inscribir (es gratis) hasta llenar aforo en este enlace:  seleccionando el evento adecuado (JORNADA ANUAL DEL FORO DE LA GOBERNANZA DE INTERNET IGF Spain 2011)

martes, 3 de mayo de 2011

Ranking del #Opendata español

¿Se pueden clasificar los #opendata de España?
Problema: "¿Valen lo mismo todas las iniciativas Opendata? ¿Son igual de buenas? ¿Cómo compararlas desde una base objetiva? ¿Se puede llegar a una cifra que clasifique a las distintas fuentes de datos opendata?".
Aunque todavía son pocas las iniciativas #opendata en España, ya merece la pena tener una forma objetiva de compararlas.
Manos a la obra, ¿Podemos utilizar las 5 estrellas de Berners-Lee?

Incluir las restricciones legales
Es difícil por cuanto, probablemente por optimismo, la clasificación no incluye las restricciones legales que los publicadores (a veces AAPP)  pueden incluir al uso de la información. Por tanto podríamos decir que la clasificación a utilizar debe  adaptarse al estadio y tipo de publicadores en que nos encontramos.

Con 3 dimensiones basta
Dicho y hecho, aplicando metodología KISS, la solución se reduce a sólo 3 dimensiones de análisis, ya que de las  muchas posibles la mayoría no son accesibles, en general, vía web, por tanto:
1) Medir la licencia legal de publicación y los usos que permiten de los datos, buscando el máximo de reutilización.
2) Medir la accesibilidad,  en el sentido de posibilidad automática de acceso para garantizar el máximo uso.
3) Medir la apertura de la tecnología utilizada para publicarla lo que facilite la creación de herramientas que utilicen los datos.

Capturando los datos de las fuentes
Para llegar a nuestro objetivo, una cifra que valore la reutilizabilidad de una  fuente, es necesario asignar un peso a cada uno de estos aspectos y dentro de cada uno establecer una forma como asignar una nota. 
En este formulario de 3 preguntas se  realiza la toma de datos de cada dataset analizado (asignando la respuesta más próxima entre 5 opciones para cada una de las dimensiones) sin tener que realizar ninguna otra operación que se resuelve a partir de los datos introducidos en otras partes de la hoja de cálculo.

Se puede participar
Se puede participar en este análisis sin entrenamiento previo, ya que el formulario para calificar nuevas fuentes está abierto (y moderado por si los spammers).

Respuesta: Un Mapa interactivo
El resultado es un mapa interactivo (hacer click en la imagen) donde en cada punto (correspondiente a una entidad) se promedia la nota de todos sus datasets analizados.

NOTA: Todos los organismos públicos que todavía no publican sus datos son peores que los que aparecen en el mapa.