2012 no será el año del opendata

Ya me gustaría decir lo contrario, pero 2012 no va a ser el año de la explosión y popularización del opendata por mucho que sus partidarios nos parezca que cada vez está mas difundido. Y argumento por que no ocurrirá en 2012.

Condiciones mínimas

No se dan condiciones mínimas como son, entre otras: 

1- Un acuerdo político para que el opendata se considere una política regular en el ámbito público y no un elemento más de debate político y que por tanto no sea relegado en las decisiones públicas para evitar la lucha partidista.

2- La ley de transparencia, que ojalá tengamos en Marzo (programa PP pag 145), seguramente tendrá un plazo transitorio de 6 meses (y más probablemente 12), por lo que no veremos amplios ejemplos de publicación por la presión legislativa durante el 2012.

3- El opendata es muy barato y además rentable, pero es prácticamente imposible en el actual contexto de recortes realizar inversiones para este tipo de políticas que todavía no son bien entendidas.

4- Todavía se entiende el opendata como un tema técnico y por tanto de ámbitos restringidos y técnológicos y no como una herramienta de mejora de la propia administración.

5- En no pocos casos la publicación de datos todavía 'da miedo' a parte de los responsables públicos por la falta de experiencia en el manejo de este tipo de iniciativas.

6.- No existe un consenso de como implementarlo (licencias, herramientas, estándares) lo cual aumenta los tiempos de decisión y lanzamiento.

Que se podría alcanzar en 2012

1- Crear un consenso sobre como implementarlo tanto en formatos, herramientas y licencias de publicación de forma que la interoperabilidad entre las distintas fuentes sea máxima y por tanto la utilidad para la sociedad lo sea proporcionalmente. Esa utilidad mostraría el camino para siguientes inversiones.

2- Que tengamos claro que cuando hablamos de #transparencia estamos hablando de publicar datos de forma que sean reutilizables y por tanto tengamos una ley de Transparencia que esté alineada con este principio.

3- Explicar que publicar pdfs en formato imagen no es hacer públicos los datos sino más bien ocultarlos y que 'no se vuelva a repetir'. Aunque es justo decir que es mejor eso que no publicar nada.

4- Incorporar en el procedimiento administrativo la publicación automática de la información que pueda considerarse de interés público. Y así evitar la búsqueda de datasets interesantes.

5- Que se consolide el ecosistema empresarial alrededor del opendata, y que por ejemplo a alguien se le ocurra que sería util publicar datos para atajar el fraude fiscal y la economía sumergida y así hacer menos penosos los recortes.

y seguro que muchas cosas más. 2012 será un buen año para el open data pero no me jugaría una cena a que pudiera decirse que es el año del opendata, al menos en España.

Lo que sí podría ser el año en que se establecieron las bases para que 2013 lo sea. 

Habrá que trabajar juntos para lograrlo.

Opendata para el público ¿Tan dificil es de entender?

El término Opendata describe una nueva forma de administración publica. cuando lo analizamos no es tan nueva.

http://www.policia.es/terroristas/ter_yihad1_sp.html

Para las empresas está claro el Opendata

Está bien debatido la utilidad de la publicación y apertura de datos públicos y privados para la generación de economía asociada a su explotación profesional de los datos. Multitud de estudios lo corroboran aunque, en mi opinión la parte del león de sus beneficios está en otro sitio.

¿Y para los ciudadanos?

Sin embargo parece que, para los ciudadanos, la publicación de datos (especialmente desde el ámbito público) solo tiene como finalidad la transparencia de la gestión. Aunque deseable, es una de las muchas utilidades. Y solo analiza a los ciudadanos como meros agentes pasivos de dicha publicación, y este supuesto no tiene por que ser cierto.

El opendata habilita la colaboración ciudadana 

En la foto de la derecha está uno de los delicuentes más buscados por la policía española. 

¿Que está haciendo la policía?, ¿Está dejando de hacer su labor? ¿Está comprometiendo su trabajo por publicar esta información? ¿Está cambiando sus procedimientos de trabajo por esta publicación? ¿Les cuesta más dinero publicar esta información y atender a los posibles informantes que no publicarla?

La policía ya resolvió esa cuestión. Y aunque es verdad que puedan tener un pequeño coste por compartirla y recibir la colaboración ciudadana, también es verdad es que su labor de esta manera es mucho más eficaz, y por tanto la inversion está bien justificada.

La publicación es una forma de opendata donde el ciudadano puede aportar mucho valor incluso con un mínimo esfuerzo por su parte. 

¿Es tan deficil de entender?

De igual manera cuando se publiquen mayoritariamente los datos del ámbito público, sin dejar de hacer su labor, las AAPP tendrán una ayuda inestimable de la ciudadanía que les ayudará a corregir muchos de sus datos, mejorar otros, y a sacar a la luz algunas de las incosistencias del proceso administrativo.

Por tanto cuando hablamos de abrir los  datos, especialmente en el ámbito público no estamos hablando de nada radicalmente nuevo, sino de un término nuevo, opendata. La apertura generalizada de datos es hoy posible por el  avance de las tecnologías de la información y su masiva adopción por los ciudadanos. Es el opendata, por tanto, la forma moderna de gestión pública (y privada).

Y no es, por tanto, una política de ninguna tendencia partidista al igual que no lo es el uso de ordenadores, de teléfonos móviles, etc.

Cuanto antes lo entendamos antes podremos explorar sus posibilidades y disfrutar de sus beneficios.

Los tres errores fatales de la comunidad Open española

En este artículo voy a revisar los errores que cometió la comunidad Open española durante la última década, con el fin de evitar que cometamos errores similares errores en la comunidad de opendata y de gobierno abierto. 

Tal vez algunos otros países puedan haber cometido errores similares.

España fue pionera en el desarrollo de una comunidad de código abierto y software libre. Desde principios de 2000 numerosas y relevantes personas habían presionado y argumentado a favor de la adopción de tecnologías abiertas, es decir, software libre, estándares abiertos, etc

Sin embargo hoy, 10 años después, España no tiene diferencias notables en la aplicación de las tecnologías abiertas, ni en las administraciones públicas, ni entre la gente corriente. Como excepción a esta situación debería mencionarse la avanzada legislación de apoyo que posee España, pero esta legislación no tiene una correspondencia con las implementaciones reales.

¿Por qué? En mi opinión, debido a tres errores fatales.

Error 1: Que los políticos lideren a la comunidad,

Cuando en 2002 el gobierno Extremeño anunció su Linex (distribución de Linux para Extremadura), la mayoría de los partidarios aplaudieron la valentía de los gobernantes de la Junta de Extremadura para hacer frente al monopolio de Microsoft.

Desafortunadamente, los políticos no piensan en el beneficio de sus ciudadanos, sino en su propio beneficio en términos de resultados electorales. Por lo tanto, su enfoque no era crear un ecosistema global y sostenible, sino disponer de una herramienta política para demostrar su independencia y la tecnología puntera que se estaba adoptando, independientemente de su sostenibilidad a largo plazo.

Así se centraron más en su adaptación regional que en la posibilidad de tener una base de usuarios enorme en todo el mundo y que convirtieran la tecnología en comercialmente viable. 

La mayor parte de los defensores de la comunidad abierta, y yo era uno de ellos, consideramos el uso político de las tecnologías abiertas, como un mal menor, siempre y cuando el apoyo y los fondos fueran derivados a alimentar el ecosistema open. Lo admitimos incluso cuando en un sinsentido, los políticos presentaron las tecnologías abiertas como políticamente favorables a sus opciones (en su mayoría de izquierda). La mayoría de la comunidad estuvimos de acuerdo entonces.

Pasó el tiempo y otras regiones españolas (Andalucia, Castilla La Mancha, Madrid, Valencia, Cataluña, Melilla), independientemente de su tendencia política adoptaron idéntico razonamiento. Como resultado involuntario, se creó un lío de las distribuciones de linux alimentadas con fondos públicos. Y evito la creación de una masa crítica de usuarios para mantener un mercado independiente. El tiro final fue la creación de una entidad pública nacional para apoyar el enfoque de las tecnologías abiertas para las administraciones central y regional. Lo que se pensó como una buena idea, fue lanzado con un perfil bajo, por lo que resultó inútil para prescribir las tecnologías abiertas para el resto de las administraciones o la creación de los estandarización común entre las administraciones.

Actualmente, cuando el impulso público se ha reducido debido a la crisis, las comunidades alrededor de estas distribuciones, simplemente han muerto de hambre. O cuando las elecciones cambiaron a los gobernantes, los recién llegados simplemente declararon obsoleto el enfoque y dejaron que las iniciativas murieran por falta de apoyo.

Error 2: Dividite a ti mismo y serás derrotado

Aunque parezca increíble, desde el inicio del movimiento Open en España, las divergencias y otro tipo de divisiones estuvieron presentes y los primeros gestores públicos en apoyar a las administraciones públicas fueron criticados cuando sus primeros pasos no fueron tan avanzados como se deseaba en la comunidad.

Además de las incomprensibles diferencias regionales, había otras diferencias como software libre vs código abierto, debian frente a otras distros, el enfoque de la comunidad voluntaria frente a las empresas, etc. De ello se beneficiaron ampliamente las empresas de tecnologías cerradas y privativas que lanzaron una gran cantidad de FUD, que se podría nresumir en una sentencia de "las tecnologías abiertas no son fiables ni tienen soporte". 

La división fue tan importante que incluso contando en España con hasta 130 grupos de usuarios de software libre en la primera mitad de la década resultó imposible (en dos ocasiones se intentó) crear algún tipo de federación que constituyera un lobby de las tecnologías abiertas. 

El desperdicio de de recursos reinventando la rueda, como creando nuevas distribuciones regionales de Linux, lanzamiento de eventos terriblemente locales, o recrear aplicaciones existentes, etc fue finalmente insostenible y la comunidad hoy en día está compuesta principalmente por pequeñas empresas.

Error 3: Si no explicas tu impacto global en la sociedad serás  marginado 

Siempre que se quiere influir en la sociedad hay que explicar a los ciudadanos de la calle por qué es importante para ellos. Un refrán dice "Nada hay en el mundo  más peligroso que la ignorancia sincera y la estupidez motivada". Aquellos amantes de la consola negra de comandos promocionando las  tecnologías abiertas crearon la falsa imagen de que las tecnologías abiertas eran sólo para geeks y frikis.

Hoy en día, cuando la consola negra es historia para los usuarios normales de las tecnologías abiertas, estas imágenes permanecen en la mayoría de los usuarios potenciales.

Si a esto le sumamos, un mensaje lleno de términos técnicos, hablar de  problemas que afectan únicamente a los programadores (p.e. rendimiento, calidad código, etc), el mensaje será marginado de la sociedad en general, independientemente del desempeño increíble que pudieran proporcionar.

La emergente de comunidad de datos abiertos tiene que evitar estos tres icebergs para llegar a buen puerto. 
Para sortear el primer iceberg, los políticos: Abrir datos es una componente de la  gestión pública moderna. Y el pilar principal de un gobierno abierto. Defensores y activistas por los datos abiertos tienen que evitar  ser utilizados por ningún partido político. 

Públicar opendata y su transparencia implícita es "La forma moderna de la gestión de la 'cosa pública'", que cuenta con una gran cantidad de efectos positivos (económicos, transparencia, responsabilidad, agilidad, etc.). Así que, la aplicación en las administraciones públicas debe considerarse como la introducción de las computadoras hace algunas décadas, una tecnología básica para la gestión y la metodología de los procesos públicos, pero no una cuestión política sujeta a la controversia.

Para sortear el segund iceberg : Dispersión

Cooperación activa y Normalización (y por lo tanto la posibilidad de co-operar) es un factor clave para crear una masa crítica de usuarios, profesionales de las empresas, los ciudadanos o lo que sea.

Aunque el enfoque linked data cumple perfectamente esta tarea, su alto costo de adopción (en tiempo, cambios de procesos y de costos) podría limitarle como solución esperada a la normalización. La normalización de datos OpenData es un tema urgente. Si eres un activista de la comunidad open de internet antes de lanzar cualquier cosa, busque la colaboración, llegará más allá que si vas solo.

Para sortear el tercer iceberg: Frikismo

Hay que mostrar el impacto significativo del opendata en la economía real y en la sociedad  no sólo en términos de las empresas y servicios directos creados, sino también su impacto sobre el fraude fiscal y la economía informal. Las cuentas de la economía informal en España un 23% (245.000 M €) del PIB en España (suma  igual que turismo y la industria automotriz juntos en España, las dos principales del país). El despliegue masivo del opendata  no es una cuestión técnica, es un cambio en la forma en que se gestiona una sociedad, y por lo tanto tiene un reflejo en la economía real en términos de creación de empresas, la reducción del desperdicio de recursos y como facilitador de servicios innovadores tanto públicos como privados que aumentan la competitividad nacional.

Así que el mensaje en torno a "Open data no es una cuestión técnica, sino una evolución natural en el gobierno de las sociedades modernas".

Which dataset has to be released first for the opendata?

Learning from the elder

The open source community learnt that choosing the right application to implement is much more important than initially estimated. The release in  1991 of the first linux kernel launched an international movement that nowadays has change global software market.

Although lots of libre software had been released before linux kernel (i.e. GNU ), it was not until a full operative system was available that the open source community become a relevant international movement.

One of the main reasons for this success is that the community is providing value  not only for final users but also for a set of companies which are profiting from the results. Some of them return resources (code, diffusion, products) for the community which help to make it sustainable.

This is the reason why exclusive volunteer communities, or exclusively local  public sponsored communities has an unclear future. 

Now it is turn of the open data community

Open data community, specially those profiting from public sector information is lobbying public administrations to release as much information as possible.  However  in order to sustain a long-term community the election of the first datasets to be released is a key factor.

It is well known that geographic and transport information together with public bids is currently providing most of the value for the PSI professional reusers. However this is not necessary same way in a coming future. 

I strongly doubt that geographic or transport information will provide most of the value. Not because of the undoubtful value of this datasets but for the comparison with some other datasets.

Where is the gold mine?

Spain, where I live, accounts for 65.000 million euros a year of fiscal fraud. Not only this, but the informal economy accounts for 23% of the GDP (245.000 M€). 

It is hard to think that it is not possible by releasing some datasets to reduce these amounts.

1% of informal economy reduction means 4 times the estimated potential turnover for the reuse information sector in Spain. this sector currently  which sums only 600 million euro. Fiscal fraud reduction of 1% means ta bit more than this full sector.

So, in terms of profiting and helping the opendata community those datasets helping to reduce informal economy and fiscal fraud should be one of the first datasets to be released.

There is always somebody looking at released data

So 'with a little help of my friends' the release of datasets for finding fiscal fraud or informal economy is condemned to succeed.

It is not needed to discover the 2.000 M€ in potential fiscal fraud but only with the menace of being discovered (specially for your competitors) the amount of people not fulfilling their fiscal obligations will be dramatically reduced.

I do not mean to release personal information, but I am pretty sure that relevant information for detecting fiscal fraud could be easily release to the public  from the tax administrations.

Warning of three deadly mistakes of the Open Spanish community

In this article I am going to revisit several mistakes the Spanish Open community made last decade in order to avoid that similar faults would lead the Open data / open government community to lose the opportunity which we are facing today. Maybe some other countries would share some of these mistakes.

Background

Spain had been a pioneer in the development of an open source and software libre community. Since the early 2000 numerous and relevant people had surged claiming on the adoption of open technologies, i.e. FLOSS, open standards, etc.

However today, 10 years after, Spain has no remarkable differences in the implementation of open technologies, neither in the public administrations nor between current people. As an exception to this rule could be mentioned the supportive legislation it has been passed but this support has not a correspondence with the real implementations.

Why? Due, in my opinion, to three deadly mistakes.

Error 1: Let politicians to lead the community,

When in 2002 Extremadura government announced its Linex (Linux distribution for Extremadura) most of the advocates clapped for the courage of the Extremadura's rulers to face the monopoly of Microsoft.

Unfortunately, politicians think not in their citizens' profit but in their own profit in terms of voting results. Therefore their focus was not to create a global and sustainable ecosystem but to have a political tool to show their independence and the bleeding edge technology they were adopting, independently of its long term sustainability.
They remark the regional adaptation over the possibility to have a huge users' base all over the world.
Most of the advocates of the open community, and I was one of them, considered the political use of open technologies, a collateral and affordable damage, as long as support and funds were derived to feed the open ecosystem. Even when in a crazy move, politicians presented open technologies as politically biased (mostly left-wing) most of us agree with the inconsistency.

Time went by and other Spanish regions (Andalucia, Castilla La Mancha, Madrid, Valencia, Cataluña, Melilla city) independently of their political trend  adopted identical reasoning. What they, involuntary, created was a mess of linux distributions feeded with public funds but unable to create a critical mass of users to sustain an independent market.
Final shot was the creation of a public national entity to support the open technologies approach for the central and regional administrations. What it thought as a good idea, it was launched with a low profile, so that it resulted useless to prescribe open technologies for the rest of administrations or to create those common standardisation between administrations.

Currently when public impulse has been reduced due to crisis, the communities around these distributions simply have died of starvation. Or just when elections changed the rulers, newcomers simply declare obsolete the approach and let the initiatives die without any support.

Error 2: Divide yourself and you will be defeated

Incredibly, since the beginning of the floss movement in Spain,  divergences and other kind of divisions were present and early supporters from public administrations were criticised when their first steps were not as open as expected.

Apart from the incomprehensive regional differences, other differences like  Software libre against open source, debian vs other linux distributions  community approach against company use of open technologies, etc were widely profited for the closed and privative technologies companies with lots of FUD which could be summarised in a sentence "Open technologies are neither reliable nor supported". 

Division was so present that even counting with more than 130 FLOSS users' groups by the first half of the decade it resulted impossible (twice was tried) to federate them in a significant way in order to constitute an open technologies lobby.

Such waste of resourses reinventing the wheel, in the form of new local linux distributions, terribly local events, or the forks of existing applications etc was unsustainable and today community is mostly composed by small companies.

Error 3: Let minimize your impact on society and you will be margined

Whenever you want to influence in your society you have to explain to the Joe bloggs why it matters to them. A saying states that "Nothing in the world is more dangerous than sincere ignorance and conscientious stupidity". Those (black console' lovers) who in the early days were promoting open technologies create the false image than open technologies were only for geeks and freaks.

Nowadays, when black console is history for normal users of open technologies, these image has not been removed from most of potential users.

If you add to this, a good bunch of technical terms, talking about problems which only affect programmers, and looking like an outsider, your message will be definitely put apart from the masses, independently of the incredibly performance or the indisputable reasoning it could provide.

Emerging Open data community has to avoid this three icebergs for a secure navigation
Those 3 mistakes could shed light on the path that the open data community has to travel. find here suggestions on how to avoid them.

First iceberg, politicians: Open data is the modern management

Public Open data is the main column of the open government approach. Open data advocates and activists has to avoid to be used by any political party. Public open data, and its implicit transparency is "The modern way of managing the 'Res publica'" with lots of positive impacts (economical, transparency, accountability, agility, etc).

So that, implementation into public administrations should be considered like the introduction of computers some decades ago, basic technologies for the management and methodology for the public processes but not a political issue to dispute.

Second iceberg dispersion: Active Co-operation

Normalisation (and therefore the possibility to co-operate) is a key factor in order to create critical masses of users, professional, companies, citizens or whatever. 

Although linked data approach would accomplish this task, its high cost of adoption (time, processes and cost) could restrict it from being the expected solution to the normalisation.

Standardisation for common data (opendata) it is an urgent issue. If you were an activist of the open community check Internet before launching anything, you will go further if you were not alone.

Third iceberg opendata as a geek topic: Significant impact in real economy and society

Economic impact of the opendata have to take into account not only in terms of the direct companies and services created but also their impact on fiscal fraud and informal economy. Informal economy accounts for a 23% (240.000 M€) of GDP in Spain (same as Tourism and automotive industry together in Spain).

Massive Open data is not a technical issue, is a change in the way a society is ruled, and therefore it has a reflect in real economy in terms of company creation, reduction of wasted resources and innovative public and private services which increase national competitiveness.

So the message around "Open data is not, a technical issue, but a main trend in the our current societies' governance".

charla sobre opendata en sevilla y 100 twitts sobre opendata

Aquí podéis ver la charla que bajo el título 
Aspectos Legales en la Apertura de Datos from Opendatasev on Vimeo.
Estos son los casi 100 twitts en los que se basa la charla
INICIO
-Arranque de la sesión experimental en #opendatasev sobre aspectos legales del #opendata
-soy @aabella de la empresa @rooteranalysis
-colaboracion con @probp y con el grupo de #periodismodatos de @medialab-
El #opendata en españa para niños http://is.gd/Kox7Fp #opendata #opendatasev
hoy aprenderemos mucho de @dcabo @jdelacueva y del resto ponentes
Agradecer a @cabralens @vicky_anderica de @accessinfo y a @albertocairo sus ideas
interacción en la sesión de #opendatasev con el hashtag #opendata #opendatasev

CONTEXTO GENERAL del #opendata #opendatasev
#opendata #opendatasev ¿Por que es importante?
Razón 1 #opendata: ¿Se puede tener un #ogov gobierno abierto hasta no tener sus datos abiertos? #opendata #opendatasev
Componentes de gobierno abierto #ogov. Publicación opinión y participación #opendata #opendatasev
#ogov Publicacion: No solo publicar sino alimentar el ecosistema. No nos pase como aqui http://forjamari.linex.org/ #opendata #opendatasev
Razón 2 #opendata: corrupción:problema teoría de juegos. si defraudar paga mucho más que cumplir http://is.gd/TWwBkn #opendata #opendatasev
En Noruega el pago de impuestos es público. http://is.gd/BnhMzK ¿Reduciríamos #corrupción? #opendata #opendatasev
Noruega 8,6/10 no #corrupcion, españa 6,1/10 http://is.gd/nzsrCV #opendata #opendatasev
Razón 3 #opendata: para ayudar ¿como podemos ayudar a frenar el gasto en componentes no esenciales si no es publico? #opendata #opendatasev
A la hora de ver el gasto publico no es lo mismo esto http://is.gd/QyTJH2 q esto http://isa.gd/wur8YO (era i/alegal) #opendata #opendatasev
La minera goldcorp se salvo gracias a abrir sus datos http://is.gd/VCQhMy y hasta le dieron un premio #innovación #opendata #opendatasev
Razón 4 #opendata: económica es decir empleo #opendata #opendatasev
¿Que es mas importante el #opendata publico o el privado? #opendata #opendatasev
#opendata simpatico son los datos de transporte, tiempo geolocalizados, etc #opendata #opendatasev
Los datos 'antipaticos' todavía o no se liberan o se mal liberan. Económicos, gasto, inversión, etc #opendata #opendatasev
España tiene un nuevo portal de datos abiertos #opendata #ogov http://is.gd/3SC7as con 11 aplicaciones #opendata #opendatasev
Repositorio de aplicaciones para el #ogov de la AGE (11 aplicaciones) http://is.gd/mM9Res #opendata #opendatasev
De donde viene la info para el desarrollo de apps. Publica y mayoritariamente procesos AAPP (salvo transporte y meteo) #opendata #opendatasev

SOSTENIBILIDAD DEL #OPENDATA en #opendata #opendatasev
Crear un ecosistema cuesta más que tener un portal http://www.participaenandalucia.net/ #opendata #opendatasev
El mercado de las app para #ogov está hoy en las apps simples que usen datos 'simpáticos' (no comprometedeores) #opendata #opendatasev
Puede sobrevivir hoy un especialista en exclusiva en desarrollo de aplicaciones para #ogov. Dificil #opendata #opendatasev
Una empresa q explote como servicio una app basada en #opendata ya puede sobrevivir #opendata #opendatasev

CONTEXTO LEGAL #opendata
Directiva europea 2003 http://is.gd/YvnRuK #opendata #opendatasev
Ley 37/2007 http://is.gd/ykaDyx introdujo el #RISP en España #opendata #opendatasev
España acaba de tener un nuevo decreto de reutilización información publica #opendata http://is.gd/l6B5aL #opendata #opendatasev
#RISP 1495/2011 los recursos de información pública reutilizable estarán un punto común http://is.gd/NWtAZs #opendata #opendatasev
El PP dice que impulsaran una ley de #transparencia http://is.gd/ekt5Ye #opendata #opendatasev
En 18 meses todas las entidades de AGE deben publicar 4 conjuntos documentos 'de alto impacto' http://is.gd/qx8peN #opendata #opendatasev
Nos quedamos solos sin una ley de acceso a la información pública http://is.gd/oENGUV #opendata #opendatasev

CONTEXTO ECONÓMICO
¿Hay mercado del opendata? en España ya son 550-600 M€ http://is.gd/X2DWY0 #opendata #opendatasev
MEPSIR (2006) ya asignaba un potencial de 2000M€ a España http://is.gd/ucnzuG #opendata #opendatasev
El ultimo informe no UE eleva a 2560 M€ y estima q crece a un 7% anual #opendata #opendatasev
La #transparencia del #opendata ayuda a derretir el iceberg de la economía 'oscura' #opendata #opendatasev
#fraudefiscal 61000 M€ en España http://is.gd/oMv8Qj. Comparable deuda de todas las CCAA http://is.gd/K01sqL, #opendata #opendatasev
Economía sumergida 24% PIB http://is.gd/G8qJiK 245000 M€ #opendata #opendatasev
#ogov: ¿Tiene sentido gastar más de 50 M€ para elegir?. 50M€ son 2 a 4 km de AVE http://is.gd/KjLASy #opendata #opendatasev
#ogov: ¿Tiene sentido gastar más de 50 M€ para elegir?. El aeropuerto castellón http://is.gd/0StKZs 150 M€ #opendata #opendatasev
3 errores a evitar por el #opendata de España #opendata #opendatasev
3 errores que cometió el #softlibre en España hace 10 años: política, dispersión y frikismo. #opendata #opendatasev
Aprovechará el #softlibre españa la oportunidad del #ogov y del #opendata o volveremos errores pasados. http://is.gd/dwpJyD #opendata #opendatasev
Error 1 político: Huir de la asignación política. #softlibre = utility los datos deben ser como agua, electricidad #opendata #opendatasev
Error 1: El #softlibre por activa o por pasiva se dejó politizar. http://youtu.be/wzu7KvGBlZ0. #opendata #opendatasev
Error 2 organización: #opendata debe ser una piña empresas y comunidad. #opendata #opendatasev
Error 2: En el #softlibre hubo dispersión y desunión. (más de 130 grupos de usuarios 15 distros) poca colaboración. #opendata #opendatasev
Error 3 marketing: Cambiar el lenguaje. #opendata= ahorro y sentido común en los datos. Por medios técnicos. #opendata #opendatasev
Error 3: El #softlibre consiguió por activa o por pasiva dar la imagen de ser tema de frikis técnicos. http://is.gd/Smjjmx #opendata #opendatasev

MELODA
Las 5 * de linkeddata http://is.gd/FdKFDg ¿sirven para evaluar fuentes de cara a su reutilización práctica? #opendata #opendatasev
Metodología para evaluación cuantitativa de la apertura de fuentes de datos #opendata. Http://meloda.org #opendata #opendatasev
Definimos lo que es #opendata. Metodología MELODA M4J. http://is.gd/DqJ7cU #opendata #opendatasev
Condicion 1 para #opendata #M4J. Tienen que ser datos #opendata #opendatasev
Condicion 2 para #opendata #M4J. Tienen que ser liberado en un estándar abierto #opendata #opendatasev
En españa si que está definido lo q es un estandar abierto http://is.gd/WwJEri apdo k ley 37/2007 #opendata #opendatasev
Condicion 3 para #opendata #M4J. Tienen que ser licenciable para su reutilización hasta comercial #opendata #opendatasev
Condicion 4 para #opendata #M4J. Tienen que tener acceso automatizable (p.e. ser descargable, url unica) #opendata #opendatasev

INFORME APORTA
El proyecto @aporta tiene 703 fuentes ¿de datos? #opendata. http://is.gd/gDCjMo #opendata #opendatasev
De las fuentes de @aporta el 60% no eran accesibles de forma automatizada #opendata #opendatasev
De las fuentes de @aporta el 61% no eran fuentes de datos de acuerdo a #opendata #M4J #opendata #opendatasev
De las fuentes de @aporta el 85% no se podía reutilizar legalmente #opendata #opendatasev
De las fuentes de @aporta el 88% estan en formatos abiertos (de verdad) #opendata #opendatasev
Análisis completo de las fuentes opendata de @aporta en http://amedioentender.blogspot.com/2011/11/el-proyecto-aporta-se-queda-al-3.html #opendata #opendatasev
App liberadas sin un ecosistema no son nada http://is.gd/k8hLbF #opendata #opendatasev
Resultados para las fuentes @aporta bajo #opendata M4J. Sólo el 3% eran opendata M4J #opendata #opendatasev
Una fuente no #opendata #M4J es la lista de precios de venta de sus publicaciones http://is.gd/cy3VUe #opendata #opendatasev
Una fuente no #opendata #M4J son por ejemplo unos estatutos. http://is.gd/4Le5Sh #opendata #opendatasev
Una fuente no #opendata #M4J son unos videos de la policia http://is.gd/t3RepO #opendata #opendatasev

LICENCIAS OPENDATA
Características generales de las licencias #opendata #opendatasev
Las licencias de #opendata suelen pedir atribución #opendata #opendatasev
Las licencias de #opendata suelen pedir fecha de actualización #opendata #opendatasev
Las licencias de #opendata suelen que no se establezca relación con el publicador por usar sus datos #opendata #opendatasev
Las licencias de #opendata suelen que no se modifiquen (desnaturalice) la información
Excepciones de las licencias #opendata #opendatasev
Las licencias de #opendata no suelen cubrir la publicación de datos personales #opendata #opendatasev
Las licencias de #opendata no suelen cubrir la información aún no publicada oficialmente #opendata #opendatasev
Las licencias de #opendata no suelen cubrir logos, diseños, etc #opendata #opendatasev
Las licencias de #opendata no suelen datos militares #opendata #opendatasev
Las licencias de #opendata no suelen cubrir datos de terceros añadidos #opendata #opendatasev
Las licencias de #opendata no suelen cubrir otros elementos sujetos a propiedad intelectual mapas, marcas, etc #opendata #opendatasev
Open database license es una licencia copyleft http://is.gd/BkYw6d que se refiere a toda la ddbb #opendata #opendatasev
Open database license impulsada con la @okfn #opendata #opendatasev
Creative commons son de las licencias más conocidas y extendidas http://is.gd/noKZCf #opendata #opendatasev
#coloriuris es de las mas completas y adaptadas al ordenamiento español http://is.gd/YPg7wW #opendata #opendatasev
Open government licence (UK) http://is.gd/xThGYQ #opendata #opendatasev

NECESIDADES
Necesidad 1: Estandarizar el #opendata y #ogov para q pueda crecer el sector de app de #softlibre #opendata #opendatasev
Necesidad 2: Ley acceso información que garantice mucho #opendata y #ogov para q pueda crecer el sector de app de #softlibre #opendata #opendatasev
Necesidad 3: Repositorio único (o federado) y privado de aplicaciones de #softlibre para #opendata y #ogov. #opendata #opendatasev
informaciones interesantes para el #opendata #opendatasev
Los datos financieros y tributarios de las personas físicas y jurídicas #opendata #opendatasev
Los actos registrales (de la propiedad, de actividad industrial, concesión de licencias, etc) #opendata #opendatasev
Los informes que hacen los lobies para influir políticamente además de quien los hace y recibe #opendata #opendatasev
Las ofertas, adjudicaciones y contrataciones estipuladas en la ley 30/2007 de contratación pública #opendata #opendatasev

CONSECUENCIAS OPENDATA
¿Existen frameworks para el desarrollo de #opendata para un gobierno, un ministerio, una entidad? #opendata #opendatasev
¿Existen mashup para el desarrollo de #opendata para un gobierno, un ministerio, una entidad? #opendata #opendatasev
la lista de la compra http://is.gd/50700Z app para #ogov gratis, libre http://is.gd/SkY62e compras 'simpatica' #opendata #opendatasev
Los ojos de la ciudad app para #ogov http://is.gd/WRj0Qq geográfica, de #abredatos libre http://is.gd/fgOu80 #ogov #opendata #opendatasev

FUTURO
El sector que más crece en volumen será el #opendata of things. Sensorización y publicación datos simples #opendata #opendatasev
La idea es q todos los procesos publicos publiquen su información, desde la licitación de las herramientas #opendata #opendatasev
Nos jugamos el crecimiento del sector del #softlibre de los próximos 5 años. #opendata #opendatasev
Otro sector en crecimiento es el #opendata para gestionar las smartcities y los smart governments #opendata #opendatasev
#ogov Publicacion : todos los datos han de ser abiertos a reutilización libre excepto por seguridad y protección datos #opendata #opendatasev
Además del impulso económico a lo mejor hasta acabamos con la morosidad de las AAPP http://is.gd/olnaKh #opendata #opendatasev

Opendata Navarra al 100% M4J

Analizando Open Data Navarra

Seguimos el análisis de las fuentes de datos publicas para conocer si realmente es oro todo lo que reluce en cuanto a si la información que liberan es realmente opendata. 

El criterio establecido es la metodología Meloda M4J, un umbral que establece los mínimos para determinar si una fuente de datos es realmente abierta de cara a la reutilización.

Condiciones de Meloda M4J

A modo de recordatorio las condiciones para cumplir Meloda M4J son básicas y sencillas de determinar:

1) Deben ser datos estructurados

2) Deben ser liberados en formatos abiertos o que haya herramientas libres y sin coste que permitan su tratamiento

3) Deben ser accesibles de forma automatizada

4) Deben tener una licencia que permita su reutilización comercial 

Método de muestreo

Navarra tiene 73 fuentes de datos (a 12-11-11), se van a muestrear 15 de ellas. Para seleccionarlas utilizamos 15 celdas de una hoja de cálculo y mediante una selección aleatoria obtenemos 15 números distintos entre el 1 y el 73.

Las seleccionadas fueron las fuentes 1,10, 12, 21, 24, 25, 40, 42, 43, 44, 49, 52, 53, 65, 71.

Los resultados de las fuentes elegidas pueden verse en esta tabla de la que merece la pena destacar lo siguiente. 

Lo bueno frente a aporta

Merece la pena destacar que en el 100% de los casos estamos hablando de fuentes de datos opendata M4J, frente al anterior análisis sobre las fuentes de aporta que reflejaban que solo un 39% eran realmente fuentes de datos. 

En cuanto a la accesibilidad de nuevo hablamos del 100% frente al 40% que se mostraban en los datos de aporta. 

Y finalmente la licencia es reutilizable en el 100% de los casos cuando en el proyecto aporta sólo podíamos hablar del 15%.

Lo mejorable 

En cuanto al formato es el único punto donde cabe una clara mejora puesto que el formato SHP no es un formato abierto y un  60% de las que han  sido muestreadas, aunque han sido cualificadas M4J, están basadas en este estándar propietario, con el consiguiente peligro de que en una actualización del estandar por el fabricante, pudieran perder esta cualificación.

Con lo que ese mínimo cambio llevaría a Opendata Navarra a pasar del 100% de apertura a tan solo el 40%.

Datos simpáticos vs antipáticos

De acuerdo a la clasificación de @dcabo como datos simpáticos aquellos que no comprometen la acción política y antipáticos aquellos que ocasionan una supervisión de la acción política, de las 15 fuentes muestreadas solo 1  (7%) , las retribuciones de 2011, puede considerarse antipática.

Proximos pasos 
1) 73 fuentes parece un número bajo para una comunidad como Navarra, especialmente en el ámbito de datos 'antipáticos'.
2) Por otra parte el mecanismo de liberación es M4J y por tanto ya solo queda atender a la comunidad de reutilizadores.
3) Navarra debería buscar la normalización de estándares con otras administraciones para que la reutilización de su información tuviera mayor impacto.

Gonzalez Pons se moja con el opendata

Estas son las declaraciones de Esteban Gonzalez Pons en una entrevista digital en el diario el mundo.

11. Sr. González Pons, existe un todo un movimiento en la Red y fuera de ella a favor del acceso normalizado y sencillo a los datos públicos al estilo de Data.gov en EEUU u Data.gov.uk en Reino Unido. ¿Se plantea el PP hacer algo similar en el Gobierno? Muchas gracias.

Sí, entre las leyes que llevaremos al Parlamento en los 100 primeros días estará la Ley de Transparencia. Primero, porque es democráticamente indispensable. Y segundo, porque ayudará a la economía al hacer previsible y fiable a la administración

 

Es decir  que si ganara el partido popular tendríamos una ley de transparencia en torno a abril de 2012. 

 

Es coherente con lo que dicen en su programa electoral

"70. Aprobaremos con carácter inmediato y de acuerdo con los principios que inspiran el Convenio Europeo sobre Acceso a los Documentos Públicos, una ley de transparencia, acceso a la información pública y buen gobierno. La ley abordará desde una perspectiva integral la transparencia como un derecho de los ciudadanos y como un principio básico de actuación de todas las administraciones públicas, garantizando de manera ponderada el
derecho a la protección de datos de carácter personal y salvaguardando siempre el interés general"

Será bonito revisar en esa fecha.

La imagen de access-info refleja la situación de los países de la UE  en materia de leyes de acceso a la información.

El Proyecto aporta se queda al 3%

Mínimos para la reutilización profesional

(viene del anterior post )

Como se define en opendata M4J, los requisitos mínimos para la reutilización profesional de la información contenida en una fuente de opendata son:

1) Que sean realmente datos (no documentos q aunque posiblemente valiosos son 'otra cosa')

2) Tengan una licencia que permita su reutilización más allá de la consulta privada (uso profesional).

3) Se liberen en formatos abiertos *

4) Sean accesibles sin necesidad de intervención manual (URL directa, aunque sea con parámetros)

Estas condiciones, no demasiado exigentes por otra parte, son necesarias para fomentar una  utilización profesional de los datos y por tanto la creación de valor económico (empleo) alrededor de unas fuentes cuyo gasto de generación ya ha sido realizado.

Quedan muy lejos de los requerimientos del linked data.

El dato del 3% es desolador para la reutilización comercial

Como se describía en un post anterior,  tras un muestreo de 72 de las 703 fuentes del proyecto aporta, y que ahora parece que forman la base del nuevo portal de la administración general del estado, tan sólo hubo 2 (La agenda de red.es y las noticias del ministerio de justicia) que cumplieran las condiciones de opendata M4J. Lo cual excedió con mucho nuestras peores previsiones. Además las fuentes incluidas son los rss que ni siquiera son los que se inventarían en la lista de fuentes de aporta.

Las fuentes analizadas y los datos parciales sobre las mismas están disponibles.

El detalle de los datos también revela sorpresas

La sorpresa global ha sido mayúscula, por que las condiciones anteriores no parecían inicialmente tan restrictivas si lo que queremos es que haya una reutilización efectiva como se describe en el propio proyecto.

El detalle de los resultados reflejaron también algunos otros datos interesantes

Fuentes reales de datos un 39%

Que realmente fueran datos y no documentos (como notas de prensa) o catálogos de las publicaciones a la venta eran cumplidos sólo por el 39%. (P.e. fuentes descartadas han sido la búsqueda dentro de los estatutos  de la Real Academia Nacional de Farmacia o el enlace  a los datos de 2 libros).

Seguro que hay muchos otros conjuntos de datos liberables en todas las entidades que se publican.

Formatos bien al 88%. Mejorar al alcance de la mano

Los formatos no plantearon tanto problema*, se llegaba al 88% de las fuentes. Si bien en general no facilitaban su reutilización por ser formatos poco incorporables como pantallas html o documentos texto pdf.

Curiosamente en la mayoría estos, html o pdf, vienen de bases de datos cuya liberación haría muchísimo más sencilla su reutilización.

Acceso directo a la información sólo al 40%

La accesibilidad a los datos también fue un problema ya que solo en un 40% de los casos se podía acceder de forma sistemática y automatizable a la fuente de datos.**

Es decir en el 60% de las fuentes requerían de una intervención manual, en la mayoría de los casos a través de un formulario con mayor o menor complicación, y en algunos casos se limitaba el número de resultados proporcionados.

No sería complicado incluir un enlace para la descarga completa.

El licenciamiento merece especial atención. Solo el 15% permite reutilización

Lo que mayor sorpresa ha causado ha sido el licenciamiento de los contenidos, ya que en un 85% de los casos prohibían la reutilización profesional de los contenidos.

Merece destacar que no son pocas las fuentes que cuentan con copyrights anticuados (hasta del año 2006) o con el copyright asignado a una empresa privada o con casos más extremos que incluyen licencias prohibiendo expresamente la reutilización, el scrapping y la utilización para menores como en Correos.

Conclusión

Aunque este basado en un muestreo aleatorio (para que sea estadísticamente significativo) los resultados excedieron, por lo inferiores nuestras peores pervisiones. 

Pero esta situación actual puede ser un buen punto de partida, ya que con sólo cambiar o actualizar las políticas de publicación, cambio realmente estético y de mínimo coste, multiplicaríamos por 5 (15%) la información disponible para su reutilización.

Si además en lugar de crear pdf intratables de cara a su reutilización se volcaran las bases de datos desde las que se generan, probablemente se podría duplicar este 15% hasta un 30%. 

Lo cual supone que con inversiones mínimas podríamos abrir realmente las puertas a un #opendata.

Como dicen en Cuba "Por el dinero no te preocupes que dinero no hay". En este caso no es cuestión de dinero, solo con voluntad podemos multiplicar por 8 la situación actual.

* en este caso se ha inbcluido en los formatos abiertos .xls aunque no .xlsx.

** incluso en el caso de que la evaluación determinara que no era una fuente de datos opendata.

No es abierto todo lo que reluce. Experimento con Aporta.

El Opendata Avanza pero ¿Es Opendata todo lo que reluce?

El viernes 21-10-11 hemos conocido la nota de prensa del consejo de ministros sobre el reglamento de la apertura de datos públicos (veremos lo que nos depara, esperemos que sea bueno).
Un día antes, el jueves 20 Octubre 2011, se celebro un evento sobre periodismo de datos con 4 ponentes de excepción (Xaquín González Veira (The New York Times), Annamarie Cumiskey (Bureau of Investigative Journalism), Mar Cabra (International Consortium of Investigative Journalists - ICIJ) y David Cabo (Pro Bono Público)) con la colaboración de Helen Dabishire de access-info.
Y una de las conclusiones de los ponentes fue la dificultad de utilizar informaciones que ya eran 'open data' como fuentes para las noticias.

Este post describe un experimento sobre una de las principales referencias de fuentes open data de España, el proyecto aporta.

¿Que es Opendata?

En concreto el proyecto aporta, lista  703 fuentes de 'datos' de la AGE.

Y la pregunta, a la luz de las conclusiones del evento es ¿Son realmente fuentes de datos abiertas? ¿Alguien puede hacer algo de utilidad con esas fuentes?

Bajo esta misma pregunta (¿Cuan abierta es una fuente de datos?) una metodología (MELODA) permite  evaluar cuantitativamente la apertura de estas fuentes (documento completo). Sin embargo tras el evento la realidad ha demostrado que estamos en momentos previos y que lo que se necesita antes de ese analisis cuantitativo es una defínición de minimos de lo que es Opendata de cara a su reutilización básica.

Meloda for journalists cualifica fuentes opendata

Meloda for journalists (M4J) es una definición experimental para diferenciar lo que es opendata utilizable y lo que no y se basa en 4 principios muy simples y básicos

Para ser considerado Opendata M4J.

1. Tienen que ser datos (no vale un escaneado de imágenes, o un informe de texto, nota de prensa, etc debe ser posible volcar a una bbdd u hoja de cálculo), que, sin despreciar su utilidad, deberían estar bajo otra etiqueta como open documents, u otro nombre.
2. Tiene que tener un formato abierto que nos permita su reutilización sin tener que adquirir onerosas licencias de herramientas para la reutilización.
3. Tiene que ser posible su reutilización con fines comerciales (como podría hacer un periodista o cualquier infomediario).
4. Tiene que ser accesible sin intervención humana cada vez que se acceda. De otra forma necesitaríamos una persona cada vez que tuviéramos que acceder a un dato, lo que en la práctica es una forma de restricción del acceso.

Y ahora, definidos estos mínimos acudamos a la red para poder cualificar las fuentes del proyecto aporta.

A la base de datos

Lo primero fue descargar la lista de fuentes del propio proyecto y con la ayuda de una herramienta online transformarlas en sql e incorporarlas en una base de datos (aquí tienes el sql para mysql) para poder añadirles información.

Listado accesible

Utilizando nada más que esta base de datos y el programa index.php que puedes descargarte dentro de los ficheros del final de este post, tienes este listado donde podemos ver además del nombre de  las distintas fuentes, un enlace para acceder a ellas , y un enlace a un formulario para poder cualificarlas.

Formulario de google docs

Como genialmente gestionaron Javier De La Cueva y David Cabo en la iniciativa apadrina un senador y apadrina un diputado, utilizaron un documento de google docs para fomentar  la participación. Y  haciendo caso de su posterior reflexión, se ha evitado abrirlo de forma indiscriminada y publica, ya que esto atrajo a algunos de los vándalos de la red.

Para solucionar esto incluyo aquí una solución bastante simple (a la escasa altura técnica de su implementador) pero al alcance de cualquiera, que es personalizar el código del formulario que google docs puede crear asociado a cualquier hoja de cálculo.

Dicho y hecho, unas líneas de php (disponibles en el descargable del final) y ya tenemos el formulario (viewform.php) que recibe un parámetro y completa los datos principales del formulario dejando al cooperante sólo aquellos campos que requieren de inteligencia. Incluye una pequeña ayuda, fichero help.php.

Esto nos permite que aunque haya vándalos, que siempre los podrá haber, su impacto sería el de rellenar formularios, sin trastornar los datos de otros usuarios que si quieran colaborar fielmente.

Finalmente a la base de datos de vuelta

Gracias a un programa para acceder en lectura a hojas de cálculo y que se adapto (lee_oocalc.php) podemos leer los registros e incoporar los datos a la base de datos original y así poder ayudar a las personas que quieren reutilizar datos a encontrar dentro de las fuentes públicas aquellas que son realmente Open data, y por tanto útiles para su reutilización, por que no es abierto todo lo que reluce.

¿Que podemos obtener?

Pues una lista cualificada de las fuentes del proyecto aporta, una a una o todas juntas para descargar y que sea de utilidad para periodistas e infomediarios.
El experimento está en marcha, abierto a la participación y compartiremos aquí los resultados de si las fuentes recogidas en el proyecto Aporta son opendata M4j o no.

Dedicado a Mar Cabra y a Anna Cumiskey que inspiraron este artículo.

ANEXO:

Todos los ficheros usados en el experimento.

ACTUALIZACIÓN 26-10 3:29
De las primeras 13 fuentes analizadas, ninguna puede ser cualificada como opendata M4J (13/703) aprox 2%.


ACTUALIZACIÓN 28-10 2:38
De las primeras 41 fuentes analizadas, 2 pueden ser cualificadas como opendata M4J (13/703) aprox 4,9%.