sábado, 31 de diciembre de 2011

2012 no será el año del opendata


Ya me gustaría decir lo contrario, pero 2012 no va a ser el año de la explosión y popularización del opendata por mucho que sus partidarios nos parezca que cada vez está mas difundido. Y argumento por que no ocurrirá en 2012.

Condiciones mínimas
No se dan condiciones mínimas como son, entre otras: 

1- Un acuerdo político para que el opendata se considere una política regular en el ámbito público y no un elemento más de debate político y que por tanto no sea relegado en las decisiones públicas para evitar la lucha partidista.

2- La ley de transparencia, que ojalá tengamos en Marzo (programa PP pag 145), seguramente tendrá un plazo transitorio de 6 meses (y más probablemente 12), por lo que no veremos amplios ejemplos de publicación por la presión legislativa durante el 2012.

3- El opendata es muy barato y además rentable, pero es prácticamente imposible en el actual contexto de recortes realizar inversiones para este tipo de políticas que todavía no son bien entendidas.

4- Todavía se entiende el opendata como un tema técnico y por tanto de ámbitos restringidos y técnológicos y no como una herramienta de mejora de la propia administración.

5- En no pocos casos la publicación de datos todavía 'da miedo' a parte de los responsables públicos por la falta de experiencia en el manejo de este tipo de iniciativas.

6.- No existe un consenso de como implementarlo (licencias, herramientas, estándares) lo cual aumenta los tiempos de decisión y lanzamiento.

Que se podría alcanzar en 2012

1- Crear un consenso sobre como implementarlo tanto en formatos, herramientas y licencias de publicación de forma que la interoperabilidad entre las distintas fuentes sea máxima y por tanto la utilidad para la sociedad lo sea proporcionalmente. Esa utilidad mostraría el camino para siguientes inversiones.

2- Que tengamos claro que cuando hablamos de #transparencia estamos hablando de publicar datos de forma que sean reutilizables y por tanto tengamos una ley de Transparencia que esté alineada con este principio.

3- Explicar que publicar pdfs en formato imagen no es hacer públicos los datos sino más bien ocultarlos y que 'no se vuelva a repetir'. Aunque es justo decir que es mejor eso que no publicar nada.

4- Incorporar en el procedimiento administrativo la publicación automática de la información que pueda considerarse de interés público. Y así evitar la búsqueda de datasets interesantes.

5- Que se consolide el ecosistema empresarial alrededor del opendata, y que por ejemplo a alguien se le ocurra que sería util publicar datos para atajar el fraude fiscal y la economía sumergida y así hacer menos penosos los recortes.

y seguro que muchas cosas más. 2012 será un buen año para el open data pero no me jugaría una cena a que pudiera decirse que es el año del opendata, al menos en España.
Lo que sí podría ser el año en que se establecieron las bases para que 2013 lo sea. 
Habrá que trabajar juntos para lograrlo.

viernes, 30 de diciembre de 2011

Opendata para el público ¿Tan dificil es de entender?


El término Opendata describe una nueva forma de administración publica. cuando lo analizamos no es tan nueva.
http://www.policia.es/terroristas/ter_yihad1_sp.html
Para las empresas está claro el Opendata
Está bien debatido la utilidad de la publicación y apertura de datos públicos y privados para la generación de economía asociada a su explotación profesional de los datos. Multitud de estudios lo corroboran aunque, en mi opinión la parte del león de sus beneficios está en otro sitio.

¿Y para los ciudadanos?
Sin embargo parece que, para los ciudadanos, la publicación de datos (especialmente desde el ámbito público) solo tiene como finalidad la transparencia de la gestión. Aunque deseable, es una de las muchas utilidades. Y solo analiza a los ciudadanos como meros agentes pasivos de dicha publicación, y este supuesto no tiene por que ser cierto.

El opendata habilita la colaboración ciudadana 
En la foto de la derecha está uno de los delicuentes más buscados por la policía española. 
¿Que está haciendo la policía?, ¿Está dejando de hacer su labor? ¿Está comprometiendo su trabajo por publicar esta información? ¿Está cambiando sus procedimientos de trabajo por esta publicación? ¿Les cuesta más dinero publicar esta información y atender a los posibles informantes que no publicarla?
La policía ya resolvió esa cuestión. Y aunque es verdad que puedan tener un pequeño coste por compartirla y recibir la colaboración ciudadana, también es verdad es que su labor de esta manera es mucho más eficaz, y por tanto la inversion está bien justificada.
La publicación es una forma de opendata donde el ciudadano puede aportar mucho valor incluso con un mínimo esfuerzo por su parte. 

¿Es tan deficil de entender?
De igual manera cuando se publiquen mayoritariamente los datos del ámbito público, sin dejar de hacer su labor, las AAPP tendrán una ayuda inestimable de la ciudadanía que les ayudará a corregir muchos de sus datos, mejorar otros, y a sacar a la luz algunas de las incosistencias del proceso administrativo.

Por tanto cuando hablamos de abrir los  datos, especialmente en el ámbito público no estamos hablando de nada radicalmente nuevo, sino de un término nuevo, opendata. La apertura generalizada de datos es hoy posible por el  avance de las tecnologías de la información y su masiva adopción por los ciudadanos. Es el opendata, por tanto, la forma moderna de gestión pública (y privada).
Y no es, por tanto, una política de ninguna tendencia partidista al igual que no lo es el uso de ordenadores, de teléfonos móviles, etc.
Cuanto antes lo entendamos antes podremos explorar sus posibilidades y disfrutar de sus beneficios.

domingo, 25 de diciembre de 2011

Los tres errores fatales de la comunidad Open española

En este artículo voy a revisar los errores que cometió la comunidad Open española durante la última década, con el fin de evitar que cometamos errores similares errores en la comunidad de opendata y de gobierno abierto. 

Tal vez algunos otros países puedan haber cometido errores similares.


España fue pionera en el desarrollo de una comunidad de código abierto y software libreDesde principios de 2000 numerosas y relevantes personas habían presionado y argumentado a favor de la adopción de tecnologías abiertas, es decir, software libre, estándares abiertos, etc

Sin embargo hoy, 10 años después, España no tiene diferencias notables en la aplicación de las tecnologías abiertas, ni en las administraciones públicas, ni entre la gente corriente. Como excepción a esta situación debería mencionarse la avanzada legislación de apoyo que posee España, pero esta legislación no tiene una correspondencia con las implementaciones reales.
¿Por qué? En mi opinión, debido a tres errores fatales.


Error 1: Que los políticos lideren a la comunidad,

Cuando en 2002 el gobierno Extremeño anunció su Linex (distribución de Linux para Extremadura), la mayoría de los partidarios aplaudieron la valentía de los gobernantes de la Junta de Extremadura para hacer frente al monopolio de Microsoft.
Desafortunadamente, los políticos no piensan en el beneficio de sus ciudadanos, sino en su propio beneficio en términos de resultados electorales. Por lo tanto, su enfoque no era crear un ecosistema global y sostenible, sino disponer de una herramienta política para demostrar su independencia y la tecnología puntera que se estaba adoptando, independientemente de su sostenibilidad a largo plazo.

Así se centraron más en su adaptación regional que en la posibilidad de tener una base de usuarios enorme en todo el mundo y que convirtieran la tecnología en comercialmente viable. 

La mayor parte de los defensores de la comunidad abierta, y yo era uno de ellos, consideramos el uso político de las tecnologías abiertas, como un mal menor, siempre y cuando el apoyo y los fondos fueran derivados a alimentar el ecosistema open. Lo admitimos incluso cuando en un sinsentido, los políticos presentaron las tecnologías abiertas como políticamente favorables a sus opciones (en su mayoría de izquierda). La mayoría de la comunidad estuvimos de acuerdo entonces.
Pasó el tiempo y otras regiones españolas (AndaluciaCastilla La ManchaMadridValenciaCataluñaMelilla), independientemente de su tendencia política adoptaron idéntico razonamiento. Como resultado involuntario, se creó un lío de las distribuciones de linux alimentadas con fondos públicos. Y evito la creación de una masa crítica de usuarios para mantener un mercado independiente. El tiro final fue la creación de una entidad pública nacional para apoyar el enfoque de las tecnologías abiertas para las administraciones central y regional. Lo que se pensó como una buena idea, fue lanzado con un perfil bajo, por lo que resultó inútil para prescribir las tecnologías abiertas para el resto de las administraciones o la creación de los estandarización común entre las administraciones.



Actualmente, cuando el impulso público se ha reducido debido a la crisis, las comunidades alrededor de estas distribuciones, simplemente han muerto de hambreO cuando las elecciones cambiaron a los gobernantes, los recién llegados simplemente declararon obsoleto el enfoque y dejaron que las iniciativas murieran por falta de apoyo.


Error 2: Dividite a ti mismo y serás derrotado
Aunque parezca increíble, desde el inicio del movimiento Open en España, las divergencias y otro tipo de divisiones estuvieron presentes y los primeros gestores públicos en apoyar a las administraciones públicas fueron criticados cuando sus primeros pasos no fueron tan avanzados como se deseaba en la comunidad.
Además de las incomprensibles diferencias regionales, había otras diferencias como software libre vs código abierto, debian frente a otras distros, el enfoque de la comunidad voluntaria frente a las empresas, etc. De ello se beneficiaron ampliamente las empresas de tecnologías cerradas y privativas que lanzaron una gran cantidad de FUD, que se podría nresumir en una sentencia de "las tecnologías abiertas no son fiables ni tienen soporte". 

La división fue tan importante que incluso contando en España con hasta 130 grupos de usuarios de software libre en la primera mitad de la década resultó imposible (en dos ocasiones se intentó) crear algún tipo de federación que constituyera un lobby de las tecnologías abiertas. 
El desperdicio de de recursos reinventando la rueda, como creando nuevas distribuciones regionales de Linux, lanzamiento de eventos terriblemente locales, o recrear aplicaciones existentes, etc fue finalmente insostenible y la comunidad hoy en día está compuesta principalmente por pequeñas empresas.


Error 3: Si no explicas tu impacto global en la sociedad serás  marginado 
Siempre que se quiere influir en la sociedad hay que explicar a los ciudadanos de la calle por qué es importante para ellos. Un refrán dice "Nada hay en el mundo  más peligroso que la ignorancia sincera y la estupidez motivada". Aquellos amantes de la consola negra de comandos promocionando las  tecnologías abiertas crearon la falsa imagen de que las tecnologías abiertas eran sólo para geeks y frikis.


Hoy en día, cuando la consola negra es historia para los usuarios normales de las tecnologías abiertas, estas imágenes permanecen en la mayoría de los usuarios potenciales.
Si a esto le sumamos, un mensaje lleno de términos técnicos, hablar de  problemas que afectan únicamente a los programadores (p.e. rendimiento, calidad código, etc), el mensaje será marginado de la sociedad en general, independientemente del desempeño increíble que pudieran proporcionar.


La emergente de comunidad de datos abiertos tiene que evitar estos tres icebergs para llegar a buen puerto. 
Para sortear el primer iceberg, los políticos: Abrir datos es una componente de la  gestión pública moderna. Y el pilar principal de un gobierno abierto. Defensores y activistas por los datos abiertos tienen que evitar  ser utilizados por ningún partido político. 
Públicar opendata y su transparencia implícita es "La forma moderna de la gestión de la 'cosa pública'", que cuenta con una gran cantidad de efectos positivos (económicos, transparencia, responsabilidad, agilidad, etc.). Así que, la aplicación en las administraciones públicas debe considerarse como la introducción de las computadoras hace algunas décadas, una tecnología básica para la gestión y la metodología de los procesos públicos, pero no una cuestión política sujeta a la controversia.

Para sortear el segund iceberg : Dispersión

Cooperación activa y Normalización (y por lo tanto la posibilidad de co-operar) es un factor clave para crear una masa crítica de usuarios, profesionales de las empresas, los ciudadanos o lo que sea.
Aunque el enfoque linked data cumple perfectamente esta tarea, su alto costo de adopción (en tiempo, cambios de procesos y de costos) podría limitarle como solución esperada a la normalización. La normalización de datos OpenData es un tema urgente. Si eres un activista de la comunidad open de internet antes de lanzar cualquier cosa, busque la colaboración, llegará más allá que si vas solo.



Para sortear el tercer iceberg: Frikismo

Hay que mostrar el impacto significativo del opendata en la economía real y en la sociedad  no sólo en términos de las empresas y servicios directos creados, sino también su impacto sobre el fraude fiscal y la economía informal. Las cuentas de la economía informal en España un 23% (245.000 M €) del PIB en España (suma  igual que turismo y la industria automotriz juntos en España, las dos principales del país). El despliegue masivo del opendata  no es una cuestión técnica, es un cambio en la forma en que se gestiona una sociedad, y por lo tanto tiene un reflejo en la economía real en términos de creación de empresas, la reducción del desperdicio de recursos y como facilitador de servicios innovadores tanto públicos como privados que aumentan la competitividad nacional.
Así que el mensaje en torno a "Open data no es una cuestión técnica, sino una evolución natural en el gobierno de las sociedades modernas".

Which dataset has to be released first for the opendata?

Learning from the elder
The open source community learnt that choosing the right application to implement is much more important than initially estimated. The release in  1991 of the first linux kernel launched an international movement that nowadays has change global software market.

Although lots of libre software had been released before linux kernel (i.e. GNU ), it was not until a full operative system was available that the open source community become a relevant international movement.

One of the main reasons for this success is that the community is providing value  not only for final users but also for a set of companies which are profiting from the results. Some of them return resources (code, diffusion, products) for the community which help to make it sustainable.

This is the reason why exclusive volunteer communities, or exclusively local  public sponsored communities has an unclear future. 

Now it is turn of the open data community
Open data community, specially those profiting from public sector information is lobbying public administrations to release as much information as possible.  However  in order to sustain a long-term community the election of the first datasets to be released is a key factor.

It is well known that geographic and transport information together with public bids is currently providing most of the value for the PSI professional reusers. However this is not necessary same way in a coming future. 
I strongly doubt that geographic or transport information will provide most of the value. Not because of the undoubtful value of this datasets but for the comparison with some other datasets.

Where is the gold mine?
Spain, where I live, accounts for 65.000 million euros a year of fiscal fraud. Not only this, but the informal economy accounts for 23% of the GDP (245.000 M€). 
It is hard to think that it is not possible by releasing some datasets to reduce these amounts.
1% of informal economy reduction means 4 times the estimated potential turnover for the reuse information sector in Spain. this sector currently  which sums only 600 million euro. Fiscal fraud reduction of 1% means ta bit more than this full sector.
So, in terms of profiting and helping the opendata community those datasets helping to reduce informal economy and fiscal fraud should be one of the first datasets to be released.

There is always somebody looking at released data
So 'with a little help of my friends' the release of datasets for finding fiscal fraud or informal economy is condemned to succeed.

It is not needed to discover the 2.000 M€ in potential fiscal fraud but only with the menace of being discovered (specially for your competitors) the amount of people not fulfilling their fiscal obligations will be dramatically reduced.

I do not mean to release personal information, but I am pretty sure that relevant information for detecting fiscal fraud could be easily release to the public  from the tax administrations.

domingo, 11 de diciembre de 2011

Warning of three deadly mistakes of the Open Spanish community

In this article I am going to revisit several mistakes the Spanish Open community made last decade in order to avoid that similar faults would lead the Open data / open government community to lose the opportunity which we are facing today. Maybe some other countries would share some of these mistakes.

Background
Spain had been a pioneer in the development of an open source and software libre community. Since the early 2000 numerous and relevant people had surged claiming on the adoption of open technologies, i.e. FLOSS, open standards, etc.

However today, 10 years after, Spain has no remarkable differences in the implementation of open technologies, neither in the public administrations nor between current people. As an exception to this rule could be mentioned the supportive legislation it has been passed but this support has not a correspondence with the real implementations.

Why? Due, in my opinion, to three deadly mistakes.

Error 1: Let politicians to lead the community,
When in 2002 Extremadura government announced its Linex (Linux distribution for Extremadura) most of the advocates clapped for the courage of the Extremadura's rulers to face the monopoly of Microsoft.

Unfortunately, politicians think not in their citizens' profit but in their own profit in terms of voting results. Therefore their focus was not to create a global and sustainable ecosystem but to have a political tool to show their independence and the bleeding edge technology they were adopting, independently of its long term sustainability.
They remark the regional adaptation over the possibility to have a huge users' base all over the world.
Most of the advocates of the open community, and I was one of them, considered the political use of open technologies, a collateral and affordable damage, as long as support and funds were derived to feed the open ecosystem. Even when in a crazy move, politicians presented open technologies as politically biased (mostly left-wing) most of us agree with the inconsistency.

Time went by and other Spanish regions (Andalucia, Castilla La Mancha, Madrid, Valencia, Cataluña, Melilla city) independently of their political trend  adopted identical reasoning. What they, involuntary, created was a mess of linux distributions feeded with public funds but unable to create a critical mass of users to sustain an independent market.
Final shot was the creation of a public national entity to support the open technologies approach for the central and regional administrations. What it thought as a good idea, it was launched with a low profile, so that it resulted useless to prescribe open technologies for the rest of administrations or to create those common standardisation between administrations.

Currently when public impulse has been reduced due to crisis, the communities around these distributions simply have died of starvation. Or just when elections changed the rulers, newcomers simply declare obsolete the approach and let the initiatives die without any support.

Error 2: Divide yourself and you will be defeated
Incredibly, since the beginning of the floss movement in Spain,  divergences and other kind of divisions were present and early supporters from public administrations were criticised when their first steps were not as open as expected.
Apart from the incomprehensive regional differences, other differences like  Software libre against open source, debian vs other linux distributions  community approach against company use of open technologies, etc were widely profited for the closed and privative technologies companies with lots of FUD which could be summarised in a sentence "Open technologies are neither reliable nor supported". 
Division was so present that even counting with more than 130 FLOSS users' groups by the first half of the decade it resulted impossible (twice was tried) to federate them in a significant way in order to constitute an open technologies lobby.
Such waste of resourses reinventing the wheel, in the form of new local linux distributions, terribly local events, or the forks of existing applications etc was unsustainable and today community is mostly composed by small companies.

Error 3: Let minimize your impact on society and you will be margined

Whenever you want to influence in your society you have to explain to the Joe bloggs why it matters to them. A saying states that "Nothing in the world is more dangerous than sincere ignorance and conscientious stupidity". Those (black console' lovers) who in the early days were promoting open technologies create the false image than open technologies were only for geeks and freaks.
Nowadays, when black console is history for normal users of open technologies, these image has not been removed from most of potential users.

If you add to this, a good bunch of technical terms, talking about problems which only affect programmers, and looking like an outsider, your message will be definitely put apart from the masses, independently of the incredibly performance or the indisputable reasoning it could provide.

Emerging Open data community has to avoid this three icebergs for a secure navigation
Those 3 mistakes could shed light on the path that the open data community has to travel. find here suggestions on how to avoid them.

First iceberg, politicians: Open data is the modern management
Public Open data is the main column of the open government approach. Open data advocates and activists has to avoid to be used by any political party. Public open data, and its implicit transparency is "The modern way of managing the 'Res publica'" with lots of positive impacts (economical, transparency, accountability, agility, etc).
So that, implementation into public administrations should be considered like the introduction of computers some decades ago, basic technologies for the management and methodology for the public processes but not a political issue to dispute.

Second iceberg dispersion: Active Co-operation
Normalisation (and therefore the possibility to co-operate) is a key factor in order to create critical masses of users, professional, companies, citizens or whatever. 

Although linked data approach would accomplish this task, its high cost of adoption (time, processes and cost) could restrict it from being the expected solution to the normalisation.
Standardisation for common data (opendata) it is an urgent issue. If you were an activist of the open community check Internet before launching anything, you will go further if you were not alone.

Third iceberg opendata as a geek topic: Significant impact in real economy and society
Economic impact of the opendata have to take into account not only in terms of the direct companies and services created but also their impact on fiscal fraud and informal economy. Informal economy accounts for a 23% (240.000 M€) of GDP in Spain (same as Tourism and automotive industry together in Spain).
Massive Open data is not a technical issue, is a change in the way a society is ruled, and therefore it has a reflect in real economy in terms of company creation, reduction of wasted resources and innovative public and private services which increase national competitiveness.
So the message around "Open data is not, a technical issue, but a main trend in the our current societies' governance".