Comunicación presentada al V Congreso Ciudades Inteligentes
Autores
- Francisco Javier Sánchez Zurdo, Jefe de Proyectos de Inteligencia Artificial, Sistemas Informáticos Abiertos (SIA)
- Jose San Martín López, Profesor Titular de Universidad, Universidad Rey Juan Carlos (URJC)
Resumen
En el marco de la transferencia de información, las estrategias de las Administraciones Públicas se orientan normalmente desde el punto de vista del emisor del mensaje y no tanto desde el del ciudadano, dificultando la valoración de cómo se ha recibido dicha información. Este trabajo presenta un meta-indicador para la evaluación de sitios web utilizando métricas e indicadores cuantitativos mínimamente invasivos. Se comparan instituciones similares en base a tres criterios: calidad de los estándares de publicación, seguridad de la plataforma y la disponibilidad de la misma, de acuerdo a la percepción que el ciudadano tiene de la calidad del sitio web, y por tanto siendo una herramienta útil de mejora de la calidad del servicio ofrecido.
Palabras clave
Monitorización, Evaluación Web, Robot de Navegación, RPA, Administración Pública, Calidad, Disponibilidad, Seguridad, Agentless
Introducción
Los sistemas de información web de las instituciones públicas han comenzado a ser objeto de evaluación básicamente por las siguientes razones:
- Por una directiva europea que insta a todas las instituciones públicas a mejorar la accesibilidad para todos los ciudadanos (con especial atención a colectivos con discapacidad) (2016.327.01.0001.01.SPA (2016), «Directiva (UE) 2016/2102 del Parlamento Europeo y del Consejo, de 26 de octubre de 2016, sobre la accesibilidad de los sitios web y aplicaciones para dispositivos móviles de los organismos del sector público«[24 marzo 2019]).
- Por el deseo de maximizar el compromiso con la transparencia de todas las actuaciones públicas (Calero, P., 2016, “Ciudadanía y redes sociales. Estrategias de comunicación para instituciones públicas», CEMCI Publicaciones, ISBN: 978-84-16219-15-5), así como también obtener ahorros económicos en las licitaciones.
- Por el deseo de obtener réditos electorales y/o creación de valor de marca (Bassat, L., 2016, «El libro rojo de las marcas», Ed. de Bolsillo, ISBN-13: 978-8483460382) asociadas a la ciudad.
De manera especial es muy llamativa la Directiva Europea 2016/2102 anteriormente indicada, donde establecen centrar la perspectiva de evaluación sobre el ciudadano y no desde el punto de vista del emisor (entidad pública). Es por ello que deben establecerse un conjunto de indicadores que permitan objetivizar los resultados obtenidos a lo largo del tiempo para cualquier web, es decir, medir para poder comparar y mejorar.
Esta publicación muestra cómo se ha creado y puesto en producción un meta-indicador que facilita a los ciudadanos la evaluación de cómo de bueno es el servicio web que está consultando, en base al compromiso que tienen los emisores con la disponibilidad de la información, la seguridad de la plataforma en la que se publica y la calidad y los estándares de publicación que se han seguido, con independencia del contenido semántico de la información.
Metodología
Peter Drucker (Drucker, P., 1954. «The Practice of Management». Ed. Collins, ISBN: 978-0060878979), considerado por algunos como el padre de la gestión y del Management como se entiende hoy en día, indicaba que “Lo que no se mide, no se puede mejorar”, adelantándose a finales de los 70 del siglo XX a lo que hoy conocemos como la Sociedad de la Información y la Comunicación. Un siglo antes, William Thomson Kelvin, físico británico creador de la escala calorífica Kelvin dijo “Lo que no se define, no se puede medir. Lo que no se mide, no se puede mejorar. Lo que no se mejora, se degrada siempre”.
Medir, por tanto, debe ser una acción a realizar siempre dentro de una organización, con objeto de mejorar la propia gestión técnica y directiva. Medir facilita tomar decisiones en cualquier ámbito de actuación, impidiendo que se tomen acciones en base a intuiciones o inercias no basadas en datos objetivos. Es por ello que en la actualidad prácticamente todas las empresas e instituciones públicas intentan medir todos sus procesos clave con objeto de mejorarlos (con técnicas como la del ciclo de Deming o PDCA [Walton, M., (1988). «The Deming Management Method». Perigee Books, ISBN: 978-0399550003]).
A modo de ejemplo de institución que mide y monitoriza desde una perspectiva técnica y/o negocio tenemos el Observatorio de Administración Electrónica (OBSAE) (Observatorio de Administración Electrónica [OBSAE] [24 marzo 2019]), donde publica periódicamente métricas como el nº de transacciones con @firma, nº de facturas electrónicas presentadas en FACe, nº de asientos registrales (SIR), autenticaciones vía Cl@ve, gasto en TIC, etc.
En el caso de sistemas web, se disponen de múltiples métricas pero que no han sido organizadas para el objetivo que se busca en esta publicación que es la evaluación de sitios web desde una óptica del ciudadano. Por ello los autores propusieron e implementaron un meta-indicador llamado CIO-Rank conformado por tres temáticas diferentes (San Martin, J. & Sánchez Zurdo, J., 2018. “CIO-RANK, A tool to evaluate Availability, Security and Quality of the corporative websites and public body”. DYNA New Technologies, 5(1). [33 p.]. DOI):
- Temática 1. Seguridad: Contiene todos aquellos indicadores que tienen una fuerte componente de cómo de seguro es el sistema web que proporciona la información.
- Temática 2. Disponibilidad: Mide todas aquellas cuestiones relacionadas con la disponibilidad del servicio a medir, como por ejemplo la velocidad de descarga, instancias web o la sincronización horaria.
- Temática 3. Posicionamiento web: Temática relacionada con la extracción de cómo ven terceros sistemas la página web en concreto, posicionándola con diferentes rankings y otras métricas técnicas adicionales.
Todos los indicadores y métricas se extraen de manera mínimamente invasiva mediante la creación de diferentes robots de navegación o RPA’s (Robotic Process Automation), con objeto de simular el comportamiento de un humano. Esto ha permitido realizar la captura de la información sin ningún tipo de agente instalado en los servidores de las Administraciones Públicas (agentless) lo que pone a todas las instituciones públicas en igualdad de condiciones.
Proyecto: CIO-RANK
En este punto del artículo el lector podría indicar, acertadamente, que las métricas anteriormente indicadas son un subconjunto de indicadores técnicos y de negocio que no están correlacionadas con las intenciones de un usuario final. Para cubrir este gap, el meta-indicador CIO-Rank ha recogido las métricas por temática y web, siendo ponderadas en base a un cuestionario de percepción completado por casi un centenar de internautas. El estudio recoge la siguiente información relevante:
- Datos para conocer el universo: Edad, sexo, estudios realizados, empleo y conocimiento web.
- Datos para conocer sus gustos: Por cada métrica se dispuso de una pregunta que permite evaluar cómo de importante es ese concepto para cada internauta.
Se utilizó la escala psicométrica de Likert (Likert R., 1932, “A technique for the measurement of attitudes”, New York: The Science Press, S. Woodiyorte vol. 22, [24 marzo 2019]), con un marco de valoración de 5 niveles (Nada, Poco, Normal, Importante y Muy Importante). En base a pruebas de los rangos con signo de Wilcoxon (Wilcoxon, F., 1945, “Individual Comparisons by Ranking Methods”, Biometrics Bulletin, Vol.1-No.6, pp. 80-83. [24 marzo 2019]) y en base a los rangos de edad se pudo determinar si entre grupos poblacionales se podía suponer normalidad en las muestras. De manera resumida se descubrió lo siguiente:
Temática 1: Seguridad
La seguridad para los jóvenes menores de 30 años es menos importante que para el resto de la muestra. Esta afirmación puede tener efectos colaterales en artículos científicos posteriores, como por ejemplo la exposición pública en redes sociales. Cada métrica proporciona un peso diferente al global de esta temática (TS).
Temática 2: Disponibilidad
La disponibilidad de los contenidos web no es especialmente relevante en ninguna franja de edad. Cada métrica proporciona un peso diferente al global de esta temática (TA).
Temática 3: Posicionamiento web
Existe relevancia entre los usuarios entre 20 y 40 años. Los buscadores web como Bing o Google difieren sensiblemente entre los usuarios de estas franjas de edad (TSEO).
Meta-indicador CIO-Rank
Los resultados anteriores evidencian, como era lógico, que una página web debe estar orientada a su público objetivo, o al menos tener múltiples áreas diferenciadas que permitan mejorar el índice de penetración a cada sector (cosa que no suele ser habitual en las administraciones públicas). El indicador CIO-Rank se calcula en base a la siguiente fórmula:
Nótese que cada métrica está ponderada de manera diferente en cada temática por lo que la importancia no es proporcional.
Resultados
CIO-Rank se está aplicando desde 2015 a más de 500 entidades públicas y privadas, agrupándolas de la siguiente manera: Ayuntamientos de la Comunidad de Madrid (179), Ayuntamientos de la provincia de Lleida (227), Comunidades y Ciudades Autónomas (19), Organismos Públicos (18), Partidos Políticos (15), Empresas del IBEX 35 (35), Emisoras de radio (16), Televisiones (15), Universidades de la Comunidad de Madrid (14).
Para el presente artículo, se han seleccionado los 25 municipios más poblados de la Comunidad de Madrid (de un total de 179) y las páginas web de las Comunidades Autónomas españolas (19). Se ha monitorizado hasta el mes de marzo de 2019 y los resultados son los indicados en las tablas II y III.
Conclusiones y futuras líneas de trabajo
Tener herramientas para comparar el servicio que se ofrece siempre es positivo y más entre entidades públicas, cuyo ratio de compartición de información es muy superior al de las entidades privadas. La identificación de fortalezas y debilitades entre entidades permite la compartición de las estrategias seguidas de mejora y establecer un ciclo de mejora continuo PDCA personalizado para cada entidad. Por ello, CIO-Rank resulta un indicador atractivo para las entidades y sus respectivos grupos de interés.
Que CIO-Rank sea mínimamente invasivo y no requiera de instalación de equipamiento adicional dentro de cada entidad, permite ser independiente de las plataformas, aporta transparencia en el proceso e iguala las condiciones de evaluación entre todas las entidades con independencia de las inversiones realizadas.
En relación a las futuras líneas de trabajo, se destacan las siguientes:
- La incorporación de los datos económicos de inversiones en los sistemas web institucionales, lo que permitiría establecer una relación de eficiencia económica en cuanto a la inversión realizada con respecto a los resultados ofrecidos por CIO-Rank.
- Establecer el concepto de situación de referencia para una entidad, de tal manera que pueda implementarse la vigilancia activa con identificación de tendencias y resolución automatizada (si fuera viable).
- Utilizar técnicas de Inteligencia Artificial como Machine Learning, que permita generar un sistema de recomendación en base a los resultados de la encuesta de valoración de los internautas. Este sistema podría establecer un conjunto de recomendaciones adaptadas a la web y al público objetivo que se desea llegar. No es por tanto únicamente una herramienta de comparación o detección, si no además de mejora.
- Colaboración con entidades públicas como por ejemplo FEMP (Federación Española de Municipios y Provincias), para la retransmisión de las evaluaciones a los ayuntamientos que así lo deseen.
Agradecimientos
Nos gustaría agradecer principalmente a los internautas que completaron la encuesta de percepción, cuya participación ha resultado fundamental para el cálculo de los pesos de cada una de las métricas del estudio. La retroalimentación y comentarios recibidos por Amador Sánchez y su equipo de técnicos del Ayuntamiento de Boadilla del Monte contribuyeron también en la mejora de los indicadores relacionados con la Administración Local.