Sistemas más inteligentes para evitar el horror/

Sistemas más inteligentes para evitar el horror/

Daniel Innerarity es catedrático de Filosofía e Investigador “Ikerbasque” en la Universidad del País Vasco

El País | 28 de marzo de 2015

El accidente del avión de Germanwings y, sobre todo, las lecciones que podemos aprender para dificultar que algo así se repita, nos obligan a reflexionar sobre los riesgos de nuestro modo de vida. ¿Qué es más importante, mejorar la formación de los pilotos o los sistemas de vuelo? Siendo importantes ambas cosas, la naturaleza de los riesgos asociados a las tecnologías que empleamos requiere, sobre todo, sistemas más inteligentes y no tanto personas más capacitadas que los dirijan. ¿A qué se debe esto?

Una de las paradojas de nuestras tecnologías es que tienen que atender a dos riesgos contradictorios: el de no hacer caso a quienes las dirigen y el de hacerles demasiado caso. Según esta distinción, habría un tipo de accidentes que se deben a la impotencia y otros a la omnipotencia. Nos inquietan más estos últimos que aquellos; desasosiega más estar al arbitrio de los hombres que de las máquinas.

El primer tipo de riesgos es más evidente. Los sistemas complejos suelen funcionar autónomamente y sin ello no podríamos tener ninguna tecnología sofisticada, pero muchas veces eso se paga con la ingobernabilidad y esos mismos sistemas que hemos configurado se vuelven, desbocados, contra nosotros mismos. Toda la literatura está plagada de fantasías acerca de creaciones que cobran vida propia y se nos rebelan. Si pensamos en los problemas específicos de la sociedad contemporánea, hay multitud de ejemplos de ese descontrol, y tal vez la dificultad de gobernar los mercados financieros sea el más lacerante. Tenemos otro ejemplo cotidiano de ello en la modificación de nuestras relaciones con la tecnología que usamos. Nos hemos acostumbrado a utilizar dispositivos cuya lógica desconocemos y por eso ya casi nadie sabemos cómo funcionan. Incluso el especialista al que recurrimos sustituye piezas, más que reparar. Por eso se ha lamentado estos días, con motivo del accidente aéreo de los Alpes, que la formación de los pilotos se haya sofisticado de manera que desaparezca el elemento que podríamos llamar “artesanal” del pilotaje. Cuando algo se estropea, lo hace irreparablemente.

De hecho, el piloto automático es un buen ejemplo de la paradoja que resulta cuando nos preguntamos quién manda aquí. Un piloto cree que pilota aviones, pero, desde este punto de vista, es más bien al revés. El piloto pone en marcha el sistema, pero enseguida es la máquina quien prescribe hasta el detalle todo lo que el piloto debe hacer hasta prescindir abiertamente de él. El piloto tiene que adaptarse a la lógica del vuelo. Un sistema es inteligente cuando puede incluso desobedecer ciertas órdenes absurdas. Nadie en su sano juicio debería lamentar esta circunstancia, pues a ella le debemos una enorme cantidad de dispositivos que nos facilitan la vida y a veces, literalmente, nos la aseguran.

El otro gran riesgo consiste en que las tecnologías se sometan excesivamente a quienes las dirigen. Con el accidente de tren de Angrois se experimentaron los inconvenientes de un sistema que dejaba al arbitrio del conductor la velocidad incluso en aquellos tramos en los que había una clara limitación. Cuánto lamentamos entonces que no estuviera instalado en aquel tramo de vía el procedimiento que impide al conductor sobrepasar cierta velocidad aunque lo quiera. Hay muchos sistemas que son inteligentes porque son capaces de oponerse a la voluntad expresa de quienes los dirigen. La sofisticación de los dispositivos de conducción se efectúa a través de sistemas que impiden a quien gobierna hacer lo que quiera, desde los límites constitucionales para el sistema político hasta los sistemas de frenado automático en nuestros vehículos.

Lo diré de una manera un tanto provocativa: la paradoja de todo sistema constitucional es que está lleno de previsiones para impedir que hagamos lo que queramos, para dificultarlo y, si no queda más remedio, para encauzarlo de acuerdo con determinados procedimientos gracias a lo cual existe una cierta estabilidad política. El sistema de frenado ABS es precisamente un sistema para impedir que, en un momento de pánico, frenemos tanto como quisiéramos, lo que pondría en peligro nuestra estabilidad y terminaría haciéndonos más daño que no frenar. Por eso cabe afirmar sin exageración que los sistemas de Gobierno son tanto más inteligentes cuanto más resisten a la obstinación de quienes gobiernan.

Es eso lo que quisieron enseñarnos, entre otros, Adam Smith y Karl Marx: que los sistemas sociales tienen una dinámica propia que actúa con independencia de la voluntad de los actores. Todo el progreso humano se juega en ese difícil equilibrio entre dar cauce a la voluntad humana de gobernar los acontecimientos e impedir al mismo tiempo la arbitrariedad. Las noticias que tenemos parecen indicar que este equilibrio se ha roto, sobre el cielo de los Alpes, en favor de alguien que podía demasiado, es decir, al que el sistema no ha podido impedir que quien pilotaba el avión hiciera lo que quería.

Nuestros protocolos de seguridad se han sofisticado desde el 11-S pensando más en enemigos de fuera que en los de dentro. De ahí, entre otras cosas, que fuera posible cerrar la cabina del avión o que la puerta estuviera blindada. Toda la paradoja del asunto se resume en cómo hacer frente a los riesgos producidos por nuestras propias medidas de seguridad, cómo evitar las protecciones excesivas. La solución no pasa por las personas, me permito concluir, sino por mejorar los sistemas que nos protejan contra las personas, contra sus errores, su demencia o su maldad.