O que o papa Leão XIV disse sobre a inteligência artificial

Texto escrito por Cristina Moreno de Castro

No dia 15 de maio, o papa Leão XIV assinou sua “Carta Encíclica Magnifica Humanitas – Sobre a Salvaguarda da Pessoa Humana na Era da Inteligência Artificial”, divulgada pelo Vaticano no dia 25. Ela pode ser lida em português no site oficial da Santa Sé.

Não costumo ler encíclicas, nem desses papas inteligentes que apareceram nos últimos anos, mas esta, sobre a IA, me atraiu pessoalmente. Ainda mais depois que descobri que o “santo padre” havia dedicado um bom espaço para tratar da comunicação, da verdade e da democracia – três dos meus temas favoritos – que vou trazer aqui no próximo post.

Já na introdução ele fala que estamos na “era da inteligência artificial, em que a dignidade humana corre o risco de ser ofuscada por novas formas de desumanização”.

Ele volta a tratar da IA ao longo de toda a carta, como neste trecho do capítulo 2:

“As inovações tecnológicas – entre elas a inteligência artificial – não são neutras: podem aumentar a participação e a justiça, ou, pelo contrário, agravar desigualdades, controle e exclusão.”

Mas é no capítulo 3 (Técnica e Domínio – A Grande da Pessoa Humana Perante as Promessas da IA), que ele se debruça especificamente sobre as novas tecnologias.

Reproduzo, a seguir, alguns trechos desse capítulo. A única alteração que fiz no texto foi colocar algumas quebras de parágrafo e alguns grifos em negrito, para facilitar a leitura.

O paradigma tecnocrático e o poder digital

92. Na Encíclica Laudato si’, o Papa Francisco denunciava a crescente afirmação de um paradigma tecnocrático no mundo globalizado: a tendência de deixar que a lógica da eficiência, do domínio e do lucro governe por si só as escolhas pessoais, sociais e económicas.

Assim, torna-se mais evidente que a técnica não é um mero instrumento e que, quando se torna critério, acaba por determinar o que é importante e o que pode ser descartado, reduzindo a criação a objeto de exploração e as pessoas a engrenagens dum sistema que quer ser sempre mais eficiente.

93. Este paradigma tem-se expandido rapidamente nos últimos anos, devido também à difusão da inteligência artificial, das ciências cognitivas, da nanotecnologia, da robótica e da biotecnologia. Por si só, essas inovações podem tornar-se uma grande ajuda para o desenvolvimento humano integral e para o cuidado da nossa casa comum.

Mas, precisamente devido ao seu poder, podem agir como um acelerador do paradigma tecnocrático e, por isso, necessitam dum novo enquadramento espiritual, ético e político. Mais poderoso não significa necessariamente melhor. Neste sentido, as palavras de Romano Guardini continuam surpreendentemente atuais: «o homem moderno não está educado para usar corretamente o seu poder».

(…) 95. É necessário aqui reconhecer um dado decisivo, que já referi anteriormente: em muitos casos, no contexto digital, o controle das plataformas, das infraestruturas, dos dados e da capacidade de computação não é prerrogativa dos Estados, mas sim de grandes sujeitos económicos e tecnológicos que, na prática, estabelecem as condições de acesso, as regras de visibilidade e as próprias possibilidades de participação.

Quando um poder desta magnitude se concentra na mão de poucos, ele tende a tornar-se opaco e a fugir ao controle público, aumentando o risco dum desenvolvimento distorcido que gera novas dependências, exclusões, manipulações e desigualdades.

96. Ante esta concentração de poder no mundo digital, os grandes princípios da Doutrina Social tornam-se critérios para avaliar e discernir o novo cenário: a dignidade inalienável da pessoa, o bem comum, a destinação universal dos bens, a subsidiariedade, a solidariedade e a justiça social.

Estes princípios exigem que se verifique se o poder das infraestruturas digitais e dos algoritmos favorece realmente a participação e a responsabilidade, protege os mais frágeis, assegura um acesso equitativo às oportunidades e permanece orientado para o bem de todos. A partir destas premissas, podemos agora analisar mais de perto o que é a inteligência artificial, quais as possibilidades que abre e quais os riscos que encerra.

A inteligência artificial

(…) 98. É oportuno partir de duas considerações: a primeira é que qualquer afirmação sobre a IA corre o risco de se tornar obsoleta em pouco tempo, dada a impressionante velocidade de desenvolvimento destes sistemas.

A segunda é que todos nós, incluindo quem os projeta, sabemos muito pouco sobre o seu funcionamento efetivo. Na verdade, as inteligências artificiais modernas são mais “cultivadas” do que “construídas”: os programadores não projetam diretamente todos os detalhes, mas criam uma arquitetura sobre a qual a IA “cresce”.

Consequentemente, aspectos científicos fundamentais — como as representações internas e os processos computacionais destes sistemas — permanecem, por enquanto, desconhecidos. Manifesta-se, portanto, a urgência de um duplo compromisso: por um lado, um aprofundamento da investigação científica; por outro, um exercício de discernimento moral e espiritual.

99. Não é possível dar uma definição unívoca e completa da IA. O que podemos afirmar é que se evite o equívoco de equiparar esta “inteligência” à humana. Estes sistemas imitam algumas funções da inteligência humana. Ao fazê-lo, muitas vezes superam-na em velocidade e amplitude de cálculo, oferecendo benefícios concretos em numerosos campos.

No entanto, este poder permanece exclusivamente ligado ao tratamento de dados: as ditas inteligências artificiais não vivem uma experiência, não possuem um corpo, não passam pela alegria e pela dor, não amadurecem nas relações, não conhecem internamente o que significa amor, trabalho, amizade, responsabilidade.

Nem sequer possuem uma consciência moral: não julgam o bem e o mal, não captam o sentido último das situações, não assumem sobre si o peso das consequências.

Podem imitar linguagens, comportamentos, avaliações, podem simular empatia ou entendimento, mas não compreendem o que produzem, porque não penetram o horizonte afetivo, relacional e espiritual no qual o ser humano se torna sábio.

Ainda que esses instrumentos sejam apresentados como capazes de “aprender”, a sua forma de o fazer é diferente da do ser humano. Não se trata da experiência de quem se deixa moldar pela vida e cresce ao longo do tempo através de escolhas, erros, perdão e fidelidade; trata-se, antes, de uma adaptação estatística a partir de dados e resultados, que pode ser muito eficaz, mas não implica um crescimento interior.

Uma ajuda preciosa que requer atenção

100. À luz de quanto foi exposto, podemos compreender melhor por que razão a inteligência artificial pode ser uma ajuda preciosa, exigindo, ao mesmo tempo, uma abordagem sóbria e vigilante. Nos últimos anos, o seu uso privado cresceu de modo notável e em vários setores reflete-se sobre as oportunidades e os riscos associados à sua rápida difusão.

Na utilização pessoal, devem ser devidamente considerados, em particular, três aspectos: a facilidade de obter o resultado, a aparência de objetividade e a simulação da comunicação humana.

A rapidez e a simplicidade com que é possível obter orientações, processamentos complexos, conteúdos mediáticos e formas de assistência concreta simplificam as nossas vidas, mas também podem habituar-nos a delegar em demasia e a procurar respostas prontas, enfraquecendo a própria opinião e a criatividade.

A aparência de objetividade que as respostas e as propostas destes sistemas podem suscitar corre o risco de nos fazer esquecer que elas refletem os parâmetros culturais de quem os concebeu e treinou, com todos os seus méritos e defeitos.

A imitação artificial de uma comunicação humana positiva – palavras de conselho, empatia, amizade, amor – pode revelar-se gratificante e até útil, mas, em utilizadores pouco conscientes, pode induzir em erro e criar a ilusão de estarem em relação com um sujeito pessoal autêntico.

Quando a palavra é simulada, mas não encarnada, ela não constrói uma relação, mas sim uma aparência dela. A imitação artificial da relação de cuidado ou de acompanhamento pode tornar-se perigosa quando se insinua num contexto pobre de relações e afetos concretos: então, o risco não é tanto que uma pessoa acredite estar a falar com outra, mas que perca o desejo de procurar verdadeiramente o outro.

[Nota da Cris: recomendo que leiam esta reportagem da AFP que traz justamente o que o papa disse acima]

101. Ao alargar o olhar para a utilização da IA nas nossas sociedades, constatamos que está já presente nos processos de tomada de decisão em todos os domínios e a vários níveis: na comunicação, na gestão e no controle.

As vantagens em termos de eficiência e o potencial de melhoria de alguns serviços são evidentes; todavia, uma adoção rápida e acrítica expõe-nos a vários riscos, entre os quais o de subestimar o seu impacto ambiental.

Os atuais sistemas de IA requerem grandes quantidades de energia e água, têm um impacto significativo nas emissões de dióxido de carbono e consomem recursos de forma intensiva.

Com o aumento da complexidade, sobretudo nos grandes modelos linguísticos, crescem também as necessidades de poder de cálculo e capacidade de armazenamento, que se apoiam num conjunto de máquinas, cabos, centros de dados e infraestruturas consumidoras de muita energia. Por isso, é essencial desenvolver soluções tecnológicas mais sustentáveis para reduzir o impacto ambiental e cuidar da nossa Casa comum.

Responsabilidade, transparência e gestão da IA

102. O uso da IA nunca é uma questão puramente técnica: ao interferir em processos que afetam a vida das pessoas, ela incide sobre direitos, oportunidades, reputação e liberdade.

Decisões delicadas que dizem respeito ao trabalho, ao crédito, ao acesso a serviços e à reputação das pessoas correm o risco de ser confiadas inteiramente a sistemas automatizados que desconhecem «a compaixão, a misericórdia, o perdão e, sobretudo, a abertura à esperança de mudança da pessoa», podendo assim gerar novas formas de marginalização.

Podem existir usos manifestamente anti-humanos, como a manipulação da informação ou a violação da privacidade, mas pode também haver uma ameaça menos evidente, quando os sistemas de IA, apresentando-se como neutros e objetivos, refletem e reforçam estereótipos ou posições ideológicas daqueles que os projetaram e treinaram.

103. Confiar, na prática, a um algoritmo o poder de selecionar quem merece ou não, sem que ninguém mais assuma o peso da decisão, significa confiar-lhe a tarefa de redefinir os limites das possibilidades humanas.

Neste processo, o que se perde não é apenas a empatia para com o excluído – que pode ser imitada artificialmente –, mas a responsabilidade política, porque o descarte dos fracos é revestido de neutralidade e objetividade, perante as quais é impossível protestar. E assim, a injustiça torna-se silenciosa, e desaparecem do horizonte a compaixão, a misericórdia e o perdão, não como mera aparência, mas enquanto gestos políticos.

104. Daqui decorre uma consequência simples, mas imperiosa: não podemos considerar a IA moralmente neutra. Na realidade, todo o artefato técnico traz consigo escolhas e prioridades: o que mede, o que ignora, o que otimiza e a forma como classifica pessoas e situações.

Se um sistema for concebido ou utilizado de modo a tratar certas vidas como menos dignas, ou a excluí-las sem possibilidade de apelo, não se trata de um mero instrumento “a ser bem utilizado”: introduz já um critério que contradiz a dignidade inalienável da pessoa.

Por isso, o discernimento ético não pode limitar-se a perguntar se utilizamos um determinado sistema para um fim bom ou mau, mas deve também questionar-se sobre a forma como foi projetado e que ideia de pessoa e sociedade está inscrita nos dados e nos modelos que o orientam.

105. Para que a IA respeite a dignidade humana e sirva verdadeiramente o bem comum, é essencial que as responsabilidades sejam claras em todas as etapas: desde quem concebe e treina os sistemas a quem os utiliza e decide confiar-lhes escolhas concretas.

Em muitos casos, contudo, os processos internos que conduzem a um resultado podem ser pouco transparentes, o que torna mais difícil atribuir responsabilidades e corrigir erros. É aqui que se torna decisivo o que chamamos accountability: a possibilidade de identificar quem deve “prestar contas” das decisões, motivá-las, controlá-las e, quando necessário, contestá-las, reparando os danos daí decorrentes.

106. Apelar à prudência, a auditorias rigorosas e, por vezes, a um abrandamento na adoção da IA não significa ser contra o progresso, mas sim exercer a salvaguarda responsável da família humana.

Esta exigência é ainda mais urgente porque frequentemente existe um desequilíbrio entre a velocidade do desenvolvimento tecnológico e o ritmo com que amadurecem a consciência, as normas, os controles e as instituições capazes de gerir os seus efeitos.

Não basta invocar genericamente a ética: são necessários quadros jurídicos adequados, vigilância independente, educação dos utilizadores, uma política que não renuncie à sua missão. Caso contrário, a mudança será governada somente por lógicas tecnocráticas e apresentada como necessária e inevitável, acabando por impor regras efetivas, ditadas por quem detém dados, infraestruturas e capacidade de processamento.

107. Não podemos limitar-nos a invocar a moralização da máquina, o chamado “alinhamento” da IA com os valores humanos, sem termos a coragem de impor uma condição adicional: a possibilidade de discutir o código ético a ser utilizado, submetendo-o a critérios de justiça social partilhada.

Caso contrário, quem controla a IA imporá a própria visão moral, que se tornará a infraestrutura invisível dos sistemas. Não precisamos de uma IA mais moral, se esta moral for decidida por poucos. Precisamos de uma política mais presente, capaz de reduzir a velocidade onde tudo se acelera e de proteger os espaços onde as comunidades ainda podem participar e questionar-se.

108. Com efeito, tal como acontece com qualquer grande avanço tecnológico, a IA tende a reforçar sobretudo o poder daqueles que já dispõem de recursos económicos, competências e acesso aos dados.

À luz do bem comum e da destinação universal dos bens, este fenómeno suscita sérias preocupações: pequenos grupos muito influentes podem orientar a informação e o consumo, condicionar processos democráticos e incidir sobre dinâmicas económicas em seu próprio benefício, contrariando a justiça social e a solidariedade entre os povos.

Por isso, é indispensável que a utilização da IA – sobretudo quando envolve bens públicos e direitos fundamentais – seja acompanhada por critérios claros e controles efetivos, inspirados na participação e na subsidiariedade: as comunidades e os organismos intermédios não podem ser reduzidos a destinatários de decisões que não foram tomadas por eles mesmos, mas devem poder contribuir para o discernimento e a vigilância.

Além disso, a propriedade dos dados não pode ser confiada apenas a particulares, mas deve ser regulamentada. Estes são fruto da contribuição de muitos e não podem ser vendidos ou confiados a poucos. É necessária uma criatividade capaz de os gerir como um dos bens comuns ou coletivos, numa lógica de partilha, tal como já sugeria São João Paulo II, a propósito dos bens coletivos.

(…) 110. Por fim, gostaria de utilizar uma palavra que me é cara: “desarmar”. Desarmar a IA significa subtraí-la à lógica da competição armada, que hoje não é apenas militar, mas também económica e cognitiva. Trata-se da corrida ao algoritmo mais eficaz e ao banco de dados mais vasto, com o objetivo de consolidar uma vantagem geopolítica ou comercial sobre todos os outros.

Desarmar significa quebrar esta equivalência entre poder técnico e direito de governar. Não significa renunciar à tecnologia, mas impedir que ela domine o ser humano. Significa retirá-la dos monopólios, torná-la discutível, contestável e, portanto, habitável, devolvendo-a à pluralidade das culturas humanas e das formas de vida.

A tarefa, hoje, não é apenas ética ou técnica: é ecológica no sentido mais radical, porque envolve uma nova dimensão da nossa Casa comum. A IA é o ambiente em que estamos imersos e o poder com que temos de lidar. Por isso, não basta regulá-la: deve ser desarmada e tornada acolhedora. (…)

O que não podemos perder

112. Depois de ter evocado as questões da responsabilidade e da gestão da IA, é necessário voltar ao cerne da questão: o que significa salvaguardar o humano. O risco não é apenas o do mau uso de algumas tecnologias, mas que o paradigma tecnocrático em que estamos imersos, potencializado pela revolução digital e pela IA, faça parecer justa e normal uma visão anti-humana, segundo a qual a plenitude da vida consistiria em possuir mais, em reduzir a fragilidade, eliminar o imprevisto e controlar tudo.

Quando a eficiência se torna a medida do valor, o ser humano é tentado a pensar-se como um projeto a otimizar, mais do que como uma criatura chamada à relação e à comunhão.

113. Na verdade, absolutizar uma única dimensão do ser humano é sempre errado. Com efeito, não é apenas a escassez que gera desordem. Também aquilo que cresce sem medida pode tornar-se uma forma de pobreza. Num ecossistema, a harmonia rompe-se quando uma única espécie prolifera em detrimento das outras; o mesmo acontece no ser humano quando uma faculdade pretende tornar-se a medida de tudo. Assim, a inteligência, se absolutizada, acaba por obscurecer outras dimensões essenciais da vida: o afeto, a vontade, a dedicação e a relação.

O poder técnico, se não for equilibrado, não nos torna mais capazes: torna-nos mais sós e mais expostos a lógicas de domínio e de exclusão. Não se trata, evidentemente, de se opor à inteligência, mas de recordar que esta, quando se fecha em si mesma, esquece ter sido feita para servir a vida e a pessoa humana.

114. A qualidade de uma civilização não se mede pelo poder dos seus meios, mas pelo cuidado que sabe oferecer, pela capacidade de reconhecer o outro enquanto pessoa e não enquanto função. Uma dimensão importante do nosso ser humanos é a capacidade de saber cuidar uns dos outros. Esta aprende-se e aperfeiçoa-se com a experiência. Ler histórias a uma criança, fazer companhia a um idoso, tornar acolhedor um espaço, são gestos que se vivem no ambiente familiar, ajudando-nos a aprender e a interiorizar a importância do cuidado a nível social e treinando-nos para reconhecer o outro como pessoa digna de atenção.

A tecnologia pode apoiar também o cuidado mútuo entre as pessoas, ao oferecer ferramentas que, por exemplo, ajudem a prever e a organizar, mas sem derrubar a liberdade e o discernimento do ser humano, sujeito das relações e responsável pelas decisões. (…)

Clique aqui para ler a encíclica do papa na íntegra, em português

No post de amanhã, vou trazer o trecho sobre verdade, democracia, comunicação e educação.

***

Você também vai gostar destes posts:

Quer reproduzir este ou outro conteúdo do meu blog em seu site? Tudo bem!, desde que cite a fonte (texto de Cristina Moreno de Castro, publicado no blog kikacastro.com.br) e coloque um link para o post original, combinado? Se quiser reproduzir o texto em algum livro didático ou outra publicação impressa, por favor, entre em contato para combinar.