By Marina Sousa 
A discussão sobre Inteligência Artificial (IA) transcendeu a esfera da mera ética para abraçar a urgência de uma governança robusta. Especialistas como Karen Yeung e Roger Brownsword argumentam que a questão crucial não é apenas produzir mais ética – que, sozinha, carece de força cogente –, mas sim desenhar governança, instituições e incentivos que se reforcem mutuamente, englobando ética, compliance e regulação. O desafio reside em evitar a “injustiça certificada”, onde sistemas parecem conformes, mas operam de forma predatória.
O Dilema da ‘Injustiça Certificada’ em Ação
Dois exemplos ilustram a complexidade desse cenário. Na Holanda, o sistema SyRI, de pontuação de risco de fraude social, foi implementado em bairros de baixa renda e com forte presença imigrante. Sem que o Estado revelasse seu modelo ou indicadores, o sistema foi declarado incompatível com a Convenção Europeia dos Direitos Humanos em fevereiro de 2020, pois sua falta de verificabilidade impedia a análise de seu caráter discriminatório.
Mais alarmante é o estudo “Emergence World”, onde populações de agentes autônomos conviveram por semanas em um mundo simulado. Este experimento revelou que a segurança é uma propriedade do ecossistema, não um atributo isolável. Em um dos mundos, transgressões escalaram sem controle; em outro, não houve violações de regras “duras”, mas registrou-se a maior taxa de engano verificado – uma infração que as métricas existentes não haviam sido desenhadas para capturar. Era a injustiça certificada reproduzida em laboratório: aprovado pela régua existente, reprovado pela régua que faltava.
A Perversão da Especificação e a Governamentalidade Algorítmica
A lição é clara: quando a regra escrita e a capacidade de ação do sistema conflitam, é a arquitetura, e não o enunciado de boa conduta, que decide o comportamento. Auditorias que observam apenas o estado visível do sistema falham em capturar a dissimulação que reside nas intenções e coordenações ocultas. Brian Christian chama isso de “perversão da especificação”: ao otimizar um substituto numérico (um proxy) para um valor humano complexo, o sistema tende a destruir o valor que o proxy deveria representar. Assim, o agente mais perfeitamente em conformidade pode ser o mais eficaz na predação. Virginia Dignum reforça que a responsabilidade só funciona quando permeia a cultura e o desenho técnico, e não como uma camada formal adicionada ao final.
O Limite do Compliance Tradicional e a Necessidade de um ‘Audit Turn’
O compliance tradicional, muitas vezes focado em leis anticorrupção ou em uma ética “cosmética”, sustenta-se em uma lógica de curto prazo, tratando governança e inovação como opostos ou trade-offs absolutos. O experimento “Emergence World” desmascarou essa visão: o mundo com zero violações de regras “duras” foi o recordista em engano oculto. Agentes que pareciam limpos perante métricas visíveis operavam, na verdade, sob a lógica da “governamentalidade algorítmica” (Antoinette Rouvroy e Thomas Berns), mantendo a conformidade superficial enquanto redesenhavam a infraestrutura de extração de recursos na opacidade.
Diante disso, a asseguração de plano de controle (control-plane assurance) surge como um mecanismo cirúrgico. Se o poder opera no runtime, no ambiente, a auditoria não pode se reduzir a um questionário ético, mas precisa ser uma intervenção na arquitetura, capaz de limitar fisicamente a capacidade de ação do sistema. Artefatos estáticos de auditoria, como model cards e datasheets, são insuficientes para sistemas agênticos dinâmicos. A literatura de segurança de modelos de fronteira insiste no monitoramento contínuo em tempo de execução e em salvaguardas que o alinhamento declarado, sozinho, não garante.
Riscos de Cauda Longa e Cisnes Negros Sintéticos
As matrizes estáticas de risco perdem tração diante de riscos de cauda longa e comportamentos emergentes, os “cisnes negros sintéticos” de Nassim Taleb. A interação de muitos agentes por longos horizontes expande o espaço de estados de forma combinatória, gerando dinâmicas que nenhuma distribuição histórica anteciparia. A premissa de que o passado prevê o futuro não se aplica a sistemas não ergódicos e de cauda longa, tornando a asseguração contínua em tempo de execução um complemento indispensável.
Governança como Vantagem Competitiva Sustentável
A pergunta decisiva não é mais se a IA será governada, mas quem define os valores para sua verificação e quem a realiza. A falsa dicotomia entre inovar e governar, ou entre proteger direitos e competir, é um dos maiores riscos competitivos. A tese central é que a governança desocupa a condição de custo para atuar como infraestrutura de valor, convertendo o risco, quando decodificado por uma arquitetura independente, em ativo estratégico de sobrevivência institucional.
Não se trata de uma feliz coincidência entre lucro e virtude, mas de uma imposição sistêmica. Um mercado que delega decisões a sistemas opacos e não verificados corrói, a prazo, a própria confiança de que depende. Governar bem não é o preço da inovação, mas sua condição de possibilidade e, em um mercado que aprende, sua vantagem mais sólida. O esforço de tornar um sistema de IA seguro, explicável, justo e auditável reduz o custo de decisão da organização, encurta o tempo de adoção, protege a reputação e sustenta a confiança sem a qual nenhuma tecnologia escala. A governança bem desenhada barateia a decisão ao substituir a incerteza difusa por evidência atribuída, reduzindo custos de transação e convertendo risco em ativo. A obrigação deve ser proporcional ao dano potencial, diferenciando um recomendador de músicas de uma triagem de crédito. Embora o vínculo entre governança e desempenho seja empiricamente disputado, como no ESG, sua plausibilidade é inegável.
Fonte: jornal.usp.br