6 riscos de negócios que podem enganar a ética e a governança da IA

Dependendo de quais filmes do Exterminador você assistiu, a inteligência artificial maligna Skynet já assumiu a humanidade ou está prestes a fazê-lo. Mas não são apenas os escritores de ficção científica que estão preocupados com os perigos da IA descontrolada.

Em uma pesquisa de 2019 da Emerj, uma empresa de consultoria e pesquisa de IA, 14% dos pesquisadores de IA disseram que a IA era uma “ameaça existencial” para a humanidade. Mesmo que o apocalipse da IA não aconteça, a ética da IA prejudicada representa grandes riscos para a sociedade – e para as empresas que implantam esses sistemas de IA.

Central para esses riscos são os fatores inerentes à tecnologia – por exemplo, como um determinado sistema de IA chega a uma determinada conclusão, conhecida como sua “explicabilidade” – e aqueles endêmicos ao uso de IA por uma empresa, incluindo a dependência de conjuntos de dados tendenciosos ou implantação de IA sem governança adequada.

E embora a IA possa fornecer vantagens competitivas às empresas de várias maneiras, desde a descoberta de oportunidades de negócios negligenciadas até a simplificação de processos caros, as desvantagens da IA sem a devida atenção à governança da IA, ética e regulamentações em evolução podem ser catastróficas.

Os seguintes problemas de implementação do mundo real destacam os riscos proeminentes que todo líder de TI deve considerar ao montar a estratégia de implantação de IA de sua empresa.

Desastres de relações públicas

No mês passado, um documento vazado do Facebook obtido pela Motherboard mostrou que o Facebook não tem ideia do que está acontecendo com os dados de seus usuários.

“Não temos um nível adequado de controle e explicação sobre como nossos sistemas usam dados”, disse o documento, atribuído aos engenheiros de privacidade do Facebook.

Agora, a empresa está enfrentando um “tsunami de regulamentações de entrada”, disse o documento, que não pode ser resolvido sem investimentos plurianuais em infraestrutura. Em particular, a empresa tem pouca confiança em sua capacidade de resolver problemas fundamentais com machine learning e aplicativos de IA, de acordo com o documento. “Esta é uma nova área de regulamentação e é muito provável que vejamos novos requisitos nos próximos anos. Temos muito pouca confiança de que nossas soluções são suficientes”.

Este incidente, que fornece informações sobre o que pode dar errado para qualquer empresa que tenha implantado IA sem governança de dados adequada, é apenas o mais recente de uma série de empresas de alto perfil que viram seus desastres de relações públicas relacionados à IA em todas as primeiras páginas.

Em 2014, a Amazon criou um software de recrutamento baseado em IA que preferia predominantemente candidatos do sexo masculino.

Em 2015, o aplicativo Fotos, do Google, rotulou fotos de pessoas negras como “gorilas”. Não aprendendo com esse erro, recentemente, o Facebook teve que se desculpar por um erro semelhante, quando seus usuários foram perguntados se queriam “continuar vendo vídeos sobre primatas” depois de assistir a um vídeo com homens negros.

O chatbot Tay, da Microsoft, lançado no Twitter em 2016, rapidamente começou a divulgar mensagens racistas, misóginas e antissemitas.

A má publicidade é um dos maiores medos que as empresas têm quando se trata de projetos de IA, diz Ken Adler, Presidente da Prática de Tecnologia e Fornecimento do escritório de advocacia Loeb & Loeb.

“Eles estão preocupados em implementar uma solução que, sem o conhecimento deles, tem um viés embutido”, diz ele. “Pode ser qualquer coisa – racial, étnica, de gênero”.

Impacto social negativo

Sistemas de IA tendenciosos já estão causando danos. Um algoritmo de crédito que discrimina as mulheres ou uma ferramenta de recomendação de recursos humanos que não sugere cursos de liderança para alguns funcionários colocará esses indivíduos em desvantagem.

Em alguns casos, essas recomendações podem ser literalmente uma questão de vida ou morte. Esse foi o caso de um hospital comunitário com o qual Carm Taglienti, Engenheiro Distinto da Insight, já trabalhou.

Os pacientes que chegam a uma sala de emergência de um hospital geralmente têm problemas além daqueles que os fizeram chegar lá especificamente, diz Taglienti. “Se você chega ao hospital reclamando de dores no peito, também pode haver um problema de sangue ou outro problema contribuinte”, explica ele.

A equipe de ciência de dados desse hospital em particular construiu um sistema para identificar essas comorbidades. O trabalho foi crucial, pois se um paciente chega ao hospital e tem um segundo problema potencialmente fatal, mas o hospital não o detecta, o paciente pode ser enviado para casa e acabar morrendo.

A questão era, no entanto, em que ponto os médicos deveriam agir de acordo com a recomendação do sistema de IA, dadas as considerações de saúde e os limites dos recursos do hospital? Se uma correlação descoberta pelo algoritmo for fraca, os médicos podem submeter os pacientes a testes desnecessários que seriam uma perda de tempo e dinheiro para o hospital. Mas se os testes não forem realizados, e surgir um problema que pode ser mortal, maiores questionamentos surgMartinsem sobre o valor do serviço que o hospital oferece à sua comunidade, especialmente se seus algoritmos sugerirem a possibilidade, ainda que escassa.

É aí que entra a ética, diz ele. “Se estou tentando fazer a abordagem utilitária, do melhor para a maioria das pessoas, posso tratá-lo se você precisar ou não”.

Mas essa não é uma solução prática quando os recursos são limitados.

Outra opção é reunir melhores dados de treinamento para aprimorar os algoritmos para que as recomendações sejam mais precisas. O hospital fez isso investindo mais na coleta de dados, diz Taglieti.

Mas o hospital também encontrou maneiras de reequilibrar a equação em torno dos recursos, acrescenta. “Se a ciência de dados está lhe dizendo que você está perdendo comorbidades, sempre tem que ser um médico atendendo os pacientes? Podemos usar enfermeiros em vez disso? Podemos automatizar?”

O hospital também criou um mecanismo de agendamento de pacientes, para que as pessoas que não tinham prestadores de cuidados primários pudessem visitar um médico do pronto-socorro nos horários em que o pronto-socorro estivesse menos ocupado, como no meio de um dia de semana.

“Eles conseguiram se concentrar no resultado final e ainda usar a recomendação de IA e melhorar os resultados”, diz ele.

Sistemas que não passam na exigência regulatória

Sanjay Srivastava, Estrategista-Chefe Digital da Genpact, trabalhou com uma grande empresa global de serviços financeiros que procurava usar a IA para melhorar suas decisões de empréstimos.

Um banco não deve usar certos critérios, como idade ou sexo, ao tomar algumas decisões, mas simplesmente tirar pontos de idade ou sexo dos dados de treinamento de IA não é suficiente, diz Srivastava, porque os dados podem conter outras informações que está relacionado com a idade ou sexo.

“O conjunto de dados de treinamento que eles usaram tinha muitas correlações”, diz ele. “Isso os expôs a uma pegada de risco maior do que o planejado”.

O banco acabou tendo que voltar ao conjunto de dados de treinamento e rastrear e remover todos os outros pontos de dados, um processo que os atrasou vários meses.

A lição aqui foi garantir que a equipe que cria o sistema não seja apenas cientistas de dados, diz ele, mas também inclua um conjunto diversificado de especialistas no assunto. “Nunca faça um projeto de IA apenas com cientistas de dados”, diz ele.

A saúde é outro setor em que o não cumprimento dos requisitos regulamentares pode enviar um projeto inteiro de volta ao ponto inicial. Foi o que aconteceu com uma empresa farmacêutica global trabalhando em uma vacina contra a Covid.

“Muitas empresas farmacêuticas usaram a IA para encontrar soluções mais rapidamente”, diz Mario Schlener, Líder Global de Risco de Serviços Financeiros da Ernst & Young. Uma empresa fez um bom progresso na construção de algoritmos, diz ele. “Mas devido à falta de governança em torno do processo de desenvolvimento de algoritmos, isso tornou o desenvolvimento obsoleto”.

E como a empresa não conseguiu explicar aos reguladores como os algoritmos funcionavam, acabou perdendo nove meses de trabalho durante o pico da pandemia.

Multas do GDPR

O Regulamento Geral de Proteção de Dados da UE é uma das leis de proteção de dados mais rígidas do mundo, com multas de até € 20 milhões ou 4% da receita mundial – o que for maior. Desde que a lei entrou em vigor em 2018, mais de 1.100 multas foram emitidas e os totais não param de subir.

O GDPR e regulamentos semelhantes emergentes em todo o mundo restringem como as empresas podem usar ou compartilhar dados privados confidenciais. Como os sistemas de IA exigem grandes quantidades de dados para treinamento, sem práticas de governança adequadas, é fácil entrar em conflito com as leis de privacidade de dados ao implementar a IA.

“Infelizmente, parece que muitas organizações têm uma atitude ‘adicionaremos quando precisarmos’ em relação à governança de IA”, diz Mike Loukides, Vice-Presidente de Conteúdo de Tecnologia Emergente da O’Reilly Media. “Esperar até precisar é uma boa maneira de garantir que você está muito atrasado”.

A União Europeia também está trabalhando em uma Lei de IA, que criaria um novo conjunto de regulamentos especificamente em torno da inteligência artificial. A AI Act foi proposta pela primeira vez na primavera de 2021 e pode ser aprovada em 2023. O não cumprimento resultará em uma série de punições, incluindo penalidades financeiras de até 6% da receita global, ainda mais altas que o GDPR.

Sistemas incorrigíveis

Em abril, um carro autônomo operado pela Cruise, uma empresa de carros autônomos apoiada pela General Motors, foi parado pela polícia porque estava dirigindo sem os faróis acesos. O vídeo de um policial confuso se aproximando do carro e descobrindo que não havia motorista rapidamente se tornou viral.

Em seguida, o carro partiu e parou novamente, permitindo que a polícia o alcançasse. Descobrir por que o carro fez isso pode ser complicado.

“Precisamos entender como as decisões são tomadas em carros autônomos”, diz Dan Simion, Vice-Presidente de IA e Analytics da Capgemini. “A montadora precisa ser transparente e explicar o que aconteceu. Transparência e explicabilidade são componentes da IA ética”.

Muitas vezes, os sistemas de IA são “caixas pretas” inescrutáveis, fornecendo poucas informações sobre como eles tiram conclusões. Como tal, encontrar a origem de um problema pode ser altamente difícil, lançando dúvidas sobre se o problema pode ser corrigido.

“Eventualmente, acho que as regulamentações virão, especialmente quando falamos de carros autônomos, mas também para decisões autônomas em outros setores”, diz Simion.

Mas as empresas não devem esperar para construir explicabilidade em seus sistemas de IA, diz ele. É mais fácil e mais barato a longo prazo construir a explicabilidade desde o início, em vez de tentar colocá-la no final. Além disso, existem razões comerciais imediatas e práticas para criar IA explicável, diz Simion.

Além dos benefícios de relações públicas de poder explicar por que o sistema de IA fez o que fez, as empresas que adotam a explicabilidade também poderão corrigir problemas e simplificar os processos com mais facilidade.

O problema estava no modelo ou na sua implementação? Foi na escolha dos algoritmos ou uma deficiência no conjunto de dados de treinamento?

As empresas que usam ferramentas de terceiros para alguns ou todos os seus sistemas de IA também devem trabalhar com seus fornecedores para exigir explicações de seus produtos.

Riscos de sentimento dos funcionários

Quando as empresas criam sistemas de IA que violam a privacidade dos usuários, são tendenciosos ou prejudicam a sociedade, isso muda a forma como seus próprios funcionários os veem.

Os funcionários querem trabalhar em empresas que compartilham seus valores, diz Steve Mills, Diretor de Ética em IA do Boston Consulting Group. “Um grande número de funcionários deixa seus empregos por questões éticas”, diz ele. “Se você quer atrair talentos técnicos, precisa se preocupar em como vai lidar com esses problemas”.

De acordo com uma pesquisa divulgada pelo Gartner no início deste ano, as atitudes dos funcionários em relação ao trabalho mudaram desde o início da pandemia. Quase dois terços repensaram o lugar que o trabalho deve ter em sua vida, e mais da metade disse que a pandemia os fez questionar o propósito de seu trabalho diário e os fez querer contribuir mais para a sociedade.

E, no outono [norte-americano] passado, um estudo da Blue Beyond Consulting e da Future Workplace demonstrou a importância dos valores. De acordo com a pesquisa, 52% dos trabalhadores deixariam o emprego – e apenas 1 em cada 4 aceitaria um – se os valores da empresa não fossem consistentes com seus valores. Além disso, 76% disseram esperar que seu empregador seja uma força para o bem na sociedade.

Mesmo que as empresas possam iniciar programas de ética em IA por motivos regulatórios ou para evitar má publicidade, à medida que esses programas amadurecem, as motivações mudam.

“O que estamos começando a ver é que talvez eles não comecem dessa maneira, mas acabam por ser uma questão de propósito e valores”, diz Mills. “Torna-se uma questão de responsabilidade social. Um valor central da empresa”.