Entenda o que é black box problem e por que ele está se tornando um obstáculo para a implantação de ferramentas de IA nas empresas

Muitas empresas voltadas para resultados utilizam ferramentas de inteligência artificial para automatizar tarefas e, assim, garantir mais eficiência e velocidade às operações. Aliás, elas fazem muito bem em ir por esse caminho.

No entanto, um dos desafios que a IA enfrenta é a confiança e aceitação do público às decisões e respostas fornecidas por ela. O black box problem faz esse obstáculo ficar ainda maior.

Isso porque as ferramentas baseadas em inteligência artificial não demonstram como funcionam, ou seja, não há como saber explicitamente como e por que chegam a determinadas conclusões.

Nem mesmo os desenvolvedores de soluções conseguem desvendar os meandros da tomada de decisão pela IA , o que gera desconfiança na tecnologia. Afinal, tudo o que se sabe é que um algoritmo decidiu que aquela seria a melhor resposta.

A falta de habilidades em gerenciamento de riscos em IA como a black box, desacelera projetos na área. De acordo com o State of AI in the Enterprise 2020, da Delloite, 41% das empresas que praticam gerenciamento de riscos em IA estão desacelerando projetos em IA em virtude desses mesmos riscos. Entre as que não fazem gerenciamento nenhum, a taxa é de 58%.

Então que problema é esse da black box? Para entender o que está por trás dele e como mitigá-lo, continue a leitura deste artigo.

O conceito de caixa preta em tecnologia

Como você sabe, uma caixa preta é um dispositivo, sistema ou programa que permite visualizar os dados de entrada e de saída, mas não fornece uma visão dos processos e nem do funcionamento entre eles.

Do conceito de black box já brota a desconfiança em relação a ele. Não há como saber o que exatamente é aprendido e como se apreende. Ou seja, não é possível ver o conteúdo entre as camadas, somente a conclusão.

As ferramentas mais comuns que sofrem com o black box problem são as que utilizam redes neurais artificiais ou deep learning.

Então, a pergunta é: se não se pode entender a maneira que as ferramentas de IA tomam determinadas decisões, como saber se elas estão no caminho certo?

Impactos do problema da caixa preta da IA em organizações

À medida que as ferramentas de IA tornam-se mais presentes em nossas vidas, auxiliando empresas e profissionais de diferentes setores, o impacto de suas decisões se torna mais sério.

As funções de IA estão desempenhando um papel importante na sociedade. Por exemplo: auxilia bancos a saber se um cliente está apto a receber empréstimo ou ajuda um médico a prever se um paciente precisa de determinado tratamento.  

Saiba mais: Você sabe a importância da TI em gestão hospitalar?

No entanto, assim como os seres humanos, a inteligência artificial também pode cometer erros.

Se não sabemos como a IA chega a certas decisões, como avaliaremos se ela é boa ou não? Disso surgem preocupações éticas e morais ao ignorarmos o black box problem na IA. 

Por não conter um código moral intrínseco, as ferramentas que utilizam a inteligência artificial não fazem assimilações éticas como os humanos. Então, ao produzir um determinado resultado imoral ou antiético, a inteligência artificial não vai perceber. Por isso que é tão desconfortável não entender o raciocínio por trás do resultado.

A partir dessa lógica, surgem os questionamentos da sociedade e vários desafios para as empresas.

Como confiar que a decisão da IA é a melhor? As pessoas se sentirão confortáveis com o uso dessa tecnologia em análises subjetivas até que os resultados sejam interpretáveis?

Veja: 6 desafios mais comuns em projetos com IA

Black box problem: do paradigma da opacidade ao da transparência 

Devido ao black box problem, muitas empresas passaram a ocultar os detalhes técnicos de suas inteligências artificiais por motivos comerciais, para obter vantagens competitivas.

Esse modelo de negócio, embora maximize o lucro da empresa desenvolvedora, vai de encontro à necessidade de mitigar possíveis danos que o problema pode causar ao usuário final, sobretudo em setores críticos como financeiro, saúde e justiça. 

Se o problema da black box é gerado pela falta de visibilidade das análises dos modelos, a solução é dar a elas transparência. Apenas a busca de transparência nos modelos de IA que pode de fato ajudar a melhorá-los, revelando suas falhas e gerando a possibilidade de repará-las. 

Essa abordagem tem sido cada vez mais adotada no mercado, que está substituindo a cultura de segurança por meio da obscuridade pela transparência de códigos abertos.

Mas qual a solução que as empresas estão adotando para dar transparência ao processo de tomada de decisão de seus modelos de IA?

Veja também: Como usar a IA no relacionamento com o cliente?

Resolvendo o problema da caixa preta: IA explicável e interpretável  

A resposta ao problema da black box está na IA explicável e na IA interpretável, ou seja, em ferramentas de inteligência artificial que produzam resultados que um ser humano consegue entender e explicar como foram produzidos. O que ambas significam?

IA interpretável é um algoritmo que fornece uma explicação dos processos de tomada de decisão. Muitos algoritmos de machine learning, por exemplo, são interpretáveis, pois seu aprendizado é supervisionado.

Já IAs explicáveis são ferramentas que se aplicam a algoritmos que não fornecem uma explicação clara de suas decisões. Ou seja, por meio de métodos e técnicas na aplicação da tecnologia de inteligência artificial, os resultados da solução podem ser entendidos por especialistas humanos.

De todo modo, essas funcionalidades ainda não estão disponíveis no mercado e até lá o black box problem sugere cautela com a IA em determinados níveis e para certos propósitos. 

Ou seja, as decisões críticas baseadas em inteligência artificial devem ser tratadas como sugestões para decisões humanas e não como respostas definitivas. E então, como reduzir o problema?

Leia também: Criar inteligência artificial ou comprar?

Como reduzir os problemas da Inteligência artificial?

A forma mais eficiente de reduzir os problemas da IA no seu negócio é fazer auditorias especializadas com profissionais de TI experientes.

Os aprendizados e treinamentos precisam ser revisados e atualizados com frequência para refinar os processos.

Quem atua com projetos de IA sabe da importância de acompanhar os algoritmos e estabelecer formas de controle durante seu ciclo, desde a coleta de dados até a aplicação. 

Para isso, é importante também que a empresa tenha processos de vigilância claros para monitorar os resultados e garantir, sempre que necessário, a validade das informações, a fim de manter a qualidade dos dados.

Além disso, é necessário que líderes da empresa tenham total conhecimento e interesse sobre o funcionamento das novas tecnologias, de modo a poder monitorar o aumento de seu poder de influência sobre os usuários e não depender de caixas pretas que não podem ser fiscalizadas internamente.

Com essas medidas, você provavelmente vai conseguir ter as suas estruturas e modelos baseados em inteligência artificial sob controle. 

Confira: Visão computacional: por que você precisa mirar nessa área de IA

Da black box para a open box: um caminho em construção

Os modelos de inteligência artificial trazem às empresas inúmeras possibilidades de otimização de trabalho e personalização de experiência aos clientes.

Vimos que para evitá-los, critérios de avaliação justos são fundamentais. Mas também vimos que para que isso aconteça é preciso que eles sejam claros e transparentes.

Entretanto, a IA também traz riscos e desafios que precisam ser conhecidos e considerados, como o black box problem.

Na base disso está a necessidade de questionar e de contar com profissionais de TI que não queiram apenas automatizar pela simples automação, e sim para levar soluções personalizadas e éticas para a sua empresa.

Para auxiliar na sua jornada de transformação digital, conte com um parceiro para a formação de times em TI.