Mercado fechado

Cientistas usam nova arquitetura de IA para evitar “rebelião das máquinas”

Claudio Yuge

Toda vez que tocamos no assunto “perigos da inteligência artificial”, a primeira coisa que vem à mente de todos é a possibilidade de um dia as máquinas se rebelarem contra os humanos — no melhor “estilo Skynet” de O Exterminador do Futuro. Pesquisadores da Universidade de Massachusetts Amherst e Stanford desenvolveram uma estrutura algorítmica que, dizem eles, pode garantir que esse futuro sombrio não vá acontecer.

Essa nova arquitetura usa algoritmos "Seldonian", em homenagem ao protagonista da série Fundação, de Isaac Asimov, na sequência sobre o universo introduzido em Leis da Robótica. Segundo os cientistas, a “Arquitetura Seldoniana” permite aos desenvolvedores definar suas próprias condições operacionais — e, assim, impedir que os sistemas ultrapassem certos limites durante o treinamento ou a otimização. Com isso, é possível impedir os sistemas de IA de prejudicar ou discriminar seres humanos.

Os sistemas de aprendizado profundo oferecem tudo, desde reconhecimento facial a previsões do mercado de ações. Na maioria dos casos, como identificação de imagem, não importa realmente como as máquinas tiram suas conclusões, desde que estejam corretas. Se uma IA puder identificar gatos com 90% de precisão, provavelmente isso será considerado um sucesso.

(Imagem: Reprodução/WOW Festival de Inovação)

Mas e no caso de assuntos mais delicados, que exigem mais análise de contexto e outras variáveis, a exemplo de dosagem de medicamentos — caso em que é preciso pouca ou nenhuma margem de erro? É aí que a Arquitetura Seldoniana entra. Inicialmente, eles usaram um sistema que monitora e distribui insulina em diabéticos e outro que prevê desempenho estudantil de alunos (GPA, na sigla em inglês).

Como foram os testes?

No primeiro, os pesquisadores instituíram a estrutura Seldoniana para garantir que o sistema não enviasse pacientes a um acidente enquanto aprendia a otimizar a dosagem. E no segundo, eles procuraram evitar o viés de gênero. Ambos os experimentos se mostraram eficazes e, de acordo com os pesquisadores, demonstraram com sucesso que os algoritmos Seldonianos podem inibir comportamentos indesejados.

O atual modelo de desenvolvimento de IA oscila entre agir de forma ética ou bem-sucedida, sem um equilíbrio razoável. Por exemplo, o software Rekognition da Amazon, uma tecnologia de reconhecimento facial usada pela polícia, funciona melhor se o limite de precisão for diminuído — mas demonstra um viés racial claro.

(Imagem: Reprodução/Science Magazine)

A arquitetura Seldoniana deve tirar esse fardo do usuário final e colocá-lo onde ele pertence: junto dos desenvolvedores. Ao incluir os algoritmos de mitigação adequados — algo que diga à máquina “encontre rostos sem viés racial” — elimina o potencial prejudicial e, ao mesmo tempo, permite que o software funcione.

Está tudo nos algoritmos

Em sua pesquisa, os cientistas demonstram vários algoritmos simples que expressam comportamentos indesejados em termos que a máquina pode entender. Portanto, em vez de dizer a uma máquina "não permita que o viés de gênero afete suas previsões de GPA", os cálculos Seldonianos expressam o problema mais como “prever com precisão o GPA de todos, mas não deixe que as diferenças entre o GPA previsto e o GPA real excedam um certo limite quando o sexo é levado em consideração".

Os pesquisadores esperam que, com o desenvolvimento adicional, o framework possa fazer mais do que apenas revisar a tecnologia de IA atual. As implicações para a tecnologia de curto prazo, como carros e robôs autônomos, são enormes. A ideia basicamente, é “cortar o mal pela raiz”: restringir no início da jornada o que potencialmente sirva para fazer algo contra seres humanos.

Fonte: Canaltech

Trending no Canaltech: