A Universidade de Stanford classifica os principais modelos de IA em termos de transparência

Quanto sabemos sobre inteligência artificial?

A resposta, quando se trata dos grandes modelos de linguagem lançados por empresas como OpenAI, Google e Meta no ano passado: basicamente nada.

Essas empresas geralmente não publicam informações sobre os dados que foram usados ​​para treinar seus modelos ou sobre o hardware que usam para executá-los. Não existem manuais do usuário para sistemas de IA, nem uma lista de tudo o que esses sistemas podem fazer ou dos tipos de testes de segurança aos quais foram submetidos. Embora alguns modelos de IA tenham se tornado de código aberto – o que significa que seu código é oferecido gratuitamente – o público ainda não sabe muito sobre o processo de criação deles ou o que acontece depois de serem lançados.

Esta semana, investigadores da Universidade de Stanford revelam um sistema de pontuação que esperam que mude tudo isso.

O sistema conhecido como Indicador de transparência para o modelo baseclassifica os 10 principais modelos de linguagens de IA — às vezes chamados de “modelos principais” — de acordo com o quão transparentes eles são.

O índice inclui modelos populares como GPT-4 da OpenAI (que alimenta a versão paga do ChatGPT), PaLM 2 do Google (que alimenta o Bard) e LLaMA 2 da Meta. Também inclui modelos menos conhecidos, como Titan Text da Amazon e Inflection AI’s Inflection. -1,O modelo que executa o chatbot Pi.

Para chegar ao ranking, os pesquisadores avaliaram cada modelo com base em 100 critérios, incluindo se seu fabricante divulgou as fontes de seus dados de treinamento, informações sobre o hardware utilizado, o trabalho envolvido no treinamento e outros detalhes. As classificações também incluem informações sobre a mão-de-obra e os dados utilizados para produzir o próprio modelo, juntamente com o que os investigadores chamam de “indicadores a jusante”, que se relacionam com a forma como o modelo será utilizado após ser lançado. (Por exemplo, uma pergunta feita é: “O desenvolvedor divulga seus protocolos para armazenar, acessar e compartilhar dados do usuário?”)

O modelo mais transparente entre os dez modelos, segundo os pesquisadores, foi o LLaMA 2, com avaliação de 54%. O GPT-4 teve a terceira maior pontuação de transparência, 40%, a mesma pontuação de transparência do PaLM 2.

Percy Liang, que lidera o Centro de Pesquisa de Modelagem Fundamental de Stanford, considerou o projeto uma resposta necessária à diminuição da transparência na indústria de IA. Com o dinheiro sendo investido na IA e as maiores empresas de tecnologia lutando pelo domínio, a última tendência entre muitas empresas é se esconderem em segredo, disse ele.

“Há três anos, as pessoas publicavam e divulgavam mais detalhes sobre seus modelos”, disse Liang. “Agora, não há informações sobre o que são esses modelos, como são construídos e onde são utilizados.”

A transparência é especialmente importante agora, à medida que os modelos se tornam mais poderosos e milhões de pessoas integram ferramentas de IA nas suas vidas diárias. Saber mais sobre como estes sistemas funcionam daria aos reguladores, investigadores e utilizadores uma melhor compreensão daquilo com que estão a lidar, e permitir-lhes-ia fazer perguntas melhores às empresas por detrás dos modelos.

“Há algumas decisões bastante importantes sendo tomadas sobre a construção desses modelos, que não foram compartilhadas”, disse Liang.

Geralmente ouço uma das três respostas comuns dos executivos de IA quando lhes pergunto por que não compartilham publicamente mais informações sobre seus modelos.

O primeiro são os processos judiciais. Várias empresas de IA já foram processadas por autores, artistas e empresas de comunicação social, acusando-os de utilizar ilegalmente obras protegidas por direitos de autor para treinar os seus modelos de IA. Até agora, a maioria dos processos judiciais tem como alvo projetos de IA de código aberto ou projetos que divulgaram informações detalhadas sobre seus modelos. (Afinal, é difícil processar uma empresa por ingerir sua obra de arte se você não sabe qual obra de arte ingeriu.) Os advogados das empresas de IA temem que quanto mais falam sobre como constroem os seus modelos, mais se expõem a processos judiciais dispendiosos e desagradáveis.

A segunda resposta comum é a competição. A maioria das empresas de IA acredita que seus modelos são bem-sucedidos porque possuem algum tipo de molho secreto – um conjunto de dados de alta qualidade que outras empresas não possuem, uma técnica de ajuste fino que produz melhores resultados e alguma otimização que lhes dá uma vantagem. Eles afirmam que se você forçar as empresas de IA a revelar essas receitas, você as fará desistir de sua sabedoria arduamente conquistada aos seus concorrentes, que podem facilmente imitá-las.

A terceira resposta que ouço com mais frequência é segurança. Alguns especialistas em IA argumentam que quanto mais informações as empresas de IA revelarem sobre os seus modelos, mais rápido a IA avançará – porque cada empresa verá o que todos os seus concorrentes estão a fazer e tentará imediatamente superá-los, construindo um sistema melhor, maior e mais rápido. modelo. Estas pessoas dizem que isso daria à sociedade menos tempo para regular a IA e abrandá-la, o que poderia colocar-nos a todos em risco se a IA se tornar demasiado capaz demasiado rapidamente.

Pesquisadores da Universidade de Stanford não acreditam nessas explicações. Eles acreditam que deveria haver pressão sobre as empresas de IA para publicarem o máximo de informação possível sobre modelos poderosos, porque os utilizadores, investigadores e reguladores precisam de estar conscientes de como estes modelos funcionam, quais são as suas limitações e quão perigosos são.

“À medida que a influência desta tecnologia aumenta, a transparência diminui”, disse Rishi Bomasani, um dos investigadores.

Concordo. Os modelos subjacentes são demasiado poderosos para permanecerem tão vagos, e quanto mais sabemos sobre estes sistemas, mais podemos compreender as ameaças que podem representar, os benefícios que podem desencadear ou como podem ser organizados.

Se os executivos da IA ​​estiverem preocupados com processos judiciais, poderão ter de lutar por uma isenção de utilização justa que proteja a sua capacidade de utilizar informações protegidas por direitos de autor para treinar os seus modelos, em vez de ocultar provas. Se estiverem preocupados em revelar segredos comerciais aos concorrentes, podem divulgar outros tipos de informações ou proteger as suas ideias através de patentes. E se eles estão preocupados em iniciar uma corrida armamentista de IA… bem, já não estamos em uma corrida?

Não podemos fazer a revolução da IA ​​no escuro. Precisamos ver o que há dentro das caixas pretas da inteligência artificial se quisermos permitir que ela mude as nossas vidas.