Conheça o BLOOMChat: um modelo de conversação multilíngue e multilíngue (LLM) de código aberto desenvolvido com base no modelo BLOOM

Com alguns grandes avanços sendo feitos no campo da inteligência artificial, os sistemas de linguagem natural estão avançando rapidamente. Os Language Large Models (LLMs) estão ficando significativamente melhores e mais populares a cada atualização e inovação. Um novo recurso ou mod é adicionado quase diariamente, o que permite que o LLM funcione em diferentes aplicativos em quase todos os campos. O LLM está em toda parte, desde tradução automática e resumo de texto até análise de sentimento e resposta a perguntas.

A comunidade de código aberto fez alguns progressos notáveis ​​no desenvolvimento de LLMs baseados em bate-papo, mas principalmente em inglês. Menos ênfase foi colocada no desenvolvimento de um tipo semelhante de recurso de bate-papo multilíngue no LLM. Para resolver isso, a SambaNova, uma empresa de software focada em soluções generativas de IA, introduziu uma conversa LLM multilíngue de código aberto chamada BLOOMChat. Desenvolvido em colaboração com a Together, uma nuvem de IA aberta, escalável e descentralizada, o BLOOMChat é um bate-papo LLM multilíngue de 176 bilhões de variáveis ​​construído no modelo BLOOM.

O modelo BLOOM tem a capacidade de gerar texto em 46 linguagens naturais e 13 linguagens de programação. Para idiomas como espanhol, francês e árabe, o BLOOM representa o primeiro modelo de idioma já criado com mais de 100 bilhões de parâmetros. O BLOOM foi desenvolvido pela BigScience, uma colaboração internacional de mais de 1.000 pesquisadores. Ao ajustar o BLOOM para abrir conversas e conjuntos de dados de alinhamento de projetos como OpenChatKit, Dolly 2.0 e OASST1, os principais recursos do BLOOM foram estendidos para o domínio de bate-papo.

Para desenvolver o bate-papo multilíngue, LLM, BLOOMChat, SambaNova e Together usaram os sistemas SambaNova DataScale que usam a arquitetura de fluxo de dados reconfigurável exclusiva do SambaNova para o processo de treinamento. Dados sintéticos de conversação e amostras de escrita humana foram combinados para criar o BLOOMChat. Um grande conjunto de dados sintético chamado OpenChatKit foi usado como base para a função de bate-papo, e conjuntos de dados gerados por humanos de alta qualidade, como Dolly 2.0 e OASST1, foram usados ​​para melhorar muito o desempenho. O código e os scripts usados ​​para definir a ajuda nos conjuntos de dados OpenChatKit e Dolly-v2 são fornecidos no GitHub do SambaNova.

Em avaliações humanas realizadas em seis idiomas, as respostas do BLOOMChat foram preferidas às respostas do GPT-4 em 45,25% das vezes. Em comparação com outros quatro modelos de alinhamento de chat de código aberto com os mesmos seis idiomas, as respostas do BLOOMChat foram classificadas como as melhores em 65,92% das vezes. Essa conquista preenche com sucesso a lacuna de capacidade de bate-papo multilíngue no mercado de código aberto. No teste de localização WMT, o BLOOMChat teve um desempenho melhor do que as iterações adicionais do modelo BLOOM, bem como modelos populares de bate-papo de código aberto.

O BLOOMChat, como outros LLMs, tem limitações. Pode resultar em informações incorretas ou factualmente irrelevantes ou pode alterar os idiomas por engano. Ele pode até repetir frases, tem habilidades limitadas de codificação ou matemática e às vezes produz conteúdo tóxico. Mais pesquisas estão trabalhando para enfrentar esses desafios e garantir uma melhor usabilidade.

Em conclusão, o BLOOMChat se baseia no extenso trabalho da comunidade de código aberto e é um ótimo complemento para a lista de alguns LLMs multilíngues muito úteis. Lançado sob uma licença de código aberto, o SambaNova e o Together visam expandir o acesso a recursos avançados de bate-papo multilíngue e incentivar mais inovações na comunidade de pesquisa de IA.

digitalizar o projeto E Artigo de referência. Não se esqueça de participar 21k+ML Sub RedditE canal do discórdiaE E Noticiário por e-mail, onde compartilhamos as últimas notícias de pesquisa de IA, projetos interessantes de IA e muito mais. Se você tiver alguma dúvida sobre o artigo acima ou se esquecemos de algo, sinta-se à vontade para nos enviar um e-mail para [email protected]

🚀 Confira 100’s AI Tools no AI ​​Tools Club