OpenAI revela o processo de criação de modelos de linguagem

Durante o Web Summit Rio, o chefe de assuntos globais da OpenAI para a América Latina e Caribe, Nicolas Robinson Andrade, detalhou o processo de criação de modelos de linguagem, como o LLM (Large Language Model). Segundo ele, a tecnologia é criada em três etapas: pré-treinamento, treinamento e “ajuste fino”.

A explicação ocorreu durante a palestra LatAm AI, que destaca a América Latina como um mercado que se encaminha para ser uma região-chave para o futuro da inteligência artificial.

O processo de criação dos modelos de IA começa com o pré-treinamento, onde são usados “supercomputadores”, parâmetros e contextos diferentes para “ensinar” o algoritmo a prever a próxima palavra em uma sequência, sem dados de treinamento. Nesse momento, a OpenAI remove dados indesejados do treinamento, como discursos de ódio ou informações pessoais, além de duplicatas.

Ao finalizar essa etapa, é construído um modelo base capaz de completar frases, mas que não vai além de textos simples.

A segunda etapa é o treinamento, onde ocorre o refinamento do algoritmo, com conhecimento específico, usando técnicas como reforço, aprendizado e feedback humano. Além disso, são aplicadas salvaguardas no modelo para que ele não possa criar conteúdo que vá contra as políticas da OpenAI.

Por fim, vem o processo de ajustes, onde os desenvolvedores fornecem conhecimento adicional específico, permitindo que o modelo reduza erros para se adaptar melhor ao que é solicitado.

OpenAI na América Latina

O chefe de assuntos globais da OpenAI também detalhou o cenário da América Latina no mercado de inteligência artificial. Durante o encontro, Andrade destacou projetos implantados no Brasil em conjunto com organizações locais, como as iniciativas para levar ferramentas de IA para comunidades do Rio de Janeiro (RJ) e auxiliar na conservação da Amazônia.

“Esperamos que a IA continue a crescer exponencialmente e que a adoção cresça exponencialmente, especialmente aqui na América Latina”, pontuou. “Mas também há algumas questões mais complexas que, como sociedade e como empresas de IA, precisamos refletir.”

Ele também reconhece que embora a tecnologia da empresa tenha feito “enormes progressos na forma como fala e escreve inglês, francês, espanhol e português, as línguas da América Latina em geral, seu desempenho, particularmente em ciências e matemática”, o recurso ainda não é tão bom ao ser utilizado em línguas indígenas.

Diante desse desafio, Andrade destacou uma parceria com o governo da Islândia, que auxiliou no treinamento dos modelos de IA para o idioma local.