O que é transformer em IA?
Transformer é uma arquitetura de rede neural apresentada por pesquisadores do Google em 2017 que usa um mecanismo chamado atenção para analisar todas as partes de um texto ao mesmo tempo. É a base de quase todos os modelos de linguagem atuais, como GPT, Gemini e Claude.
Em palavras simples
Leia esta frase: “A Ana emprestou o livro para a Júlia porque ela já tinha terminado”. Quem terminou o livro? Você entende na hora que foi a Ana, porque relaciona “ela” com as outras palavras da frase. O transformer faz algo parecido: para entender cada palavra, ele “presta atenção” em todas as outras e decide quais importam mais naquele contexto.
Antes dele, os modelos liam o texto como quem lê com o dedo, uma palavra de cada vez, da esquerda para a direita, e iam esquecendo o começo das frases longas. O transformer olha a página inteira de uma vez. Isso o deixou mais preciso e, principalmente, muito mais rápido de treinar.
Como funciona
O transformer nasceu no artigo “Attention Is All You Need” (“Atenção é tudo de que você precisa”), escrito por oito pesquisadores ligados ao Google e apresentado na conferência NeurIPS de 2017. A proposta era abandonar as redes recorrentes, que processavam sequências passo a passo, e usar apenas mecanismos de atenção.
De forma simplificada, o processo tem estas etapas:
- Tokens e vetores: o texto é dividido em tokens, e cada um vira uma lista de números que representa seu significado. Também entra uma informação sobre a posição do token na frase.
- Autoatenção: cada token “pergunta” aos outros quanto eles são relevantes para ele. As respostas viram pesos que misturam as informações de toda a frase.
- Várias cabeças: a atenção roda em paralelo, em várias “cabeças”, e cada uma pode captar um tipo de relação, como gramática, assunto ou referência.
- Camadas empilhadas: esse bloco se repete dezenas de vezes. A cada camada, a compreensão do texto fica mais rica.
Como tudo é calculado em paralelo, o transformer aproveita muito bem os chips gráficos (GPUs). Foi isso que permitiu treinar modelos com bilhões de parâmetros em quantidades enormes de dados.
O ponto fraco é o custo: na atenção tradicional, cada token se compara com todos os outros, então o trabalho cresce muito quando o texto fica longo. Isso ajuda a explicar por que a janela de contexto tem limite e por que pesquisadores testam alternativas, como os modelos de espaço de estados do tipo Mamba, apresentado em dezembro de 2023.
Exemplos
- GPT (OpenAI): o “T” de GPT significa justamente transformer. Toda a família, do GPT-1 de 2018 ao GPT-6, usa essa arquitetura.
- BERT (Google): lançado em 2018, usou o transformer para entender melhor o sentido das buscas e foi aplicado ao buscador do Google.
- Gemini, Claude e Llama: os principais assistentes e modelos abertos do mercado são construídos sobre variações do transformer.
- Imagens e além: o Vision Transformer (ViT), do Google, mostrou em 2020 que a mesma ideia funciona com imagens divididas em pequenos blocos. Hoje há transformers em tradução, áudio, vídeo e biologia.
Por que isso importa para você
Você não precisa saber programar um transformer, mas conhecer a ideia ajuda a entender o comportamento das ferramentas que usa. A atenção explica por que a IA capta bem o contexto de um pedido bem escrito, e por que dar exemplos e detalhes no prompt melhora a resposta: tudo o que está na conversa influencia cada palavra gerada.
Também explica limites. Um transformer gera texto prevendo o próximo token mais provável, e não consultando uma base de fatos, por isso pode cometer alucinações. E o custo da atenção explica por que conversas muito longas ficam mais lentas ou fazem a IA “esquecer” detalhes. Para tirar mais proveito disso na prática, veja nosso guia o que é prompt e como escrever um bom pedido.
Termos relacionados
- LLM: os grandes modelos de linguagem, quase todos baseados em transformers.
- Rede neural: a família de modelos da qual o transformer faz parte.
- Token: os pedaços de texto que o transformer processa.
- GPT: a família de modelos da OpenAI que leva o transformer no nome.
- Janela de contexto: o limite de tokens que o modelo consegue considerar de uma vez.
Perguntas frequentes
Transformer tem a ver com os robôs do filme?
Não. O nome vem da ideia de “transformar” uma sequência de entrada, como um texto, em outra representação ou sequência de saída. É só uma coincidência com a franquia de filmes.
Quem inventou o transformer?
Oito pesquisadores ligados ao Google, autores do artigo “Attention Is All You Need”, de 2017. Vários deles depois fundaram ou integraram outras empresas de IA.
Todos os modelos de IA usam transformer?
Não todos, mas a grande maioria dos modelos de linguagem atuais sim. Há pesquisas com arquiteturas alternativas e híbridas, como as baseadas em Mamba, que buscam lidar melhor com textos muito longos.