O que é aprendizado por reforço?
Aprendizado por reforço (reinforcement learning, ou RL) é o tipo de machine learning em que um sistema aprende por tentativa e erro: ele age, recebe uma recompensa ou punição pelo resultado e, aos poucos, descobre quais ações levam às maiores recompensas.
Em palavras simples
Pense em como se ensina um cachorro a sentar. Ninguém explica a ele a física do movimento. O cachorro tenta várias coisas e, quando acerta, ganha um petisco. Depois de algumas repetições, ele associa a ação ao prêmio e passa a sentar quando ouve o comando.
O aprendizado por reforço funciona de forma parecida. Em vez de receber a resposta certa pronta, como no aprendizado supervisionado, o sistema recebe apenas um sinal de “foi bom” ou “foi ruim” depois de agir. Ele testa, erra, acerta e vai ajustando a estratégia para ganhar mais pontos no longo prazo.
Como funciona
Todo problema de aprendizado por reforço tem alguns elementos básicos:
- Agente: quem aprende e toma as decisões, como um programa que joga xadrez ou controla um robô.
- Ambiente: o mundo em que o agente atua, como o tabuleiro, um videogame ou uma rua simulada.
- Ações: o que o agente pode fazer em cada momento.
- Recompensa: o sinal numérico que diz se o resultado foi bom ou ruim, como ganhar ou perder a partida.
- Política: a estratégia que o agente vai construindo, ou seja, qual ação escolher em cada situação.
Um desafio central é o equilíbrio entre explorar (testar ações novas que podem ser melhores) e aproveitar (repetir o que já deu certo). Outro é que a recompensa às vezes só chega no fim: no xadrez, você só sabe se ganhou depois de dezenas de lances, e o sistema precisa descobrir quais deles foram decisivos.
Quando o aprendizado por reforço é combinado com redes neurais profundas, ganha o nome de aprendizado por reforço profundo. Foi essa combinação que produziu alguns dos marcos mais conhecidos da IA.
Exemplos
- AlphaGo (Google DeepMind): em março de 2016, em Seul, o programa venceu o sul-coreano Lee Sedol, um dos melhores jogadores de Go do mundo, por 4 a 1. O sistema aprendeu primeiro com partidas humanas e depois se aprimorou jogando milhões de vezes contra si mesmo, recebendo recompensa pelas vitórias.
- Treinamento de chatbots (RLHF): a OpenAI usou o aprendizado por reforço com feedback humano no InstructGPT, apresentado em 2022, e no ChatGPT. Pessoas comparam respostas do modelo, um sistema aprende o que elas preferem e essa preferência vira a recompensa que torna o LLM mais útil e seguro.
- Modelos de raciocínio: em janeiro de 2025, a chinesa DeepSeek lançou o DeepSeek-R1 e mostrou que o aprendizado por reforço, com recompensas por acertar problemas de matemática e programação, pode ensinar um modelo a “pensar” em etapas antes de responder.
- Robótica e jogos: robôs aprendem a andar e a pegar objetos em simulações, e agentes aprendem a jogar videogames apenas com a pontuação como guia.
Por que isso importa para você
Mesmo sem perceber, você já usou o resultado do aprendizado por reforço. Quando um assistente como o ChatGPT responde de forma educada, recusa pedidos perigosos ou segue melhor as suas instruções, parte disso veio de treino com recompensas baseadas na preferência humana. E quando você clica no botão de “gostei” ou “não gostei” de uma resposta, pode estar fornecendo exatamente esse tipo de sinal.
A técnica também tem riscos conhecidos. Se a recompensa for mal definida, o sistema pode achar atalhos indesejados, como agradar o usuário em vez de dizer a verdade. É por isso que a forma de recompensar um modelo virou tema central de pesquisa em segurança de IA e no desenvolvimento de agentes de IA que executam tarefas sozinhos. Para começar pelo básico, leia o que é inteligência artificial.
Termos relacionados
- Machine learning: a área que reúne o aprendizado por reforço, o supervisionado e o não supervisionado.
- Deep learning: as redes neurais profundas que, junto com o reforço, criaram sistemas como o AlphaGo.
- LLM: os modelos de linguagem refinados com aprendizado por reforço com feedback humano.
- Fine-tuning: o ajuste de um modelo pronto, que pode incluir etapas de reforço.
- Agente de IA: sistemas que tomam decisões em sequência, terreno natural do aprendizado por reforço.
Perguntas frequentes
Qual é a diferença entre aprendizado por reforço e supervisionado?
No supervisionado, o modelo recebe a resposta certa para cada exemplo. No aprendizado por reforço, ele não recebe a resposta, apenas uma recompensa ou punição pelo resultado das suas ações, e precisa descobrir sozinho a melhor estratégia.
O que é RLHF?
É a sigla em inglês para aprendizado por reforço com feedback humano. Pessoas avaliam e comparam respostas de um modelo de linguagem, e essas preferências viram a recompensa usada para treiná-lo a responder de forma mais útil e segura.
O aprendizado por reforço é usado fora dos jogos?
Sim. Além de jogos, ele é usado no treinamento de chatbots e modelos de raciocínio, na robótica, em sistemas de recomendação e na otimização de processos, como o controle de consumo de energia.