Embora ainda não tenha demonstrado resultados práticos, o novo Q* da OpenAI tem dado bastante que falar, e já foram revelados mais alguns detalhes que permitem antever as melhorias em relação aos modelos LLM existentes.
No sistema Q-Learning temos algoritmos que vão reforçando processos que resultem nos objectivos pretendidos, oferecendo algumas vantagens face aos modelos. Uma das suas capacidades é a de ter uma aprendizagem dinâmica que se vai adaptando aos dados e interacções, em vez de ser baseado num modelo estático treinado num conjunto de dados; isto também tem em consideração a interacção com os próprios utilizadores, fazendo com que aprenda e se ajuste a cada pessoa e cada função. Outra vantagem é a de que fica menos sujeito a potenciais contaminações / tendências dos dados usados no processo de treino, e que nos modelos LLM pode fazer com que o modelo fique com determinados "preconceitos" por causa desses dados.
OpenAI leaked Q* so let’s dive into Q-Learning and how it relates to RLHF.
— Brian Roemmele (@BrianRoemmele) November 23, 2023
Q-learning is a foundational concept in the field of artificial intelligence, particularly in the area of reinforcement learning. It's a model-free reinforcement learning algorithm that aims to learn the… https://t.co/Ea5O4gpp7k pic.twitter.com/DgHvxnbqBW
Ficamos a aguardar pela implementação prática do Q* e ver os resultados num eventual ChatGPT*.
Sem comentários:
Enviar um comentário (problemas a comentar?)