O processamento AI é a nova grande aposta da Nvidia, deixando para trás o tempo dos GPUs a minerarem criptomoedas, e a Nvidia não quer que ninguém fique de fora. Apesar de, por agora, a maior parte do processamento AI dos grandes modelos LLM (como ChatGPT, Gemini, Copilot e outros) ser feito na cloud, a Nvidia mostra como isso poderá funcionar localmente num PC, sem qualquer dependência de serviços na cloud, com as óbvias vantagens a nível de privacidade.
O Chat with RTX está longe de ser um produto "acabado", mas dá desde já a possibilidade aos curiosos de explorarem um assistente AI no seu PC.
O assistente pode responder a questões sobre documentos do utilizador, ou até sobre vídeos do YouTube (usando a transcrição dos mesmos), e dá as respostas de forma instantânea, fazendo esquecer os atrasos que por vezes atormentam os assistentes AI na cloud.
Nos bastidores, o Chat with RTX usa os modelos Mistral ou Llama 2, e além de necessitar de uma placa gráfica com GPU RTX 30xx ou 40xx, também obriga a uma instalação com quase 40 GB (o que já nem parece exagerado, numa era em que temos jogos que podem ultrapassar os 100 GB com facilidade).
Poderá muito bem ser o tipo de coisa que por agora parece ser exagerado, mas que daqui por uma década esteja integrado de origem em smartphones, óculos ou earphones, possibilitando a criação de AIs personalizados sempre prontos a responder às nossas perguntas e comandos.
8 GB de VRAM é para muito poucos.
ResponderEliminarTendo em conta que precisa de uma RTX 30XX ou melhor, só mesmo a 3050 é que não tem 8gb de ram
ResponderEliminar