A importância da RAM na AI

O processamento AI necessita de imensa quantidade de memória RAM, mas nem toda a memória RAM é adequada para esta tarefa.

A revolução AI tem tido um impacto significativo no uso da RAM - que levou a um aumento brutal dos preços - e fazendo com que até placas gráficas piores possam estar mais caras que placas melhores, desde que tenham mais VRAM. Mas porquê é que isto acontece?

A AI e a memória

Quando se fala em hardware para inteligência artificial, a maioria das pessoas concentra-se na quantidade de memória disponível. No entanto, para executar modelos AI modernos, a velocidade a que os dados são transferidos acaba por ser tão, ou mais, importante do que a própria capacidade. É aqui que entra a largura de banda da memória, um dos principais factores que determina o desempenho real de AI.

Seria simples imaginar: se um modelo AI ocupa 14 GB e eu tenho 32 GB de RAM no meu computador, então está tudo resolvido. Certo? Não, longe disso. Isto porque, em termos computacionais, até a memória RAM num computador tradicional é extremamente lenta. Como se pode ver pela seguinte tabela que exibe a diferença nas velocidades de transferência dos diferentes tipos de memória.

O meu PC tambném exemplica isso perfeitamente: a memória de sistema apenas dá 62.5 GB/s, enquanto a memória cache L3 permite 143 GB/s.

As diferenças de velocidade são impressionantes. Um sistema DDR5 comum oferece normalmente entre 50 e 100 GB/s de largura de banda, enquanto plataformas desktop unificadas podem atingir cerca de 200-300 GB/s. Em comparação, a memória GDDR6 utilizada nas placas gráficas modernas fornece entre 500 e mais de 1.000 GB/s. Já as soluções HBM3 e HBM3E, presentes em aceleradores AI de topo como os NVIDIA H100 e B200, ultrapassam facilmente os 3.000 GB/s e podem chegar aos 5.000 GB/s. Isto significa que um GPU equipada com HBM pode aceder aos dados mais de 50 vezes mais rapidamente que um processador a utilizar apenas RAM convencional.

Isto ajuda a explicar porque motivo é praticamente impossível encontrar placas gráficas com 16 GB ou mais de VRAM a preço decente, já que os 16 GB se tornam no patamar "mínimo" para correr modelos AI locais de tamanho razoável (isto sem entrar no campo dos 24 GB ou 32 GB, ou uso de múltiplos GPUs para multiplicar a memória disponível). E também porque mesmo um computador equipado com 128 GB de RAM não será de grande ajuda: se tiver que aceder continuamente a um modelo de 100 GB, mesmo cabendo totalmente na RAM, demorará mais de um segundo, fazendo com que 100 acessos demorem mais de um minuto e meio - sem contar com o processamento - enquanto que um acelerador AI de topo poderia fazê-lo em menos de 5 segundos.