O que é a memória HBM?

Muito se fala da memória HBM que se tornou imprescindível na era AI, mas o que é este tipo memória?

Com a loucura da AI a ter assolado o mundo e a ter tido um impacto particularmente relevante no sector da memória RAM, levando a um aumento tão brutal dos preços das memórias DDR4 que a AMD e Intel estão a retroceder e a recuperar o uso das memórias DDR4 antigas, torna-se interessante ver o que terá contribuido para isso.

Há muitos tipos de memória RAM, sendo que praticamente já todos terão ouvido falar das memórias "DDR" (DDR4, DDR5), assim como "GDDR" (destinadas às placas gráficas - a "VRAM"), e "LPDDR" (Low Power, destinadas a dispositivos móveis). Mas então, se a memória é apenas memória, porque não temos apenas um tipo de memória? A questão é que, como os próprios nomes acima referidos indicam, as memórias são ajustadas e optimizadas dependendo do tipo de função a que se destinam.

As memórias "normais", como as actuais DDR5, visam oferecer uma proposta equilibrada em termos de densidade, desempenho, latência, e consumo, adequada para o uso genérico num computador. Mas, por exemplo, para um GPU, a largura de banda torna-se mais importante, o que levou à criação da "variante" GDDR; e para um smartphone, o elemento principal torna-se o consumo, tendo dado origem à LPDDR.

Fazendo-se uma analogia com veículos e estradas, temos muitas formas de levar mercadoria do ponto A até ao ponto B. No sistema mais básico temos um carro que faz o transporte de um armazém até ao destino usando uma estada com uma única via de circulação. Se quisermos receber essa carga mais depressa, temos várias opções. A mais simples passa por aumentar o limite de velocidade, para que o carro possa circular mais rapidamente, mas eventualmente chegamos a um limite máximo da velocidade que o carro consegue atingir. Nessa altura, podemos começar a considerar outras hipóteses, como alargar a estrada e começar a usar mais carros. Mas também aqui se chega a um ponto em que as coisas começam a complicar-se, pois também existem limites físicos à largura e número de vias que cabem fisicamente em determinado espaço... e são precisamente esses os dilemas que atormentam o sector da memória, e que levaram à criação das memórias HBM (High Bandwith Memory) que tentam satisfazer a necessidade da máxima largura de banda que é necessário para o processamento AI.

Isto porque, quando se começa a aumentar a memória para lá dos 16 GB ou 32 GB, se começa a perceber que a memória RAM não é assim "tão rápida" quanto se pensa. Usando valores médios de referência, um sistema com memória DDR5 Dual Channel tem uma largura de banda de cerca de 100 GB/s. Parece muito, mas se imaginarmos um jogo a correr a 100 fps, significa que, no tempo para gerar cada frame (0.01s ou 10ms), o sistema tem apenas tempo para aceder a um máximo de 1GB da memória do sistema, quer tenha 64 GB ou 128 GB. No caso do processamento AI, em que se tem que aceder continuamente a modelos que podem ter dezenas ou centenas de GB, esse tempo torna-se crítico. Se tivermos que aceder 1000 vezes na totalidade a um modelo com 100 GB, à velocidade de 100 GB/s estamos a falar de 1000 segundos (quase 17 minutos).

Com memória HBM, que usa barramentos ultra largos complementados pelo empilhamento das memórias, é possível atingir velocidades de perto de 3 TB/s no caso das HBM4. Aceder mil vezes a 100 GB é algo que passa a poder ser feito em apenas 33 segundos - e que explica porque motivo existe a louca procura pelo hardware dedicado ao processamento AI.

O infeliz efeito secundário é que, devido a esta louca procura, os fabricantes dão prioridade a essas encomendas, deixando o mercado de consumo asfixiado com falta de chips de memória, num cenário que infelizmente ainda deverá durar vários longos anos até voltar a regularizar-se....