Memory Wall: A Profecia da Computação que a IA Tornou Real

Olá pessoal!

Faço uma breve pausa nas férias para compartilhar um resumo de dois artigos acadêmicos que têm circulado recentemente no X e que abordam um tema cada vez mais relevante: a relação entre inteligência artificial e as limitações impostas pelos sistemas de memória.

O primeiro artigo, publicado em 1994, é o clássico Hitting the Memory Wall (“Atingindo a Barreira de Memória”, em tradução livre), que descreve como a evolução dos processadores passou a ser limitada pela velocidade de acesso à memória. O segundo, muito mais recente, é o artigo AI and Memory Wall (2024), que revisita esse conceito à luz do avanço acelerado da inteligência artificial e discute como esse gargalo continua sendo um dos principais desafios para o futuro da computação.

1- O que os papers efetivamente demonstram?

Paper 1 — Hitting the Memory Wall (1994)

Principal insight: O desempenho dos processadores evolui mais rápido que o desempenho da memória.Mesmo pequenas limitações de acesso à memória acabam dominando o desempenho do sistema.

Implicação econômica : O paper sugere que, ao longo do tempo, investir apenas em capacidade de processamento gera retornos decrescentes se a infraestrutura de memória não evoluir na mesma velocidade. Em linguagem de Teoria das Restrições: o gargalo migra para a memória.

Paper 2 — AI and Memory Wall (2024)

Principal insight: Os autores argumentam que exatamente esse fenômeno já está ocorrendo na IA moderna.O crescimento de FLOPS não está sendo acompanhado por crescimento proporcional de:

• bandwidth;
• capacidade de memória;
• interconexão;
• movimentação de dados entre aceleradores.

O ponto mais importante: Em diversos workloads de inferência de LLMs, principalmente decode autoregressivo, o sistema passa mais tempo movimentando dados do que computando.Isso significa que adicionar mais compute não necessariamente aumenta o throughput.

2- O que isso significa para a tese de investimento

Os papers reforçam uma mudança importante:A narrativa dominante do mercado tinha sido: IA = GPUs. Enquanto os papers sugerem uma narrativa diferente: IA = sistema completo de movimentação de dados.

Nesse modelo:

• GPU é necessária, mas não é suficiente.

O verdadeiro throughput depende de:

1. memória;
2. packaging;
3. interconexão;
4. energia;
5. refrigeração;
6. capacidade de expansão física.

3- Quem captura valor ( Beneficiários de primeira ordem):

Memória (HBM)

• Micron
• SK Hynix
• Samsung

Motivo: A memória passa de componente para restrição.

Quando a restrição está em um elo específico da cadeia, esse elo tende a ganhar:

• poder de precificação;
• visibilidade de demanda;
• expansão de margem.

Advanced Packaging

• TSMC CoWoS
• ASE
• Amkor

Motivo: Sem packaging avançado não existe integração eficiente entre GPU e HBM.

Os papers não falam extensivamente sobre CoWoS, mas sua lógica aponta diretamente para esse elo.

Equipamentos

• ASML
• Applied Materials
• Lam Research
• KLA

Motivo: A expansão da capacidade de memória exige expansão industrial.

4-O que os papers mudam na interpretação anterior

A principal mudança não é tecnológica.É econômica.

Antes: o gargalo parecia ser GPU.

Agora: GPU é apenas uma manifestação visível do gargalo.

A restrição mais profunda parece estar em movimentação de dados. Isso desloca a análise para:

• memória;
• packaging;
• interconnect;
• energia.

Desde 2025, a expansão acelerada dos workloads de inferência tem resultado em volumes sem precedentes de geração de tokens, fornecendo evidências empíricas que sustentam a tese central do paper.

Geração de tokens por semana

5- Conclusão 

A principal conclusão dos dois papers é que o problema central da IA não é produzir mais computação.É alimentar essa computação.Essa distinção parece sutil, mas muda completamente a leitura da cadeia de valor.Sob a ótica de investimento, os maiores vencedores tendem a ser os fornecedores posicionados exatamente onde o fluxo da IA encontra sua restrição física.Hoje, isso aponta principalmente para:

1. HBM e memória avançada;
2. advanced packaging;
3. interconexão;
4. infraestrutura energética.

Em outras palavras: a próxima fase da IA pode ser menos uma corrida por FLOPS e mais uma corrida por bytes, bandwidth e energia.

Forte abraço!

Rodrigo Silveira