Hoje em dia, a conversa fiada da Inteligência Artificial aparece em quase todos os gadgets do mercado. Mas… A realidade é que é quase tudo uma grande mentira. Aliás, não é por acaso que a Apple está atrasadíssima nesta corrida com o iPhone, e continua a vender que nem pãezinhos quentes.
Ou seja, sabes aquela promessa das gigantes tecnológicas de que o teu próximo smartphone vai correr modelos complexos de Inteligência Artificial localmente sem precisar de enviar os teus dados para a nuvem? É uma mentira descarada! Ou, pelo menos, uma meia-verdade muito mal contada.
Sim, os processadores da Apple, Qualcomm, MediaTek e Samsung até podem ter núcleos dedicados (as chamadas NPUs) com poder de cálculo para dar e vender. Mas, o problema não está no cérebro do chip. Está sim na garganta por onde a informação tem de passar… A memória RAM e a forma como ela é empacotada em cima do processador.
Um problema mais grave agora, que as fabricantes estão a reduzir a quantidade de memória RAM disponível, porque 1GB está a custar meio rim.
Caso nao saibas, correm hoje nos nossos telemóveis arquiteturas de memória antiquadas, conhecidas como PoP (Package-on-Package), onde o chip de memória RAM é simplesmente espetado em cima do processador central. Isto gera dois problemas gigantescos que as marcas preferem esconder: aquecimento brutal e uma largura de banda ridícula.
Para teres uma ideia da coisa, o processador A19 Pro da Apple fica-se por uma largura de banda de memória de escassos 75,8 GB/s. Por isso, tentar correr um modelo de linguagem generativa local com estes números é o equivalente a querer encher uma piscina olímpica com uma palhinha.
A gigante sul-coreana SK Hynix percebeu que este limite físico está a matar a narrativa do “On-Device AI” e já meteu os seus engenheiros na Califórnia a trabalhar numa solução radical: empacotamento de memória DRAM em 3D montado diretamente sobre a lógica do processador.
Assim, ao eliminar os fios de ligação tradicionais e juntar fisicamente os dois chips ao nível do wafer, reduz-se drasticamente a distância que a informação tem de percorrer. Isto significa menos latência, muito menos consumo de energia, temperaturas controladas e canais de transferência gigantescos.
É exatamente esta tecnologia de empacotamento (apelidada de WMCM pela TSMC) que a Apple pretende estrear no futuro chip A20 Pro do iPhone 18 Pro e no hipotético iPhone Ultra.
A Qualcomm e a Samsung também estão a correr atrás do prejuízo com tecnologias próprias como a 3D DRAM e a Low Latency Wide DRAM (LLW).
Pois, como sempre, implementar este empacotamento revolucionário 3D e colar a memória diretamente ao processador custa balúrdios. Por isso, se achas que os smartphones topo de gama atuais já custam os olhos da cara, prepara-te para teres de vender um rim no mercado negro se quiseres ter um telemóvel que realmente processe IA no próprio dispositivo sem depender da cloud.
Até lá, o teu smartphone atual não faz magia local. Limita-se a mandar os teus dados para um servidor do outro lado do mundo porque a memória RAM simplesmente não aguenta a pedalada.
O que levanta uma questão muito pertinente. Será assim tão importante ter IA local, ou continuar como está é OK?
Fonte: Zero Zero
