LLMs: o muro já é um espelho

Em novembro, escrevi sobre como os Large Language Models (LLMs) pareciam estar batendo em um muro. Meu texto, “Chegamos ao ponto de retorno decrescente dos LLMs, e agora?”, explorou os desafios de escalar esses modelos e a crescente percepção de que força bruta e maiores conjuntos de dados não seriam suficientes para empurrá-los rumo à inteligência artificial geral. Argumentei que, embora os LLMs se destaquem em reconhecimento de padrões e fluência sintática, sua falta de raciocínio mais profundo e compreensão genuína expõe limitações críticas.

No último dia 05 de dezembro, Sundar Pichai confirmou em um evento do The New York Times o que a The Information havia noticiado no mês anterior.

Publicação da The Information – 05 de dezembro de 2024.

Durante o tal evento, o DealBook Summit, o CEO do Google fez uma observação reveladora: “O progresso vai se tornar mais difícil em 2025. Os frutos mais baixos já foram colhidos. A subida agora é mais íngreme”. Pichai destacou que a próxima onda de avanços na Inteligência Artificial dependerá de “rupturas técnicas” em áreas críticas, como o raciocínio e a capacidade de executar sequências de ações de forma mais confiável. Essa visão reforça o ponto que venho defendendo: superar as limitações atuais dos modelos de linguagem não será uma questão de apenas ampliar a escala, mas de abordar desafios fundamentais que exigem soluções inovadoras e uma reavaliação do que significa, de fato, avançar nesse campo de pesquisa.

Gary Marcus, em uma de suas recentes postagens no Substack, contribuiu com seus próprios insights sobre o tema, “Which CEO Will Be the Last to See the Truth About Generative AI?”. Marcus não apenas reforça a ideia de que os LLMs chegaram a um platô, mas vai além, questionando a fixação da indústria em tê-los como uma panaceia para o avanço da IA. Ele aponta como a obsessão com a IA generativa pode desviar a atenção de questões estruturais que precisam ser resolvidas para que esses sistemas realmente evoluam.

O artigo do Gary me chamou a atenção porque destaca uma questão fundamental com a qual tenho refletido: a inclinação de executivos e empreendedores da indústria da IA em exagerar nas promessas sobre capacidades e entregar menos no quesito robustez. Como ele observa, esse descompasso entre a hype e a realidade pode colocar em risco o progresso do campo da IA como um todo.

Meu texto de novembro focou principalmente nas limitações técnicas. Gary, por sua vez, traz à tona as deficiências culturais e estratégicas da indústria. Ele destaca o “tech FOMO” (medo de ficar para trás), que faz muitos CEOs insistirem em sistemas falhos, mesmo quando as falhas se tornam cada vez mais evidentes.

A verdadeira questão, como ambos parecemos concordar, não é se os LLMs podem continuar produzindo respostas inteligentes, mas se o próximo avanço na IA exigirá uma redefinição fundamental do que entendemos por inteligência. Acredito que essa transformação pode passar pela adoção de abordagens interdisciplinares — integrando perspectivas da ciência cognitiva, neurociência e até filosofia — para desenvolver sistemas que vão além da simples imitação da linguagem.

Isso me traz à mente uma lição valiosa: às vezes, topar com uma parede não é apenas um sinal para parar, mas uma oportunidade de olhar no espelho e refletir sobre as perguntas difíceis que precisam ser feitas para escolhermos o próximo passo.

E você, o que acha? Estamos prontos para enxergar além da parede — ou estamos tão fascinados com o nosso próprio reflexo que não conseguimos perceber o que está do outro lado?