Os modelos de raciocínio são caros para executar com benchmarks tradicionais, mas geralmente ficam mais baratos em fluxos de trabalho agenciais, pois obtêm respostas em menos turnos Até 2025, vimos a computação em tempo de teste aumentar o custo da inteligência de fronteira, mas com os fluxos de trabalho agenciais há uma diferença fundamental: chegar à resposta rapidamente pode reduzir o número de turnos, apesar de cada turno custar mais.

Modelos State of DeepSeek: A DeepSeek lançou seus novos modelos de raciocínio híbrido V3.1 Terminus e V3.2 Exp em rápida sucessão em setembro, dando passos significativos em inteligência e eficiência de custos Ambos os modelos podem ser usados nos modos de raciocínio e não raciocínio e destinam-se a substituir os modelos V3 e R1 anteriores. O DeepSeek V3.1 Terminus saltou 4 pontos mais alto no Índice de Inteligência de Análise Artificial do que a versão original da V3.1 sem substancialmente mais tokens, e a V3.2 Experimental manteve a maior parte desses ganhos, reduzindo substancialmente os custos por token devido à nova arquitetura experimental do DeepSeek. O DeepSeek V3.1 Terminus e o V3.2 Exp pontuam de forma semelhante na Análise Artificial, com o V3.1 Terminus chegando um ponto acima do V3.2 Exp. Ambos são atualizações de material para os modelos V3 e R1 anteriores. Uma variedade de provedores está atendendo a ambos os modelos, com a disponibilidade da V3.2 ainda em expansão: ➤ O DeepSeek V3.1 Terminus está disponível no SambaNova, DeepInfra, Fireworks, GMI e Novita, com @SambaNovaAI oferecendo velocidades de saída de ~ 250 tokens por segundo (cerca de 10x mais rápido que a inferência primária do DeepSeek) ➤ O DeepSeek V3.2 Exp está disponível na API primária do DeepSeek, DeepInfra, GMI e Novita - com o DeepInfra servindo mais rápido em velocidades de até 79 tokens por segundo

O GLM 4.6 atualizado (Raciocínio) da Z ai é um dos modelos de pesos abertos mais inteligentes, com inteligência de nível próximo ao DeepSeek V3.1 (Raciocínio) e Qwen3 235B 2507 (Raciocínio) 🧠 Principais conclusões de benchmarking de inteligência: ➤ Desempenho do Modelo de Raciocínio: GLM 4.6 (Raciocínio) pontua 56 no Índice de Inteligência de Análise Artificial, acima da pontuação do GLM 4.5 de 51 no modo de raciocínio ➤ Desempenho do modelo sem raciocínio: No modo sem raciocínio, o GLM 4.6 atinge uma pontuação de 45, colocando-o 2 pontos à frente do GPT-5 (mínimo, sem raciocínio) ➤ Eficiência do token: Z ai aumentou as pontuações de avaliação do GLM enquanto diminuía os tokens de saída. Para o GLM 4.6 (Raciocínio), vemos uma diminuição material de 14% no uso de tokens para executar o Índice de Inteligência de Análise Artificial de 100 milhões para 86 milhões, em comparação com o GLM 4.5 (Raciocínio). Isso é diferente de outras atualizações de modelo que vimos, onde o aumento da inteligência é frequentemente correlacionado com o aumento do uso do token de saída. No modo sem raciocínio, o GLM 4.6 usa 12 milhões de tokens de saída para o Índice de Inteligência de Análise Artificial Outros detalhes do modelo: 🪙 ➤ Janela de contexto: 200K de contexto de token. Isso é maior em comparação com a janela de contexto do GLM 4.5 de 128 mil tokens 📏 ➤ Tamanho: GLM 4.6 tem 355B parâmetros totais e 32B parâmetros ativos - isso é o mesmo que GLM 4.5. Para autoimplantação, o GLM 4.6 exigirá ~710 GB de memória para armazenar os pesos com precisão BF16 nativa e não pode ser implantado em um único nó NVIDIA 8xH100 (~640 GB de memória) ©️ ➤ Licenciamento: GLM 4.6 está disponível sob a licença MIT 🌐 ➤ Disponibilidade: O GLM 4.6 está disponível na API primária da Z ai e em várias APIs de terceiros, como DeepInfra (FP8), Novita (BF16), GMI Cloud (BF16) e Parasail (FP8)