InternLM propõe a arquitetura de modelo Mobius
O artigo no arXiv separa memória e raciocínio para melhorar a compressão e a eficiência na inferência.
Por que importa
O trabalho mira um problema central de eficiência em modelos de base: reduzir o armazenamento redundante de conhecimento sem perder desempenho de raciocínio. Se for validada além dos benchmarks relatados, a separação entre memória e raciocínio pode influenciar futuras pesquisas em arquitetura de modelos.
Pontos-chave
- 1.O Mobius-v0 separa a memória FFN dos raciocinadores de autoatenção.
- 2.O modelo de 7B igualou uma linha de base com 62,6% dos dados de treinamento.
- 3.O Intern-S2-Mobius relata aceleração de quase 4x na inferência de ponta a ponta.
A InternLM apresentou o Mobius-v0, uma arquitetura de modelo de base que separa o armazenamento de conhecimento do raciocínio. O desenho usa uma memória FFN compartilhada globalmente para vetores de conhecimento e múltiplos raciocinadores de autoatenção que consultam essa memória de forma iterativa. Os autores relatam que um modelo de 7B treinado do zero igualou uma linha de base Transformer de 7B usando 62,6% dos dados de treinamento, enquanto o Intern-S2-Mobius, continuamente pré-treinado a partir do Qwen3.5-35B, alcançou pontuações downstream semelhantes com uma aceleração de quase 4x na inferência de ponta a ponta.
⚡ Experimente hoje
Leia o artigo no arXiv e teste o modelo lançado no GitHub ou no HuggingFace antes de adotar alegações de eficiência no estilo Mobius.
Fontes e reportagens originais
Este resumo sintetiza e linka a cobertura dos veículos abaixo.
Gostou deste resumo? Receba o próximo no seu e-mail.
Mais em Pesquisa
Startup diz que dados são essenciais para avanços da IA contra o câncer
Segundo o TechCrunch, a startup afirma que a IA ainda não está perto de curar o câncer sem dados melhores.
HarnessRisk mede falhas de segurança em harnesses de agentes
O benchmark testa ataques em diferentes fases de harnesses de agentes, enquanto trabalhos relacionados analisam provisionamento específico por tarefa.
Agent Lightning v1.0 mira RL agêntico com harness
O framework conecta harnesses arbitrários de agentes ao pós-treinamento por aprendizado por reforço.