InternLM propose l’architecture de modèle Mobius
L’article publié sur arXiv sépare mémoire et raisonnement afin d’améliorer la compression et l’efficacité de l’inférence.
Pourquoi c'est important
Ces travaux s’attaquent à un problème central d’efficacité dans les modèles de fondation : réduire le stockage redondant des connaissances tout en préservant les performances de raisonnement. Si cette approche est confirmée au-delà des benchmarks présentés, la séparation entre mémoire et raisonnement pourrait influencer les futures recherches sur les architectures de modèles.
Points clés
- 1.Mobius-v0 sépare la mémoire FFN des modules de raisonnement à self-attention.
- 2.Le modèle 7B a égalé une référence avec 62,6 % des données d’entraînement.
- 3.Intern-S2-Mobius annonce une accélération de l’inférence de bout en bout proche de 4x.
InternLM a présenté Mobius-v0, une architecture de modèle de fondation qui distingue le stockage des connaissances du raisonnement. Le dispositif s’appuie sur une mémoire FFN partagée globalement pour les vecteurs de connaissances et sur plusieurs modules de raisonnement à self-attention qui interrogent cette mémoire de façon itérative. Les auteurs indiquent qu’un modèle 7B entraîné à partir de zéro a égalé une référence Transformer 7B en n’utilisant que 62,6 % des données d’entraînement, tandis qu’Intern-S2-Mobius, pré-entraîné en continu à partir de Qwen3.5-35B, a obtenu des scores aval similaires avec une accélération de l’inférence de bout en bout proche de 4x.
⚡ À tester aujourd'hui
Lisez l’article arXiv et testez le modèle publié sur GitHub ou HuggingFace avant d’adopter les affirmations d’efficacité de type Mobius.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Une startup affirme que les données sont essentielles aux avancées de l’IA contre le cancer
Selon TechCrunch, la startup estime que l’IA est encore loin de guérir le cancer sans de meilleures données.
HarnessRisk évalue les défaillances de sécurité dans les harnais d’agents
Le benchmark teste des attaques à différentes phases des harnais d’agents, tandis que des travaux connexes étudient le provisionnement propre à chaque tâche.
Agent Lightning v1.0 cible le RL agentique avec harnais
Le framework relie des harnais d’agents arbitraires au post-entraînement par apprentissage par renforcement.