Pesquisadores lançam MameLoshnLM para iídiche
O modelo open-source de 8B adiciona um corpus em iídiche e um benchmark para avaliar idiomas de poucos recursos.
Por que importa
O lançamento destaca como dados multilíngues ruidosos em escala da web podem ter desempenho inferior em idiomas de poucos recursos. Ele oferece aos pesquisadores um modelo, um corpus e um conjunto de avaliação mais direcionados para tecnologias de linguagem em iídiche.
Pontos-chave
- 1.Primeiro modelo open-source de 8B criado especificamente para o iídiche.
- 2.Oytser combina fontes em iídiche nativas da web e literárias.
- 3.Kashes testa tradução, análise, extração e compreensão.
Pesquisadores apresentaram o MameLoshnLM, um modelo de linguagem open-source com 8 bilhões de parâmetros criado especificamente para o iídiche a partir da continuação do pré-treinamento do Llama 3.1 8B. O trabalho também apresenta o Oytser, um corpus de pré-treinamento em iídiche de alta qualidade, e o Kashes, um benchmark multitarefa que cobre tradução, análise linguística, extração de informações e compreensão de linguagem. O artigo relata que o MameLoshnLM supera baselines abertos de escala semelhante em todo o benchmark e captura melhor os padrões lexicais e morfológicos do iídiche do que modelos multilíngues de uso geral.
⚡ Experimente hoje
Use o Kashes para avaliar modelos com capacidade em iídiche antes de depender de benchmarks multilíngues gerais.
Fontes e reportagens originais
Este resumo sintetiza e linka a cobertura dos veículos abaixo.
Gostou deste resumo? Receba o próximo no seu e-mail.
Mais em Pesquisa
Pesquisadores propõem modelo de difusão para remover reflexos em vídeos
O S2R combina simulação física de reflexos com um modelo de difusão para remoção em vídeo e um benchmark.
Artigo defende que a segurança de agentes precisa de contratos em tempo de execução
O artigo no arXiv afirma que o alinhamento durante o treinamento é insuficiente para agentes autônomos.
Pesquisadores testam estruturas criadas por IA para modelos mais fracos
Um modelo mais forte criou scaffolds em tempo de inferência que elevaram as pontuações de modelos mais fracos em benchmarks de Theory-of-Mind.