CAPEval separa la cobertura de los pies de foto de su precisión

Investigadores presentaron CAPEval, un benchmark desacoplado para evaluar pies de foto de imágenes en dos dimensiones: Cobertura, es decir, cuánto contenido factual de referencia incluye un pie de foto, y Precisión, es decir, la tasa de corrección factual de sus afirmaciones. El benchmark utiliza pies de foto de referencia escritos por humanos y elementos atómicos de verificación validados por humanos. En experimentos con 10 generadores de pies de foto de cuatro familias de modelos, los autores hallaron que la Cobertura se correlacionaba con más fuerza con el desempeño en comprensión, mientras que la Precisión era el principal predictor del desempeño en generación.