O Allen Institute for AI (AI2) lançou o Multimodal C4 (mmc4), um corpus multimodal aberto que entrelaça texto e imagens em um conjunto de dados em escala bilionária. Este novo conjunto de dados é uma ampliação do corpus Colossal Clean Crawled Corpus (c4), que foi usado pela Google em 2019 para desenvolver seu modelo Text-to-Text Transfer Transformer (T5). O mmc4 adiciona imagens coletadas da web ao texto de c4, criando um conjunto de dados aberto e rico que pesquisadores e desenvolvedores podem usar para melhorar modelos de IA.
O conjunto de dados mmc4 apresenta muitas vantagens em relação aos modelos de linguagem mais tradicionais, pois pode responder perguntas sobre o conteúdo visual, o que o torna útil para várias áreas, como educação, treinamento, saúde, trabalho de inteligência e melhoria da acessibilidade e usabilidade no design de UX. As interpretações de texto dessas imagens permitem que usuários com diferentes habilidades acessem imagens na web.
Além disso, a IA2 criou dois subconjuntos adicionais para tornar o mmc4 mais seguro e ecologicamente correto. O subconjunto “fewer-faces” remove imagens que contêm rostos detectados, enquanto o subconjunto “core” utiliza critérios de filtragem mais rigorosos para reduzir o conjunto de dados original em uma ordem de magnitude. Isso reduz os requisitos de recursos, melhora o desempenho e requer menos ciclos de processamento, resultando em uma menor necessidade de energia para executá-lo.
O mmc4 é parte do grupo Mosaic do AI2, que investiga e desenvolve as capacidades de senso comum das máquinas. Embora grande parte deste trabalho seja baseado em modelos de texto, o mmc4 oferece uma abordagem diferente. Acredita-se que o conjunto de dados mmc4 aprimore a capacidade da IA de interpretar e aprender, permitindo o aprendizado com poucos exemplos e suportando sequências intercaladas de imagens e texto como entrada.
Em resumo, o conjunto de dados mmc4 é uma ferramenta importante para aprimorar a capacidade da IA de interpretar e aprender, permitindo o aprendizado com poucos exemplos e suportando sequências intercaladas de imagens e texto como entrada. Além disso, o mmc4 pode ser usado em uma variedade de aplicações, como educação, treinamento, saúde, trabalho de inteligência, melhoria da acessibilidade e usabilidade no design de UX.
