Meta lança o ImageBind, uma ferramenta de IA que prevê conexões entre dados, como humanos percebem um ambiente, sem precisar ser treinada em todas as possibilidades.
O ImageBind pode vincular texto, imagens/vídeos, áudio, medições 3D (profundidade), dados de temperatura (térmicos) e dados de movimento (de unidades de medição inercial) para gerar ambientes complexos a partir de entradas simples.
A tecnologia tem potencial para impulsionar a realidade virtual, a realidade mista e o metaverso, permitindo a criação de cenas imersivas com base apenas em entradas de texto, imagem ou áudio.
A ferramenta também pode abrir novas portas no espaço de acessibilidade, gerando descrições multimídia em tempo real para ajudar pessoas com deficiências visuais ou auditivas.
O ImageBind é uma ferramenta de IA que prevê conexões entre dados, sem precisar de treinamento em todas as possibilidades, e pode vincular texto, imagens/vídeos, áudio, medições 3D, dados de temperatura e dados de movimento para gerar ambientes complexos.
A tecnologia tem potencial para impulsionar a realidade virtual, a realidade mista e o metaverso, permitindo a criação de cenas imersivas com base apenas em entradas de texto, imagem ou áudio. A ferramenta também pode abrir novas portas no espaço de acessibilidade, gerando descrições multimídia em tempo real para ajudar pessoas com deficiências visuais ou auditivas.
O ImageBind é o resultado da evolução da aprendizagem da máquina, que se aproxima da aprendizagem humana, permitindo a criação de ambientes totalmente realizados com base em informações limitadas.
A ferramenta poderia permitir a criação de vídeos imersivos com paisagens sonoras realistas e movimento baseados em entradas de texto, imagem ou áudio. A Meta espera que a tecnologia possa ser expandida para incluir outros sentidos, como o toque, a fala, o olfato e os sinais de fMRI do cérebro. Os desenvolvedores interessados em explorar a nova tecnologia podem começar mergulhando no código aberto da Meta.
