. . .

Cientistas de computação desenvolvem nova ferramenta que gera vídeos a partir de textos temáticos

Aplicativo amigável

Uma equipa global de cientistas da computação desenvolveu o ” Write-A-Video ”, uma nova ferramenta que gera vídeos a partir de textos temáticos. Usando palavras e edição de texto, a ferramenta determina automaticamente a escolha da história desejada.

Em um mundo de fotógrafos e videomakers novatos, capturando um dilúvio de conteúdo por meio de seus smartphones e dispositivos portáteis, é necessário uma ferramenta inteligente e fácil de usar para automatizar a criação de montagens de filmes e vídeos. Até o momento, muitos vídeos de qualidade ainda contam com ferramentas profissionais de edição baseadas em quadros para manipular imagens brutas e produzir um vídeo coerente com uma história cativante.

Uma equipe global de cientistas da computação, das universidades Tsinghua e Beihang na China, da Universidade Harvard nos EUA e da IDC Herzliya em Israel, desenvolveu o “Write-A-Video”, uma nova ferramenta que gera vídeos a partir de textos temáticos. Usando palavras e edição de texto, a ferramenta determina automaticamente quais cenas ou fotos são escolhidas em um repositório para ilustrar a história desejada. A ferramenta permite que usuários iniciantes produzam montagens de vídeo de qualidade de maneira simples e amigável, que não exija habilidades profissionais de produção e edição de vídeo.

A equipe está preparada para apresentar seu trabalho na ACM SIGGRAPH Ásia, realizada de 17 a 20 de novembro em Brisbane, na Austrália. SIGGRAPH Ásia, agora em seu 12º ano, atrai as pessoas técnicas e criativas mais respeitadas do mundo em computação gráfica, animação, interatividade, jogos e tecnologias emergentes.

Embora as ferramentas de edição de vídeo existentes ainda exijam conhecimento em processamento e edição de vídeos, o novo método dos pesquisadores permite que os iniciantes criem vídeos que contam histórias mais naturalmente. Os pesquisadores dizem que o Write-A-Video permite que os usuários criem uma montagem de vídeo simplesmente editando o texto que acompanha o vídeo. Por exemplo, adicionar ou excluir texto e mover frases ao redor converte em operações de edição de vídeo, como encontrar fotos correspondentes, cortar e reorganizar fotos e criar um resultado final de montagem de vídeo.

“O Write-A-Video usa os avanços atuais no entendimento automático de vídeo e uma interface de usuário exclusiva para permitir uma criação de vídeo mais natural e mais simples”, diz o professor Ariel Shamir, reitor da Escola de Ciência da Computação Efi Arazi da IDC Herzliya. “Com a nossa ferramenta, o usuário fornece informações principalmente na forma de edição de texto. A ferramenta procura automaticamente imagens candidatas correspondentes semanticamente de um repositório de vídeo e, em seguida, usa um método de otimização para montar a montagem de vídeo cortando e reordenando as fotos automaticamente. . “

“O Write-A-Video também permite aos usuários explorar estilos visuais para cada cena usando expressões cinematográficas, gerando, por exemplo, filmes de ritmo mais rápido ou mais lento, menos ou mais movimentos de conteúdo, etc.” explica o Dr. Miao Wang da Universidade Beihang.

Ao selecionar fotos candidatas do repositório de vídeo, o método também considera o apelo estético das fotos, escolhendo aquelas que são idealmente iluminadas, que são bem focadas e não são desfocadas ou instáveis. “A qualquer momento, o usuário pode renderizar o filme e visualizar o resultado da montagem de vídeo com uma narração de narração em anexo”. diz o professor Shi-Min Hu da Universidade de Tsinghua.

A pesquisa da equipe mostra que ferramentas digitais inteligentes que combinam as habilidades de humanos e algoritmos podem ajudar os usuários no processo criativo. “Nosso trabalho demonstra o potencial da correspondência visual-semântica automática na edição computacional baseada em expressões idiomáticas, oferecendo uma maneira inteligente de tornar a criação de vídeos mais acessível a não profissionais”, diz Shamir.

Para o estudo, a abordagem foi testada em várias partes dos repositórios temáticos de texto e vídeo, com avaliação quantitativa e estudos com usuários. Usuários sem experiência em edição de vídeo podem produzir vídeos satisfatórios usando a ferramenta Write-A-Video, às vezes até mais rápido do que os profissionais que utilizam o software de edição baseado em quadros. Na SIGGRAPH Ásia, a equipe demonstrará o aplicativo Write-A-Video e mostrará uma variedade de exemplos de produções de texto para vídeo.

A equipe inclui Miao Wang (Laboratório Estatal de Tecnologia e Sistemas de Realidade Virtual / Universidade Beihang e Universidade Tsinghua); Guo-Wei Yang (BNRist / Universidade de Tsinghua); Shi-Min Hu (BNRist / Universidade de Tsinghua); Shing-Tung Yau (Harvard) e Ariel Shamir (IDC Herzliya, Israel).

Um vídeo que ilustra o projeto pode ser visto aqui: https://vimeo.com/357657704

Story Source:

Materials provided by Association for Computing Machinery.

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Ao continuar a usar o site, você concorda com o uso de cookies. Mais Informações

As configurações de cookies deste site estão definidas para "permitir cookies" para oferecer a melhor experiência de navegação possível. Se você continuar a usar este site sem alterar as configurações de cookies ou clicar em "Aceitar" abaixo, estará concordando com isso.

Close