Storyboard com IA

Os storyboards podem parecer relíquias da era Mad Men da publicidade, mas eu discordo. Um storyboard bem elaborado pode melhorar um conceito criativo sem estragá-lo, ao contrário dos frames de vídeo, que usam imagens pré-existentes e deixam pouco para a imaginação. E agora mais, com Storyboard com IA

Os storyboards são uma maneira clara e concisa de comunicar uma mensagem, o fluxo e o ritmo de um comercial ou campanha.

Para este experimento, tentei usar tanto o Stable Diffusion quanto o Midjourney. O Stable Diffusion (versão 2.1) parecia ser mais coerente com o prompt e tinha uma melhor compreensão da linguagem cinematográfica. Era mais fácil posicionar objetos em certas partes de um quadro ou gerar ângulos de câmera desejados. No entanto, sua capacidade de criar personagens e configurações semelhantes a storyboards não era suficiente, então continuei a usar o Midjourney para mais testes.

Teste Um: O Teste do Moodboard

Às vezes, uma história é simples e puramente visual. Esses tipos de histórias geralmente exigem ótimas referências e storyboards. O anúncio “Open Spaces” da Burberry é um dos meus exemplos recentes favoritos. Ele evoca os sonhos de “voo casual” que eu costumava ter quando criança. O anúncio é todo sobre execução e recursos visuais.

Eu tentei capturar esse mood criando quadros usando Midjourney. Para o estilo visual, decidi usar o trabalho do artista conceitual Vadim Gousmanov, em vez de um típico artista de storyboard. Seu estilo é uma grande mistura de traços de aquarela com uma peegada mais moderna.

Aqui estão algumas das minhas primeiras tentativas:

A parte desafiadora foi tirar os personagens do papel. Muitas instruções referentes a natação, mergulho e posições incomuns no ar eram necessárias para fazê-los voar. Mas, no final, eles fizeram.

Claro, era impossível manter a consistência dos personagens entre os quadros, mas de alguma forma sinto que Midjourney capturou o clima. Eu diria que é um passe. ✅

Teste Dois: O Teste de Personagens

É aqui que fica sério. A IA generativa de texto para imagem gera imagens únicas, não histórias, que são cruciais para contar histórias e storyboarding. Isso já está mudando na versão 5 de Midjourney, mas, por enquanto, não é fácil criar personagens consistentes, o que ainda requer alguns hacks que eu peguei de artistas de quadrinhos.

A primeira ideia que tive foi criar um personagem em Midjourney e usar a imagem resultante como referência para novos quadros. Em teoria, isso deveria funcionar. Aqui está um personagem de menino de cabelos encaracolados que eu fiz.

Para este teste, tentarei recriar quadros do anúncio de Natal da John Lewis “Evergreen” de uma década atrás, que iniciou a tradição de “anúncios de Natal da John Lewis” que muita gente espera ansiosamente todos os anos.

Vamos ver se podemos colocá-lo em cenas diferentes, como as da cozinha, atrás de uma janela e segurando um presente. Funciona, até certo ponto. O menino se parece em todos os quadros, e você tem a sensação de que é a mesma pessoa.

No entanto, esse método torna praticamente impossível alterar o enquadramento dos personagens. A imagem inicial tem tanta influência que, apesar de colocá-la no final do prompt, eu sempre acabava com o mesmo ângulo de retrato, mesmo quando pedia uma foto de corpo inteiro do personagem.

Ter o personagem no mesmo enquadramento e posição não fornece muita flexibilidade, então eu diria que é foi um fracasso.

Teste Três: O Famoso Teste de Personagem

O segundo teste falhou porque Midjourney só conhecia uma imagem do personagem gerado. O conjunto de treinamento era pequeno demais para o aprendizado de máquina. Infelizmente, não podemos treinar uma classe em Midjourney com nossas próprias imagens como podemos com Stable Diffusion e Dreambooth. No entanto, há uma solução alternativa – você pode escolher um personagem famoso que Midjourney pode conhecer e usá-lo como referência para o seu personagem. Desta vez, tentei prompts semelhantes como iasst Two, mas em vez de uma imagem de referência, digitei “menino parecido com Noah Schnapp de 7 anos” (Noah Schnapp é o ator que interpreta Will em Stranger Things). E deu certo. Noah não tem características faciais muito distintas, então o garoto no storyboard parece um pouco familiar, mas não se parece exatamente com Noah, que era o meu objetivo.

Desta vez, Midjourney foi muito mais sensível às minhas descrições. Foi bastante fácil recriar algumas das cenas originais, como você pode ver por si mesmo.

Os shootingboards são o tipo mais preciso de storyboard, incluindo enquadramento, movimento de objetos, movimento de câmera, etc. Tentei fazer com que o Midjourney desenhasse bonecos, pans, zooms, etc. mas não teve sorte. Em um momento de desespero, pedi setas apontando para fora do quadro. Bem, eu tenho flechas atirando em uma criança. É uma falha definitiva.

Storyboard com IA – sim ou não?

No geral, a criação de storyboards com IA tem seus limites e levará algum tempo para substituir um talentoso artista de storyboard por IA. Isso é ainda mais verdadeiro ao tentar criar quadros de tiro ou storyboards baseados em personagens consistentes. No entanto, em outros casos, a IA generativa pode gerar uma ampla gama de ideias e esboços, permitindo-nos explorar rapidamente um número maior de opções criativas e encontrar o conceito certo. Isso não apenas acelera o processo, mas também nos permite ser mais eficientes e mais criativos, dando-nos mais tempo para nos concentrarmos no lado humano-criativo do storyboard, as partes que realmente importam.