Klip muzyczny z AI - od piosenki do teledysku na dwa sposoby

Masz piosenkę i chcesz do niej obraz. Z AI możesz pójść na skróty albo zrobić to porządnie. Skrót to Music Video 1.0: wrzucasz nagranie MP3 trwające 10-300 s plus maksymalnie siedem fotografii bohatera lub nastroju, a dostajesz klip dopasowany do utworu, płacąc od 0,635 zł za sekundę za każdą sekundę piosenki. Droga porządna to osobne ujęcia z modeli wideo, np. Seedance 2.5 lub Kling 3.0, złożone w montażu pod rytm. Utwór może być twój albo wygenerowany w Mureka V9 (0,88 zł za utwór). Niżej opisuję obie drogi, liczę koszt trzyminutowego klipu i wymieniam ograniczenia, które lepiej znać przed startem.

Skrót czy montaż

Skrót sprawdza się jako szybki wizualizer albo klip na rolki. Montaż wybieram, gdy teledysk ma mieć fabułę, scenariusz i występ wokalisty. Długość wyniku w Music Video 1.0 jest zawsze równa długości piosenki, przy montażu decydujesz sam.

Zacznij od gotowej ścieżki

Gdy masz własne nagranie

Potrzebny jest plik MP3. Music Video 1.0 przyjmuje od 10 do 300 sekund, więc pięciominutowy kawałek to maksimum. WAV przerobisz na MP3 jednym poleceniem:

ffmpeg -i utwor.wav -b:a 320k utwor.mp3

Przycisk Wgraj plik w Studio przyjmuje MP3 i WAV ważące maksymalnie 25 MB. Serwer trzyma takie pliki przez 30 dni, a potem je usuwa - kopię zapasową miej na swoim dysku.

Gdy piosenki jeszcze nie ma

Mureka V9 potrzebuje tylko gatunku z klimatem oraz słów podzielonych na zwrotki i refren, a oddaje gotowy utwór ze śpiewem. Płacisz za utwór, a nie za sekundy.

Na teledysk wpływają tu dwie rzeczy:

• Polski śpiew. Na liście języków podanej dla Mureka V9 polskiego nie ma. Model zaśpiewa polskie słowa, ale wymowa bywa nierówna. Sposoby na to opisałem w poradniku o piosence w Mureka V9.
• Czas trwania. Mureka nie ma ustawienia długości, czas wynika z tekstu. Na YouTube celuj w 2-3 minuty, na rolkę wystarczy fragment.

Zanim zaczniesz robić obraz, zamknij ostateczną wersję utworu. Inny miks albo inna długość po montażu oznacza przesuwanie wszystkich cięć.

Bohater wygląda tak samo w każdym ujęciu

Teledysk się sypie, gdy wokalista co ujęcie ma inną twarz. Dlatego przed pierwszym wideo robię 3-5 obrazów w jednym modelu obrazu: postać na wprost, z profilu, w scenicznym stroju, a do tego jedną-dwie grafiki pokazujące lokację oraz barwy klipu. Te same obrazy dostaje potem Music Video 1.0 albo modele wideo jako klatki startowe. Jak to zrobić krok po kroku, opisałem przy temacie bohatera o stałej twarzy.

Gotowy klip z Music Video 1.0

Formularz Music Video 1.0 w Kadrarisie ma te pola:

• Plik audio (URL) - utwór MP3 trwający 10-300 s,
• Obrazy referencyjne (URL) - 1-7 grafik z wokalistą albo klimatem,
• Prompt - nieobowiązkowy, do 3000 znaków: nastrój, miejsca, kolory,
• Tytuł - nazwa utworu,
• Proporcje - 1:1, 16:9, 9:16, 4:3 lub 3:4,
• Rozdzielczość - 540P, 720P lub 1080P.

Długość filmu równa się długości nagrania, a płacisz za każdą sekundę, którą policzy serwer. Stawka rośnie z rozdzielczością, pełna tabela jest na stronie modelu.

Od czego bym zaczął:

1. Wytnij 15-20 sekund z refrenem (minimum to 10 s) i zrób z tego klip w 540P. Tak najtaniej sprawdzisz styl i referencje.
2. Oceń trzy rzeczy: czy bohater się nie zmienia, czy zmiany kadru zgrywają się z bitem i czy na obrazie nie wyskoczył zbędny tekst. Producent wspomina w opisie o opcjonalnych napisach z tekstem piosenki, więc sprawdź, co jest w twoim wyniku.
3. Popraw opis albo referencje, a całość generuj dopiero w docelowej rozdzielczości.

curl https://kadraris.com/v1/generate \
  -H "Authorization: Bearer $KADRARIS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "music-video-1.0",
    "input": {
      "audio_url": "https://example.com/refren-20s.mp3",
      "image_urls": [
        "https://example.com/wokalistka-przod.png",
        "https://example.com/wokalistka-profil.png",
        "https://example.com/miasto-noc.png"
      ],
      "prompt": "Night city, neon reflections on wet streets, the singer walks through empty tram stops, warm amber and teal palette, cinematic.",
      "aspect_ratio": "16:9",
      "resolution": "540P"
    },
    "webhook_url": "https://twoj-serwer.example.com/kadraris-hook"
  }'

Zastrzeżenie: nie mam na koncie żadnego klipu z tego modelu, więc nie pokażę efektu i nie wypowiem się o precyzji cięć ani o ustach. W opisie producenta nie ma słowa o dopasowaniu warg do wokalu. Jeśli wokalista ma śpiewać do kamery, ujęcia występu zrób drugą drogą.

Sceny z modeli wideo i własny montaż

Lista ujęć pod strukturę piosenki

Najpierw rozpisuję utwór na ujęcia. Przykład: utwór w 120 BPM ma takt 4/4 długości 2 sekund, zatem przejście co 2, 4 albo 8 sekund siada na bicie. BPM pokaże ci edytor wideo, a jeśli piosenkę robiła Mureka, masz go w opisie stylu.

Najkrótszy możliwy klip to w Seedance 2.5 cztery sekundy, w Kling 3.0 trzy, a w Wan 3.0 dwie. Zamawiam więc 4-5 sekund i przycinam na osi.

Model do każdego rodzaju ujęcia

• Sceny fabularne: Seedance 2.5 (4-30 s, do 30 referencji), Kling 3.0 (3-15 s, potrafi złożyć parę ujęć naraz), Wan 3.0 (2-30 s, maksymalnie 10 materiałów wzorcowych). Klatki startowe bierz z obrazów przygotowanych wcześniej.
• Śpiew do kamery: Kling 2.6 Motion Control albo Kling 3.0 Motion Control. Filmujesz telefonem, jak sam śpiewasz z playbacku, a model kopiuje gesty, grymasy i pracę warg na bohatera z fotografii. Rozliczenie idzie od długości twojego filmiku.
• Ruch sterowany dźwiękiem: Wan 2.7 Video dostaje fotografię i ścieżkę dźwiękową (image_url + audio_url), a ruch postaci podąża za nagraniem. Wokalu w tym modelu nie testowałem, więc o ustach nic nie powiem.

W materiałach Kuaishou do Motion Control widać przeniesienie ruchu, mimiki i ust z nagrania wzorcowego:

Gdy potrzebujesz długiego, spokojnego ujęcia na otwarcie albo bridge, Seedance 2.5 daje do pół minuty bez cięcia:

Przy klipie stylizowanym, np. pod anime, szybkie przejścia i wyrazista grafika robią dużą część efektu:

Wyłącz dźwięk z modeli

Seedance, Kling i Wan chętnie dorzucają swoją ścieżkę z muzyką. Twój utwór i tak przykryje wszystko, więc wyłącz opcję Generuj dźwięk lub dodaj do opisu no music. Kling liczy wtedy dodatkowo niższą stawkę.

Składanie na osi

Spokojnie wystarczą bezpłatne programy, np. DaVinci Resolve czy CapCut. Moja kolejność:

1. Kładę piosenkę na oś i zaznaczam początek każdej części.
2. Wstawiam ujęcia według listy i tnę na takty.
3. Na każdą część mam 2-3 ujęcia zapasowe, bo część generacji odpada.
4. Na całość kładę jeden wspólny filtr barwny, dzięki czemu sceny z kilku generatorów wyglądają jak jeden film.
5. Jeśli sceny mam w 720p, a publikuję w Full HD albo 4K, gotowe ujęcia przepuszczam przez Topaz Video Upscaler albo Enhance Video 1.0. Na co uważać przy skalowaniu, piszę w poradniku o upscalingu przed montażem.

Rachunek za trzy minuty

Piosenka trwa 180 sekund. W wersji z montażem zakładam, że każda scena powstaje dwa razy, zanim trafi na oś.

Ceny wideo w tabeli liczone są dla najniższej jakości każdego modelu. Im wyższa rozdzielczość, tym droższa sekunda - bieżące stawki są w cenniku, a swój zestaw przeliczysz tutaj. Skrót jest przewidywalny, bo płacisz raz za długość utworu. Wersja montażowa wychodzi przy tych założeniach ok. 4 razy drożej, za to masz kontrolę nad każdą sceną. Porażki generacji nic nie kosztują w żadnym wariancie, a konto zasilisz minimalnie kwotą 40 zł (BLIK lub karta, faktura VAT do zaznaczenia).

Na co uważać

• Twarz bohatera. Tu klipy z AI najczęściej się wykładają. Materiały wzorcowe i klatki startowe ratują sytuację, ale profil i szybki ruch potrafią zmienić rysy.
• Śpiew. Generator wideo nie wykona twojego utworu, nawet jeśli tworzy audio. Scenę śpiewania do obiektywu nagraj sam i przenieś Motion Control.
• Napisy. Tekst generowany w wideo często ma literówki. Tytuł i słowa piosenki dodaj w montażu.
• Prawa. Potrzebujesz praw do utworu i do zdjęć, z których powstaje postać. Przed wydaniem muzyki z AI sprawdź zasady swojego dystrybutora. Filtry producentów często blokują też wizerunki znanych osób.
• Długie utwory. Limit Music Video 1.0 to pięć minut. Przy dłuższym nagraniu robisz kilka klipów i kleisz, licząc się z tym, że na styku bohater wyjdzie nieco inaczej.

O opisach pojedynczych scen przeczytasz w ściągawce promptów wideo, a o produkcji krótkiego filmu od zera w osobnym przewodniku. Jeśli chcesz rozłożyć piosenkę na wokal, bębny i bas do remiksu pod klip, zajrzyj do poradnika o rozdzieleniu utworu na ścieżki.

Pytania

Którą drogę wybrać na pierwszy teledysk?

Jeśli chcesz szybko sprawdzić, jak piosenka wygląda w obrazie, zacznij od Music Video 1.0 na 20-sekundowym fragmencie w 540P. Gdy zależy ci na historii i występie, od razu planuj listę ujęć i montaż.

Jak sprawić, żeby postać naprawdę śpiewała moją piosenkę?

Nagraj siebie, jak śpiewasz do utworu, i użyj Kling Motion Control ze zdjęciem postaci. Ruch, mimika i usta przejdą z nagrania na postać. Model wideo z własnym dźwiękiem twojego utworu nie zaśpiewa.

Mam utwór dłuższy niż 5 minut. Co wtedy?

Music Video 1.0 przyjmie najwyżej 300 sekund, więc podziel piosenkę na części i sklej klipy w montażu. Na łączeniu sprawdź, czy postać wygląda tak samo, a jeśli nie, przykryj miejsce cięcia ujęciem bez bohatera.

Czy teledysk AI mogę wrzucić na YouTube?

Możesz, o ile dysponujesz prawami do nagrania i do zdjęć wzorcowych. Jeśli utwór z AI ma trafić na platformy streamingowe, przeczytaj regulamin twórcy modelu muzycznego oraz firmy, która dystrybuuje twoją muzykę - każda ma inne reguły.