Что умеют нейросети для видео, голоса и музыки

Четыре вида инструментов

Нейросети для видео и звука удобно разделить на четыре группы:

Вид	Что делает	Пример задачи
Генераторы видео	создают короткий клип по текстовому описанию или «оживляют» картинку	пар над чашкой кофе, торт медленно вращается
Помощники для монтажа	работают с вашим видео: нарезка, субтитры, удаление шума и фона, перевод	из 20-минутного интервью — три ролика по 30 секунд с субтитрами
Синтез речи	озвучивают текст выбранным голосом, иногда переводят с сохранением голоса	закадровый текст для ролика или презентации
Генераторы музыки	сочиняют трек по описанию жанра, настроения и темпа	лёгкая акустическая мелодия на 30 секунд

Часто эти функции объединены в одном сервисе или встроены в видеоредакторы, в том числе мобильные.

Что получается хорошо

• короткие атмосферные клипы на 5–10 секунд: природа, еда, предметы, движение камеры;
• «оживление» фото: лёгкое движение, параллакс, пар, блики;
• субтитры — быстро и почти без ошибок на чёткой речи;
• озвучка — естественные голоса, особенно для спокойного закадрового текста;
• фоновая музыка нужной длины и настроения.

Где ошибаются

• Длина и связность. Длинный сюжет с одним героем распадается: меняется лицо, одежда, предметы.
• Руки, пальцы и мелкие детали — лишние пальцы, «плывущие» предметы.
• Текст в кадре — буквы искажаются. Надписи лучше добавлять в редакторе.
• Физика — жидкости, ткани, движение людей иногда выглядят неестественно.
• Интонация — синтез речи может ошибаться в ударениях, паузах и эмоциях.
• Время и стоимость — видео генерируется дольше картинок, а бесплатные лимиты обычно небольшие.

Поэтому хороший ролик обычно собирают из нескольких коротких клипов, ваших фото и видео, озвучки и музыки — а не генерируют целиком одним запросом.

Как выбрать инструмент

Сервисы появляются и меняются быстро, поэтому выбирайте по критериям:

• качество на ваших примерах: попробуйте одну и ту же задачу в двух-трёх сервисах;
• русский язык — для озвучки и субтитров особенно важно;
• условия использования — можно ли использовать результат в коммерческих целях, есть ли водяной знак (урок 7);
• лимиты и цена — сколько секунд видео или минут голоса в бесплатном тарифе;
• данные — что сервис делает с загруженными видео и голосом.

Как подбирать нейросеть под задачу в целом, разобрано в уроке «Как подобрать нейросеть» курса для бизнеса.