Собираем видео с закадровым голосом
Сквозной разбор, в котором языковая модель пишет сценарий, видеомодель генерирует кадры, модель речи озвучивает текст, и всё это сводится вместе — по одному API-ключу.
В этом руководстве три типа моделей связаны в одном скрипте: языковая модель пишет закадровый текст, видеомодель генерирует кадры, а модель синтеза речи озвучивает сценарий. Это наглядный пример того, зачем нужны единый API и общий баланс для разных типов моделей.
Что понадобится: Python 3.9+, API-ключ и ffmpeg, если в конце вы хотите свести аудио и видео.
Здесь запускаются реальные задачи генерации, и они расходуют реальные кредиты. Самая дорогая часть — видео: пока экспериментируете, начинайте с короткой длительности, а если нужна точная цифра заранее, воспользуйтесь оценкой стоимости.
Подготовка
pip install requests
export ATLASCLOUD_API_KEY="your-api-key"Шаг 1 — Общие вспомогательные функции
Любая медиазадача устроена одинаково: отправка, затем опрос, — поэтому опишем это один раз.
import os, time, requests
API_KEY = os.environ["ATLASCLOUD_API_KEY"]
BASE = "https://api.atlascloud.ai/api/v1"
HEADERS = {"Authorization": f"Bearer {API_KEY}"}
TERMINAL = {"completed", "succeeded", "failed", "timeout"}
def submit(endpoint: str, model: str, **params) -> str:
"""Отправляет задачу. Обратите внимание: параметры передаются плоско, а не внутри input."""
r = requests.post(f"{BASE}/model/{endpoint}",
headers=HEADERS, json={"model": model, **params}, timeout=60)
r.raise_for_status()
return r.json()["data"]["id"]
def wait(prediction_id: str, timeout: int = 900) -> dict:
"""Опрашивает до конечного состояния, постепенно увеличивая интервал."""
deadline, delay = time.time() + timeout, 2.0
while time.time() < deadline:
r = requests.get(f"{BASE}/model/prediction/{prediction_id}",
headers=HEADERS, timeout=30)
r.raise_for_status()
data = r.json()["data"]
if data.get("status") in TERMINAL:
if data["status"] in ("failed", "timeout"):
raise RuntimeError(f"Задача завершилась неудачей: {data.get('error') or data['status']}")
return data
time.sleep(delay)
delay = min(delay * 1.5, 10.0)
raise TimeoutError(prediction_id)
def download(url: str, path: str) -> str:
r = requests.get(url, timeout=300)
r.raise_for_status()
with open(path, "wb") as f:
f.write(r.content)
return pathШаг 2 — Пишем сценарий с помощью LLM
Языковые модели используют другой базовый URL и работают синхронно, поэтому не проходят через submit/wait.
def write_narration(topic: str) -> str:
r = requests.post(
"https://api.atlascloud.ai/v1/chat/completions",
headers={**HEADERS, "Content-Type": "application/json"},
json={
"model": "deepseek-ai/deepseek-v3.2",
"messages": [
{"role": "system",
"content": "You write narration for short videos. "
"Reply with two sentences of spoken narration and nothing else."},
{"role": "user", "content": f"Topic: {topic}"},
],
"max_tokens": 200,
},
timeout=120,
)
r.raise_for_status()
return r.json()["choices"][0]["message"]["content"].strip()
narration = write_narration("how ocean waves shape a coastline")
print(narration)Шаг 3 — Генерируем видеоряд
video_id = submit(
"generateVideo",
"alibaba/wan-2.5/text-to-video",
prompt="slow aerial shot of waves breaking against a rocky coastline at golden hour",
duration=5,
)
video = wait(video_id)
download(video["outputs"][0], "footage.mp4")Генерация видео занимает минуты, а не секунды. В продакшене зарегистрируйте вебхук и позвольте задаче самой сообщить о завершении, вместо того чтобы держать открытым цикл опроса.
Шаг 4 — Синтезируем закадровый голос
Текст из шага 2 становится здесь входными данными. Речь, музыка и транскрипция используют один и тот же эндпоинт — что именно вы получите, определяет модель.
audio_id = submit(
"generateAudio",
"bytedance/seed-audio-1.0",
text=narration,
format="mp3",
sample_rate=44100,
speech_rate=-5, # Чуть медленнее — закадровый текст воспринимается лучше
)
audio = wait(audio_id)
download(audio["outputs"][0], "voiceover.mp3")Полный набор параметров, включая референсы голоса, см. в разделе Аудиомодели.
Шаг 5 — Сводим вместе
ffmpeg -i footage.mp4 -i voiceover.mp3 \
-c:v copy -c:a aac -shortest narrated.mp4Опционально — Генерируем субтитры
Прогоните закадровый голос через модель транскрипции, чтобы получить пословные тайминги для субтитров.
stt_id = submit(
"generateAudio",
"bytedance/seed-asr-2.0",
audio_url=audio["outputs"][0], # Обратите внимание: поле называется audio_url
enable_punc=True,
show_utterances=True,
)
stt = wait(stt_id)
# У моделей транскрипции outputs[0] — это сам текст, а не URL файла
print(stt["outputs"][0])
for word in stt.get("stt_result", {}).get("words", [])[:10]:
print(word["start"], word["end"], word["text"])Модели транскрипции принимают audio_url, но некоторые другие модели распознавания речи ожидают audio. Сверьтесь со справочником API модели — при неверном имени поля запрос не пройдёт валидацию.
Что дальше
- Замените видеомодель на такую, которая принимает референсное изображение, и задайте стиль кадром, который предоставите сами
- Перейдите с опроса на вебхуки, чтобы долгие задачи не блокировали ваш процесс
- Запускайте несколько клипов параллельно и склеивайте их в более длинную последовательность
- Добавьте обработку повторов из раздела Ошибки и лимиты запросов
Связанные материалы
Last updated on