Говорящие AI-аватары: Kandinsky Avatar 1.0 для своих сервисов

«Сбер» открыл Kandinsky Avatar 1.0: говорящие AI-аватары теперь можно собирать в своих сервисах

«Сбер» выложил в открытый доступ Kandinsky Avatar 1.0 — семейство моделей, которое превращает обычное изображение человека в говорящего видеоаватара. Разработчики могут использовать модели в своих продуктах, в том числе коммерческих.

На вход нужны три вещи:

• изображение аватара;
• аудиозапись с речью;
• текстовое описание сцены и нужных эмоций.

Дальше модель синхронизирует движения губ с голосом, добавляет мимику, повороты головы и жесты. Язык речи определяется аудиозаписью — отдельный выбор языка для аватара не требуется.

Что умеет модель

Готовый ролик может длиться до минуты и генерируется с частотой 24 кадра в секунду. При этом поведение аватара можно задавать текстом: например, описывать эмоции и особенности сцены, которые модель должна отыграть.

По словам «Сбера», Kandinsky Avatar построена на базе модели генерации видео Kandinsky 5.0 Video и выпускается в двух вариантах:

• Pro — создаёт видео в HD-разрешении; компания заявляет, что по уровню работы модель сопоставима с HeyGen.
• Lite — генерирует видео в SD и рассчитана на более доступный запуск: по заявлению разработчиков, её можно использовать на домашней видеокарте.

Модели обучали более чем на 1 млн фрагментов интервью, выступлений и подкастов. В обучающую выборку вошли материалы на 95 языках, включая русский, английский, казахский, испанский и французский.

Что получает разработчик

Код и веса моделей доступны бесплатно по открытой лицензии MIT. Забрать их можно через GitHub, GitVerse и Hugging Face. Также «Сбер» планирует сделать Kandinsky Avatar 1.0 доступной в ComfyUI и Diffusers, а позднее добавить модель в собственные сервисы.

Таким образом, Kandinsky Avatar 1.0 рассчитана не только на демонстрации: разработчик может встроить генерацию видеоаватаров в свой сервис, выбрать более качественную Pro или более лёгкую Lite и при необходимости запускать её локально. Главное ограничение, которое стоит учитывать, — характеристики зависят от выбранной версии: Pro работает в HD, а Lite — в SD.