интересный репозиторий, суть вкратце: этот инструмент с помощью нейронок поможет вам создавать увлекательные и информативные видеоуроки на любую тему. Персонажа можно сгенерировать саму.
Как оно работает:
1) Настраиваются параметры, такие как тема, уровень объяснения, возраст целевой аудитории, креативность и юмор. С учетом этих параметров пишется сценарий, чтобы объяснить выбранную тему.
2) Сценарий из предыдущего пункта разбивается на более мелкие предложения, которые затем используются для создания аудиодиалогов с помощью Text-to-Speech (TTS). Параллельно еще раз генерируется поисковый запрос для каждого предложения с помощью Cohere и Langchain. Эти поисковые запросы помогают получать релевантные изображения из Google, которые будут использоваться в качестве слайдов в презентации.
3) Создается видео для анимации персонажей, а затем неподвижные изображения из Google превращаются в слайд-видео. Эти слайды будут интегрированы в окончательную видеопрезентацию.
4) Сохраняется готовое видео, объединяя слайд-видео и видео с анимацией персонажей.
Качество хорошее, особенно если учесть, что это open source.
Если кого заинтересовало, исходники
тут@mydi