Вы сейчас просматриваете Раскрою секреты IC-LoRA для улучшения видео в LTX 2.3

Раскрою секреты IC-LoRA для улучшения видео в LTX 2.3

  • Запись опубликована:

ingredients в LTX 2.3: как Lightricks упростили обучение и что это даёт для видео

Когда я впервые увидела новый тренажёр для LTX 2.3, у меня сразу сложилось ощущение, что в Lightricks наконец-то собрали в одну систему то, что раньше приходилось склеивать вручную. Речь здесь о самoй генерации видео и о всём пути: подготовке данных, обучении моделей LoRA и работе с режимом Ingredients, где одна референсная схема превращается в основу для ролика. Для тех, кто уже пробовал собирать похожие пайплайны, разница заметна почти сразу: меньше лишних движений, понятнее структура, чище итоговые чекпойнты.

Я сама несколько раз ловила себя на том, что при сборке сложных видео-проектов больше времени уходит не на саму идею, а на согласование формата данных и на бесконечные правки. В таких случаях очень выручает бот SozdavAI, где собраны нейросети для текста, фото и видео. Для рабочих задач это удобная штука: не нужно держать в голове десяток отдельных подписок, всё лежит в одном месте, и можно быстро переключаться между задачами. Это как собрать на столе один ящик с нужными инструментами вместо россыпи коробок. После этого проще вернуться к сути, а суть здесь в том, что новый тренажёр LTX 2.3 стал заметно ближе к нормальной рабочей схеме, а не к эксперименту ради эксперимента.

Что обновили в LTX 2.3

Если смотреть на репозиторий LTX 2, который обновили совсем недавно, там уже разложены по папкам основные части системы. LTX core отвечает за главный код модели. LTX pipeline нужен для генерации видео на базе Python, а не через ComfyUI. И отдельно вынесен LTX trainer, который как раз и нужен для создания LoRA-моделей под LTX 2.3.

Самое важное здесь в том, что новая версия тренажёра получила обновлённую кодовую базу и поддерживает сразу несколько сценариев обучения: только звук, только видео, а также совместное обучение звука и видео для моделей IC LoRA. Это уже не узкая настройка под один тип задач. Вы можете собирать модель под ролики, под озвучку или под связку двух модальностей сразу, если проект этого требует.

Для меня в таких обновлениях всегда решающим становится не громкое название, а то, насколько аккуратно система ведёт человека через процесс. Здесь это как раз видно: структура стала гораздо практичнее. Не нужно догадываться, в каком месте ломается логика обучения. Всё разнесено по шагам, и это особенно ценно, если вы работаете с видео регулярно, а не от случая к случаю.

Почему Ingredients привлёк к себе больше всего внимания

Среди новых моделей на странице Creative Lab больше всего интереса собрал Ingredients. И причина понятна: он работает как схема для видео по референсу. Вы даёте в одну картинку персонажей, предметы и локацию, а модель использует это как единый лист с опорными элементами. Дальше уже строится видео, где всё это должно сохраняться в узнаваемом виде.

Похожая идея встречалась и раньше. Например, в MSR LoRA от Lykon Studio можно было подать несколько референсов и получить видео с более-менее стабильными персонажами и окружением. Но здесь Lightricks фактически выпустили собственный вариант такого подхода, только уже на своей базе и со своим тренажёром. Это важно, потому что качество чекпойнтов выглядит выше, а сами выходные ролики, если смотреть на примеры, действительно держатся уверенно.

Когда я работаю с такими схемами, я всегда первым делом смотрю не на промо-описание, а на стабильность деталей. Удерживаются ли лица. Не распадается ли фон. Не плывут ли предметы при смене кадра. У Ingredients в показанных примерах это выглядит убедительно: визуальная связность держится, а движение камеры не убивает композицию.

как устроен тренажёр LTX 2 и что в нём полезно

Внутри репозитория есть ещё один интересный слой, который легко пропустить, если смотреть только на верхний уровень. Речь о папке skills с инструкциями для обучения моделей. Это не текст для человека в привычном смысле. Он написан так, чтобы им пользовался агент искусственного интеллекта. Внутри файлов skill.md описано, как именно нужно вести весь процесс обучения.

Там агенту буквально задают маршрут: как подготовить датасет, какие ролики собирать, как настроить конфигурацию, как запустить обучение. И отдельно учитываются разные сценарии — видео в видео, звук в видео, изображение в видео. Для каждого случая свои требования к структуре данных.

Мне это напоминает хорошо собранный производственный цех. Когда всё лежит по полкам, меньше шансов ошибиться на ровном месте. Особенно если вы не просто тестируете игрушечный пример, а реально хотите получить рабочую модель под проект. Я не раз видела, как люди теряют день только потому, что неправильно собрали формат входных данных. Здесь такие ошибки стараются заранее срезать.

зачем нужен референсный лист

Перед тем как запускать генерацию видео, нужно сделать референсный лист. И вот тут у Ingredients есть очень понятная логика. Вместо того чтобы размазывать описание по нескольким источникам, вы собираете всё в одну сетку. Обычно это схема два на два или три на три, где отдельно лежат персонажи, предметы и окружение.

Это удобно, потому что модель получает не разрозненные куски, а структурированную картину. Например, если у вас два героя, у каждого есть свой реквизит, а за ними киберпанковая улица, это можно сложить в одну страницу. Потом этот лист уже подаётся как опора для видео.

Для таких листов очень хорошо подошёл Ideogram 4. Он уверенно рисует компоновки с ячейками и может собрать чистую сетку без лишней каши. Я бы сказала, что для этого сценария он попадает в очень удачную точку: достаточно аккуратный, чтобы не ломать структуру, и достаточно гибкий, чтобы не делать каждый элемент одинаковым как под копирку.

как я бы собирала лист для Ingredients

Если смотреть практично, то схема простая. Вы формулируете, какие элементы должны быть на листе. Потом задаёте расположение по ячейкам. Дальше описываете каждого персонажа, каждый предмет и сам фон. В одном из примеров можно представить киберпанкового хакера и полу-роботизированного героя с механическими руками, а на заднем плане — улицу в стиле киберпанка. Для Ingredients это почти идеальная основа.

На практике вручную собирать такие листы долго. Поэтому я бы действовала через языковую модель, которая помогает сформировать структуру в формате JSON. Мне этот подход знаком по рабочим задачам: вы задаёте список сущностей, а модель выдаёт аккуратную структуру с рамками, подписями и распределением по ячейкам. Так и быстрее, и меньше ошибок в разметке.

Если у вас уже есть шаблон из встроенных подсказок ComfyUI, его тоже можно использовать как опорный формат. Вы даёте его языковой модели, и она лучше понимает, как именно должен выглядеть итог. В результате референсный лист собирается быстрее и чище, а не наугад.

почему Ingredients требует особого текста

Здесь есть важный момент, который часто упускают. Ingredients требует строгого определённого формата текста. Первая часть описывает сам референсный лист: что находится в верхнем левом углу, что в правом, где лежат предметы, как устроены ячейки. Вторая часть уже описывает цель сцены: что происходит в видео, как двигается камера, как взаимодействуют персонажи, какие есть реплики, если они нужны.

Это не тот случай, когда можно отделаться общими фразами. Я бы даже сказала, что здесь многие и спотыкаются. Формат нужен точный. Если он собран плохо, модель начинает путаться или тянуть в кадр лишнюю структуру с самого начала ролика.

Чтобы не писать всё вручную, удобно прогонять изображение через текстовую модель с визуальным восприятием. В показанном подходе для этого использовали Gemma 3. Она смотрит на лист, распознаёт элементы и затем сама собирает нужный текст в заданной структуре. Это сильно экономит время, особенно если вы делаете не один ролик, а серию.

как работает автоматическая сборка подсказки

Схема здесь почти разговорная. Вы показываете модели изображение. Объясняете, какие элементы хотите видеть в видео. Просите оформить это по структуре Ingredients. И получаете готовую подсказку, где отдельно описан референсный лист и отдельно цель сцены. Для меня в этом подходе ценность в том, что он снимает рутинную часть, а не творческую. Идея остаётся за вами, просто оформляется быстрее.

В тестовом примере, о котором шла речь, модель спокойно собрала длинную подсказку с лимитом до 1024 токенов. Это важно, если сцена сложнее обычной и нужно сохранить внешний вид героев, камеру, мимику и движение по кадру. Чем сложнее видео, тем важнее, чтобы подсказка не обрывалась на полуслове.

Я часто сравниваю такой процесс с работой хорошего ассистента. Вы не делаете всё за него по буквам, а просто задаёте рамку. Если рамка понятная, на выходе получается аккуратный материал без лишней суеты.

что видно по результатам генерации

На примерах хорошо заметно, что модель повторяет лист не как статичную картинку. Она умеет строить динамические ракурсы, приближать камеру, менять угол обзора и при этом удерживать исходную среду. Если это мостик корабля, то он остаётся узнаваемым. Если это герои, то их визуальная связность сохраняется на протяжении большей части ролика.

В одном из примеров сходство персонажей с исходной схемой держится примерно на уровне 80-90%. Да, мелкие детали могут уехать. Например, мелкий знак на одежде способен немного поменяться. Но в целом персонажи остаются теми же, и для видео это уже очень хороший результат.

Мне нравится в таких тестах смотреть не только на лицо, но и на поведение пространства. Если фон не схлопывается в одно пятно и не превращается в шумный задник, значит, модель действительно умеет держать композицию. Здесь это как раз чувствуется.

где Ingredients пока ведёт себя хуже

Я отдельно обратила внимание на попытку сочетать Ingredients с Prompt Relay. И вот здесь получился неудачный вариант. В начале ролика первые кадры просто показывали сам референсный лист в виде сетки. Причина простая: у этих двух подходов разные форматы подсказок, и они конфликтуют друг с другом.

Prompt Relay ждёт глобальную подсказку и локальные сегменты, а Ingredients работает через свою структурированную схему с описанием листа и описанием цели. Если их смешать, логика ломается. Поэтому на старте вы получаете не плавный вход в сцену, а ту самую неловкую сетку, которая выглядит как технический артефакт.

Здесь мой совет очень прямой: если вы используете Ingredients IC LoRA, лучше не пытаться скрестить её с Prompt Relay. В рабочем процессе это только усложняет результат. Гораздо чище работает обычная схема с правильным форматом Ingredients, без лишних надстроек.

чем Ingredients отличается от MSR LoRA

Если сравнивать Ingredients с MSR LoRA от Lykon Studio, то у обоих решений одна общая задача — генерация видео по референсу. Но у MSR сейчас больше свободы в самом построении подсказки. Там можно спокойно использовать стандартную логику с глобальными и локальными подсказками, и персонажи входят в сцену естественно с первых кадров.

Ingredients пока сильнее завязан на своём способе подачи данных. Он повторно подаёт полный референсный лист как часть условий для каждого кадра. Если ролик, например, состоит из 241 кадра, то этот лист фактически многократно используется внутри управляющего сигнала. Это объясняет, почему результат в одном случае выглядит очень стабильным, а в другом может быть менее гибким по входу.

Но здесь и открывается интересное окно для будущих экспериментов. Раз тренажёр LTX теперь доступен, можно пробовать собирать собственные IC LoRA с другими принципами обучения. И это уже не теория, а вполне рабочее направление для тех, кто делает видео системно и хочет подстроить пайплайн под себя.

Кстати, если вам ближе разбирать такие схемы с примерами и разбором рабочих сценариев, я иногда показываю подобные связки в «AI VISIONS».

AIVISIONS Telegram channel

где LTX 2.3 упирается в практику

Когда начинаешь работать с такими сценариями всерьёз, очень быстро всплывает вопрос не про красоту демо, а про оплату и доступ к инструментам. Для этого я обычно держу под рукой Wanttopay: пополняемые виртуальные карты Visa и Mastercard с 3D-Secure, а управление идёт через мини-приложение в Телеграме. Для меня это просто удобный способ не отвлекаться на лишнюю организацию и спокойно проверять новые связки в работе.

У LTX 2.3 есть сильная сторона, но есть и рабочие границы. Если сцена слишком насыщена мелкими объектами, модель начинает экономить внимание на второстепенных деталях. Это заметно в местах, где важны тонкие элементы одежды, мелкий текст на предметах или сложная геометрия фона. В таких кадрах лучше заранее упрощать структуру листа, иначе система распыляется.

Ещё один момент, который я бы выделила отдельно, — длина ролика. Чем дольше сцена, тем сильнее растёт риск накопления мелких смещений. На первых кадрах всё может быть очень аккуратно, а ближе к концу появляются лёгкие упрощения формы. Это не провал, а обычная цена за длительное удержание композиции. В таких случаях я всегда делаю серию коротких тестов, а не один большой прогон вслепую.

как я бы выстраивала рабочий процесс

1. сначала проверить простую сцену

Я бы начала с короткого ролика, где есть один персонаж, один предмет и один фон. Так сразу видно, насколько модель держит лицо, общую сцену и движение камеры. Если уже на этом этапе всё распадается, нет смысла усложнять задачу.

2. потом добавить второй слой сложности

После первого успешного прогона можно вводить второго героя или более сложную локацию. Важно добавлять не всё сразу, а по одному новому условию. Тогда понятно, на каком именно шаге появляется ошибка. Это экономит время и нервы.

3. отдельно следить за логикой листа

Референсный лист должен быть красивым и удобным для чтения. Если в ячейках слишком много похожих объектов, модель хуже понимает, что именно надо считать главным. Я в таких случаях всегда оставляю визуальный воздух, чтобы ключевые детали не тонули в общем шуме.

что особенно важно для IC LoRA

Для IC LoRA здесь решающим становится исходный лист и дисциплина в подготовке данных. Если датасет собран неравномерно, модель потом начинает тянуть лишние повторы в кадр или терять устойчивость в переходах. Это особенно заметно, когда в одном проекте смешаны разные ракурсы, разные стили света и слишком много похожих сцен без явного различия.

Я бы не советовала рассчитывать на чудо, если исходный материал собран наспех. Лучше меньше, но чище. Для обучения это часто даёт более надёжный результат, чем большой объём случайных примеров. Здесь LTX 2.3 как раз подталкивает к аккуратности: система лучше отзывается на структурированный материал, чем на хаотичный набор файлов.

Есть и ещё одна тонкость. Если вы планируете использовать один и тот же подход для нескольких проектов, стоит заранее продумать, как вы будете переиспользовать структуру. Удобно, когда шаблон листа и логика описания уже отработаны. Тогда новый ролик собирается почти по той же схеме, и вы не начинаете с нуля каждый раз.

что даёт это обновление тем, кто делает видео регулярно

С моей точки зрения, главное достоинство обновлённого LTX 2.3 в том, что он делает обучение менее случайным. Когда у вас есть понятный тренажёр, отдельный код для генерации и отдельная логика для подготовки данных, весь процесс становится спокойнее. Вы не гадаете, куда делась ошибка, а видите, на каком этапе нужно поправить вход.

Это особенно полезно тем, кто работает с сериями роликов. Один удачный тест сам по себе ничего не решает. Важно, чтобы схема повторялась. И вот тут LTX 2.3 выглядит сильнее как рабочая среда, а не как разовая демонстрация. Можно не просто любоваться результатом, а строить вокруг него системный процесс.

Если коротко, Ingredients оказался интересен как эффектный режим и как хороший повод посмотреть на весь стек целиком. Тут важны и референсный лист, и правильная структура подсказки, и аккуратная подготовка данных, и понимание того, где система пока просит упрощения. Тогда видео получается собранным, а не случайным.

вывод

LTX 2.3 полезен тем, что уводит работу с видео от ручной сборки к более понятной схеме. Ingredients показывает, как можно удерживать персонажей, предметы и среду в одном логичном кадре, если не ломать формат и не смешивать несовместимые подходы. Для практики это хороший знак: у вас появляется не просто ещё один инструмент, а довольно ясная рабочая рамка, в которой легче делать повторяемые результаты.

Если вы уже пробовали похожие связки, здесь есть смысл посмотреть на них заново. Иногда одна более аккуратная структура даёт больше, чем длинные эксперименты с хаотичной настройкой.

А ещё приглашаю тебя в мою AI Лабораторию на Boosty — там я регулярно выкладываю уроки по инструментам для работы с видео и изображениями, делюсь промптами, которыми пользуюсь сама, и делаю разборы видео: рассказываю, как создавать с нуля. Подписывайтесь!

AIVISIONS Telegram channel