← В монтажную

Вышел FCP AI-Toolkit 1.1.1: версия 1.1 плюс два исправления

Версия 1.1.1 уже в Mac App Store: Smart Cache, редактирование субтитров, Smart Search и около 100 языков. Дополнительная цифра «.1» — это два бага, которые мы успели исправить вовремя.

FCP AI-Toolkit 1.1.1 доступен в Mac App Store с 30 сентября. Если у вас версия 1.0, это ваше обновление. Откройте Mac App Store и обновитесь, как обычно.

Этот релиз посвящён одному: возвращаться к монтажу, не начиная всё заново. Вы пробуете другой стиль, подрезаете вступление, исправляете имя, удлиняете клип. Субтитры поспевают за вами, а не начинаются каждый раз с нуля.

Постойте, что случилось с 1.1?

Справедливый вопрос. 22 сентября мы опубликовали анонс под названием Скоро в 1.1. Версия 1.1 была готова и проверена. Ей оставалось только дождаться ролика о запуске.

Затем, 25 сентября, мы провели последний раунд тестов на реальных проектах Final Cut Pro. Несколько клипов, отсоединённый звук — тот самый беспорядок, который бывает в настоящем монтаже. Обнаружились два бага. Мы исправили оба в тот же день.

Мы могли бы выпустить 1.1 и исправить всё позже. Мы предпочли сначала починить сборку и дать ей новый номер. Так что 1.1.1 — это просто 1.1 плюс два исправления. Функции в точности те, что описывал анонс, а дополнительная цифра «.1» означает два бага, которые мы поймали раньше, чем вы с ними столкнулись.

Мы отправили 1.1.1 в Apple 27 сентября, а 30 сентября она вышла. Никто не пропустил версию: публичной 1.1 никогда не было. Если у вас 1.0, вы сразу обновляетесь до 1.1.1.

  1. Выходит версия 1.0
  2. 1.1 анонсирована и ждёт ролика к запуску
  3. Последний тест выявил две ошибки, обе исправлены в тот же день
  4. 1.1.1 отправлена на проверку в Apple
  5. 1.1.1 доступна в Mac App Store

Первое исправление: субтитры, которые накладывались друг на друга

Когда вы нажимаете Analyze, расширение расшифровывает каждый диалоговый клип на таймлайне отдельно, а затем объединяет результаты. В некоторых проектах из-за этого могла получиться одна и та же фраза дважды или субтитры, наложенные друг на друга. Мы нашли три причины:

  • Подрезанный клип. Вы обрезали начало клипа на таймлайне, но речь из скрытой, обрезанной части всё равно могла попасть в субтитры.
  • Два клипа с одной и той же речью. Например, звук с камеры и отдельный микрофон, оба помечены как диалог. Одни и те же слова могли появиться дважды.
  • Сама модель распознавания речи. Whisper иногда возвращает строки, которые немного перекрываются.

Само по себе это досадно. Но в 1.1.1 появился ещё и редактор субтитров, и он ведёт себя разумно: отклоняет любое изменение времени, из-за которого субтитр наложился бы на соседний. Когда дубликаты уже перекрываются, любое ваше исправление было бы отклонено. Вы бы застряли с редактором, который казался заблокированным.

Вот что происходит теперь:

  • Субтитры каждого клипа обрезаются по той части клипа, которую вы действительно видите на таймлайне, без разрезания слов пополам.
  • Дублирующаяся речь объединяется в один субтитр.
  • Оставшиеся перекрытия аккуратно разделяются.
  • Субтитры, сохранённые до исправления, автоматически восстанавливаются при загрузке.

А ещё появилась новая кнопка удаления у каждого субтитра. Если какая-то фраза вам просто не нужна, удалите её. В следующий раз она не вернётся.

Второе исправление: звук оказался не там, где мы думали

Это касается звука, отсоединённого от видео или находящегося на присоединённом клипе. Частый случай — звук с отдельного рекордера, прикреплённый к основному клипу.

В таких проектах расширение могло неверно считывать позиции на таймлайне. В одном из наших тестовых проектов отсоединённый звук был длиннее видео. Расшифровывалась только длина видео, а два источника находились на расстоянии 1,6 секунды друг от друга. Субтитры уезжали из синхронизации.

Теперь позиции вложенных и присоединённых клипов вычисляются правильно. Присоединённый клип измеряется по собственной сюжетной линии, а не обрезается до длины клипа, к которому он прикреплён. Изображение видеоклипа больше не принимается за источник звука. А аудиороли, отключённые клипы и выключенные аудиоканалы учитываются.

Оба исправления пришли из одного места: из реальных проектов. Мы рады, что проверили на них ещё раз.

Smart Cache: не начинайте заново

Smart Cache помнит на вашем Mac, что уже было расшифровано.

Представьте. Вы сделали субтитры для интервью, и всё устраивает. Затем клиент просит добавить ещё десять секунд в конце. Вы удлиняете клип на таймлайне и снова нажимаете Analyze. Через Whisper проходит только новая, ещё не расшифрованная часть. Остальное уже готово.

Запустите тот же клип снова, с тем же языком и той же моделью, и субтитры появятся мгновенно. Это помогает, пока монтаж ещё меняется: пробуйте другой стиль, запускайте заново, подрезайте, удлиняйте — не начиная проход субтитров с нуля.

Smart Cache включён по умолчанию. В расширении есть переключатель, если вы хотите его выключить. Первый запуск клипа по-прежнему занимает столько времени, сколько занимает, — это зависит от вашего Mac, клипа и модели. Smart Cache помогает при втором запуске, а не при первом.

Исправьте субтитр, прежде чем он попадёт на таймлайн

Даже хорошая модель распознавания может написать имя вашего гостя по-своему. Теперь вы можете исправить имя, знак препинания или целую фразу прямо в расширении, до того как титры попадут на таймлайн.

Ещё можно менять время начала и конца каждого субтитра. Редактор проверяет время по ходу работы. Он не принимает недопустимый диапазон и субтитр, перекрывающий соседний, так что небольшое изменение не сломает последовательность незаметно.

Ваши правки сохраняются на вашем Mac. Они возвращаются, когда вы снова открываете расширение или заново анализируете тот же материал. А новинка 1.1.1 — теперь можно удалить ненужный субтитр.

Smart Search: где я это говорил?

Вы помните, что говорили что-то про объектив, но не помните, в каком видео. Smart Search ищет по всем созданным вами субтитрам во всех клипах. Каждый результат показывает найденный текст, имя файла и таймкод.

Поиск видит и ваши исправления. Если вы исправили имя, найти можно именно исправленное имя.

Один честный минус: щелчок по результату не переходит к клипу в Final Cut Pro. Вы получаете имя файла и таймкод и переходите к месту сами.

Около 100 языков и Auto Detect

В версии 1.0 был список из 20 языков. Теперь в меню языков есть все примерно 100 языков из каталога моделей Whisper. Вверху — новый пункт Auto Detect. Если вы не уверены, на каком языке клип, или у вас разные языки в разных клипах, пусть он решит сам. Auto Detect тоже работает на вашем Mac, после загрузки модели.

Пожалуйста, прочитайте эту часть внимательно. Это число — охват языков моделью. Мы не проверяли качество субтитров отдельно на каждом языке. Точность субтитров зависит от языка, записи, говорящего и модели. Поэтому проверка субтитров остаётся частью работы на любом языке. С новым редактором это ещё и быстрее.

Небольшие окна

Расширение теперь помещается в небольшие окна Final Cut Pro, например на экране ноутбука. Область для добавления проекта, поиск и выбор шаблонов остаются доступными.

Что осталось прежним

  • Транскрипция по-прежнему выполняется на вашем Mac. Мы используем WhisperKit, основанный на Whisper от OpenAI. Ваши видеоматериалы не отправляются в облачный сервис транскрипции. Модель распознавания речи загружается один раз, и для этого нужен интернет. Покупки в App Store и проверки подписки тоже используют интернет.
  • Те же пять шаблонов. Basic, Highlighted, Highlighted with Background, Pop и Beast Pop. Шрифт, цвет и положение по-прежнему настраиваются.
  • Тот же аккуратный результат. Ваши титры возвращаются сгруппированными в один составной клип во вторичной сюжетной линии.
  • Та же модель оплаты. Приложение можно скачать бесплатно, шаблоны бесплатны. Для автоматических субтитров с ИИ нужна активная ежемесячная подписка. Актуальные цены смотрите на странице в Mac App Store.

Чего нет в этом обновлении

Чтобы вам не гадать: в 1.1.1 нет экспорта SRT и других файлов субтитров, нет синтеза речи и нет автоматической загрузки на YouTube. Поиск находит слова, а не картинки или смыслы, поэтому визуального и семантического поиска нет. И, как сказано выше, результат поиска не переходит к клипу.

Мы уже работаем над следующим обновлением. Ничего обещать о нём здесь не станем. Лучше сообщим, когда оно будет готово.

Установите, посмотрите, расскажите, что думаете

Чтобы обновиться, откройте Mac App Store и установите FCP AI-Toolkit 1.1.1. Страница в App Store теперь доступна на 10 языках и включает короткий ролик-превью.

Чтобы увидеть всё в деле, посмотрите ролик о запуске на YouTube. Наши первые видео — ролик о запуске и Shorts — вышли на YouTube и на Instagram в виде Reels. Мы есть и в TikTok. Если хотите узнать, как мы к этому пришли, загляните в запись о версии 1.0 и анонс 1.1 — они по-прежнему доступны.

Если что-то не работает в вашем проекте или у вас есть идея, пишите нам на help@fcp-aitoolkit.com. Реальный проект с реальной проблемой — лучший тест, который мы можем получить. Именно так мы нашли эти два бага.

Спасибо, что пользуетесь FCP AI-Toolkit.

FCP AI Toolkit

Powered by Soleach Digital Agency