Вышел FCP AI-Toolkit 1.1.1: версия 1.1 плюс два исправления
Версия 1.1.1 уже в Mac App Store: Smart Cache, редактирование субтитров, Smart Search и около 100 языков. Дополнительная цифра «.1» — это два бага, которые мы успели исправить вовремя.
FCP AI-Toolkit 1.1.1 доступен в Mac App Store с 30 сентября. Если у вас версия 1.0, это ваше обновление. Откройте Mac App Store и обновитесь, как обычно.
Этот релиз посвящён одному: возвращаться к монтажу, не начиная всё заново. Вы пробуете другой стиль, подрезаете вступление, исправляете имя, удлиняете клип. Субтитры поспевают за вами, а не начинаются каждый раз с нуля.
Постойте, что случилось с 1.1?
Справедливый вопрос. 22 сентября мы опубликовали анонс под названием Скоро в 1.1. Версия 1.1 была готова и проверена. Ей оставалось только дождаться ролика о запуске.
Затем, 25 сентября, мы провели последний раунд тестов на реальных проектах Final Cut Pro. Несколько клипов, отсоединённый звук — тот самый беспорядок, который бывает в настоящем монтаже. Обнаружились два бага. Мы исправили оба в тот же день.
Мы могли бы выпустить 1.1 и исправить всё позже. Мы предпочли сначала починить сборку и дать ей новый номер. Так что 1.1.1 — это просто 1.1 плюс два исправления. Функции в точности те, что описывал анонс, а дополнительная цифра «.1» означает два бага, которые мы поймали раньше, чем вы с ними столкнулись.
Мы отправили 1.1.1 в Apple 27 сентября, а 30 сентября она вышла. Никто не пропустил версию: публичной 1.1 никогда не было. Если у вас 1.0, вы сразу обновляетесь до 1.1.1.
- Выходит версия 1.0
- 1.1 анонсирована и ждёт ролика к запуску
- Последний тест выявил две ошибки, обе исправлены в тот же день
- 1.1.1 отправлена на проверку в Apple
- 1.1.1 доступна в Mac App Store
Первое исправление: субтитры, которые накладывались друг на друга
Когда вы нажимаете Analyze, расширение расшифровывает каждый диалоговый клип на таймлайне отдельно, а затем объединяет результаты. В некоторых проектах из-за этого могла получиться одна и та же фраза дважды или субтитры, наложенные друг на друга. Мы нашли три причины:
- Подрезанный клип. Вы обрезали начало клипа на таймлайне, но речь из скрытой, обрезанной части всё равно могла попасть в субтитры.
- Два клипа с одной и той же речью. Например, звук с камеры и отдельный микрофон, оба помечены как диалог. Одни и те же слова могли появиться дважды.
- Сама модель распознавания речи. Whisper иногда возвращает строки, которые немного перекрываются.
Само по себе это досадно. Но в 1.1.1 появился ещё и редактор субтитров, и он ведёт себя разумно: отклоняет любое изменение времени, из-за которого субтитр наложился бы на соседний. Когда дубликаты уже перекрываются, любое ваше исправление было бы отклонено. Вы бы застряли с редактором, который казался заблокированным.
Вот что происходит теперь:
- Субтитры каждого клипа обрезаются по той части клипа, которую вы действительно видите на таймлайне, без разрезания слов пополам.
- Дублирующаяся речь объединяется в один субтитр.
- Оставшиеся перекрытия аккуратно разделяются.
- Субтитры, сохранённые до исправления, автоматически восстанавливаются при загрузке.
А ещё появилась новая кнопка удаления у каждого субтитра. Если какая-то фраза вам просто не нужна, удалите её. В следующий раз она не вернётся.
Второе исправление: звук оказался не там, где мы думали
Это касается звука, отсоединённого от видео или находящегося на присоединённом клипе. Частый случай — звук с отдельного рекордера, прикреплённый к основному клипу.
В таких проектах расширение могло неверно считывать позиции на таймлайне. В одном из наших тестовых проектов отсоединённый звук был длиннее видео. Расшифровывалась только длина видео, а два источника находились на расстоянии 1,6 секунды друг от друга. Субтитры уезжали из синхронизации.
Теперь позиции вложенных и присоединённых клипов вычисляются правильно. Присоединённый клип измеряется по собственной сюжетной линии, а не обрезается до длины клипа, к которому он прикреплён. Изображение видеоклипа больше не принимается за источник звука. А аудиороли, отключённые клипы и выключенные аудиоканалы учитываются.
Оба исправления пришли из одного места: из реальных проектов. Мы рады, что проверили на них ещё раз.
Smart Cache: не начинайте заново
Smart Cache помнит на вашем Mac, что уже было расшифровано.
Представьте. Вы сделали субтитры для интервью, и всё устраивает. Затем клиент просит добавить ещё десять секунд в конце. Вы удлиняете клип на таймлайне и снова нажимаете Analyze. Через Whisper проходит только новая, ещё не расшифрованная часть. Остальное уже готово.
Запустите тот же клип снова, с тем же языком и той же моделью, и субтитры появятся мгновенно. Это помогает, пока монтаж ещё меняется: пробуйте другой стиль, запускайте заново, подрезайте, удлиняйте — не начиная проход субтитров с нуля.
Smart Cache включён по умолчанию. В расширении есть переключатель, если вы хотите его выключить. Первый запуск клипа по-прежнему занимает столько времени, сколько занимает, — это зависит от вашего Mac, клипа и модели. Smart Cache помогает при втором запуске, а не при первом.
Исправьте субтитр, прежде чем он попадёт на таймлайн
Даже хорошая модель распознавания может написать имя вашего гостя по-своему. Теперь вы можете исправить имя, знак препинания или целую фразу прямо в расширении, до того как титры попадут на таймлайн.
Ещё можно менять время начала и конца каждого субтитра. Редактор проверяет время по ходу работы. Он не принимает недопустимый диапазон и субтитр, перекрывающий соседний, так что небольшое изменение не сломает последовательность незаметно.
Ваши правки сохраняются на вашем Mac. Они возвращаются, когда вы снова открываете расширение или заново анализируете тот же материал. А новинка 1.1.1 — теперь можно удалить ненужный субтитр.
Smart Search: где я это говорил?
Вы помните, что говорили что-то про объектив, но не помните, в каком видео. Smart Search ищет по всем созданным вами субтитрам во всех клипах. Каждый результат показывает найденный текст, имя файла и таймкод.
Поиск видит и ваши исправления. Если вы исправили имя, найти можно именно исправленное имя.
Один честный минус: щелчок по результату не переходит к клипу в Final Cut Pro. Вы получаете имя файла и таймкод и переходите к месту сами.
Около 100 языков и Auto Detect
В версии 1.0 был список из 20 языков. Теперь в меню языков есть все примерно 100 языков из каталога моделей Whisper. Вверху — новый пункт Auto Detect. Если вы не уверены, на каком языке клип, или у вас разные языки в разных клипах, пусть он решит сам. Auto Detect тоже работает на вашем Mac, после загрузки модели.
Пожалуйста, прочитайте эту часть внимательно. Это число — охват языков моделью. Мы не проверяли качество субтитров отдельно на каждом языке. Точность субтитров зависит от языка, записи, говорящего и модели. Поэтому проверка субтитров остаётся частью работы на любом языке. С новым редактором это ещё и быстрее.
Небольшие окна
Расширение теперь помещается в небольшие окна Final Cut Pro, например на экране ноутбука. Область для добавления проекта, поиск и выбор шаблонов остаются доступными.
Что осталось прежним
- Транскрипция по-прежнему выполняется на вашем Mac. Мы используем WhisperKit, основанный на Whisper от OpenAI. Ваши видеоматериалы не отправляются в облачный сервис транскрипции. Модель распознавания речи загружается один раз, и для этого нужен интернет. Покупки в App Store и проверки подписки тоже используют интернет.
- Те же пять шаблонов. Basic, Highlighted, Highlighted with Background, Pop и Beast Pop. Шрифт, цвет и положение по-прежнему настраиваются.
- Тот же аккуратный результат. Ваши титры возвращаются сгруппированными в один составной клип во вторичной сюжетной линии.
- Та же модель оплаты. Приложение можно скачать бесплатно, шаблоны бесплатны. Для автоматических субтитров с ИИ нужна активная ежемесячная подписка. Актуальные цены смотрите на странице в Mac App Store.
Чего нет в этом обновлении
Чтобы вам не гадать: в 1.1.1 нет экспорта SRT и других файлов субтитров, нет синтеза речи и нет автоматической загрузки на YouTube. Поиск находит слова, а не картинки или смыслы, поэтому визуального и семантического поиска нет. И, как сказано выше, результат поиска не переходит к клипу.
Мы уже работаем над следующим обновлением. Ничего обещать о нём здесь не станем. Лучше сообщим, когда оно будет готово.
Установите, посмотрите, расскажите, что думаете
Чтобы обновиться, откройте Mac App Store и установите FCP AI-Toolkit 1.1.1. Страница в App Store теперь доступна на 10 языках и включает короткий ролик-превью.
Чтобы увидеть всё в деле, посмотрите ролик о запуске на YouTube. Наши первые видео — ролик о запуске и Shorts — вышли на YouTube и на Instagram в виде Reels. Мы есть и в TikTok. Если хотите узнать, как мы к этому пришли, загляните в запись о версии 1.0 и анонс 1.1 — они по-прежнему доступны.
Если что-то не работает в вашем проекте или у вас есть идея, пишите нам на help@fcp-aitoolkit.com. Реальный проект с реальной проблемой — лучший тест, который мы можем получить. Именно так мы нашли эти два бага.
Спасибо, что пользуетесь FCP AI-Toolkit.
Powered by Soleach Digital Agency