face swap что это такое

Как работает FaceSwap?

Сегодня мы, команда Sber AI, расскажем про различные подходы к FaceSwap с помощью нейросетей. Также мы хотим разобраться, какие у разных подходов есть преимущества и недостатки? И главное — как же все это работает?

Что такое FaceSwap и как он появился?

Сам по себе faceswap является просто идеей переноса лица одного человека на фото или видео вместо лица другого человека. В самом переносе лиц нет ничего нового — технология, осуществляемая в кино уже многие годы. Однако она требует специалистов видеомонтажа, а также довольно больших ресурсов. Но можно ли осуществить faceswap как-то дешевле, быстрее и не имея навыков видеомонтажа?

Короткий ответ — да. С развитием компьютерного зрения в последние годы также появился и довольно большой интерес к осуществлению faceswap с помощью нейросетей, ведь эта технология имеет множество применений, как позитивно влияющих на общество — для ускорения процесса работы видеомонтажа в том же кино или хотя бы просто в качестве развлечения, так и негативно — для создания фейковых видео с политиками или другими известными личностями.

В данной статье мы расскажем поподробнее про то, как эта технология работает и какие сейчас существуют подходы.

Как работает Face Swap?

Первые подходы

Одним из первых является подход (посмотреть код можно, например, здесь), под которым лежит довольно простая идея автоэнкодеров. Автоэнкодеры — это нейросети, которые состоят из двух частей — encoder и decoder. Первый сжимает изображение в низкую размерность, называемую скрытым представлением или латентным кодом, а второй разжимает обратно и пытается получить такую же картинку, какая была на входе у энкодера. Если таким образом обучить сеть, то получится, что скрытое представление довольно хорошо описывает признаки изображения.

В данном подходе к переносу лица предлагается обучить два автоэнкодера — для первого человека, которого мы хотим перенести, и для второго, на которого будет осуществляться перенос. Причём энкодер у них будет общий, а декодеры разные. Обучать мы будем очень просто, разве что иногда будем добавлять во входные картинки некоторые искажения, чтобы не дать сеткам переобучиться.

Допустим, мы обучили автоэнкодеры и теперь хотим заменить первого человека на изображении на второго. Тогда всё, что нам останется сделать — прогнать картинку с лицом первого человека через энкодер и отдать полученное скрытое представление декодеру, который обучался на втором человеке. Интуиция тут такая: так как энкодер у них общий, то он научился кодировать в векторе довольно общую информацию про то, куда смотрит взгляд человека, какое у него выражение лица и т. д., а каждый из декодеров уже обучен, чтобы использовать эту информацию для восстановления итогового лица. Так что осуществив такую операцию, мы получим лицо второго человека с тем же выражением, взглядом и другими деталями, как на оригинальной фотографии.

Полностью процесс будет выглядеть примерно так:

А что сейчас?

Пожалуй, State-Of-The-Art среди подходов, основанных на этой идее, на данный момент является DeepFaceLab (статья, github). В данной работе авторы развивают идею, указанную выше, а также добавляют много других возможностей для более качественного переноса — дополнительные функции потерь при обучении, немного видоизменённая архитектура, дополнительные аугментации и многие другие параметры.

Одним из самых известных примеров работы данной модели является перенос лица Тома Круза на другого человека.

Однако надо понимать, что эта работа не является результатом чистого переноса лица с помощью нейросетей, а всё же выступает результатом большого труда и множества факторов: изначальная похожесть актёра на Тома Круза, огромное время обучения моделей, большое количество материалов с лицом Круза, а также покадровая постобработка видео для улучшения качества итогового переноса.

Какие ограничения у такого подхода?

Несмотря на практически безграничные возможности по качеству, у данного подхода есть несколько существенных минусов:

Поэтому, несмотря на все достоинства такого переноса, у него есть существенные ограничения. Хочется, чтобы подход работал быстро, не требовал дообучения модели каждый раз, когда мы захотим применить перенос, а также чтобы он работал только по одному изображению человека для переноса вместо длинного видео. К счастью, такие подходы тоже есть!

Подходы, основанные только на одном фото

First Order Motion Model / Motion-supervised Co-Part Segmentation

Пожалуй, одним из самых заметных подходов, работающих на одном фото, является подход FOMM, а также его развитие — Motion CoSegmentation. В первой статье речь шла не о переносе, а в первую очередь об оживлении лица человека по заданному примеру.

Во второй статье модель идейно не сильно изменилась, но уже была заточена именно под перенос. Идея данной модели не в том, чтобы сгенерировать новый кадр с нуля, а чтобы в некотором смысле перевести один кадр в другой, используя выучиваемые карты сегментации и аффинные преобразования. В качестве тренировочных данных был использован набор из большого количества видеороликов, и процесс обучения был построен на кадрах из одного видео, где с помощью модели авторы пытались перевести один кадр в другой. Данная модель имеет открытый код, однако, не сказать, что имеет очень хорошее качество работы — модель очень плохо справляется с поворотами лица, к сохранению узнаваемости лица после переноса тоже есть вопросы.

Few-Shot Adversarial Learning of Realistic Neural Talking Head Model

В основе данной модели лежит использование точек лица для генерации. А также это первая статья из тех, что мы сегодня рассмотрим, которая использует подход, основанный на генеративно-состязательных сетях, обычно называемых GAN. Если коротко, то основная идея таких сетей состоит в том, что у нас есть две сети — генератор и дискриминатор. Генератор учится генерировать реалистичные изображения, а дискриминатор пытается научиться отличать сгенерированные изображения от настоящих. В итоге они играют в такую игру, где генератор пытается переиграть дискриминатор, а дискриминатор пытается не дать себя обмануть.

В данной статье также используется loss, основанный на дискриминаторе, а основной пайплайн модели выглядит так:

Как эта, так и предыдущая статьи обучались на большом наборе видео, каждое из которых потом нарезалось на кадры.

Подход показывал довольно хорошие результаты на момент публикации и, на мой взгляд, в нём используется довольно интересная идея. Но, к сожалению, он не имеет открытого кода, а качество работы хуже, чем у лучших современных моделей.

FaceShifter

Для начала разберёмся с тем, как работает AEI-Net — модель, осуществляющая основную часть переноса. Пусть — это изображение, откуда мы хотим взять лицо для переноса, а — это изображение, куда мы это лицо переносим. Тогда общий пайплайн выглядит так:

Обучаться такой зверь будет суммой сразу нескольких лоссов:

На самом деле, модель получается идейно чем-то похожая на предыдущую, но теперь мы используем предобученный SOTA декодер, чтобы достать признаки из лица для переноса, а также никак не используем точки лица в принципе.

Также в статье приводится вторая архитектура — HEAR-Net. Интуиция за ней такая, что некоторые объекты на , которые закрывают лицо — руки или какие-то небольшие детали вроде капель, могут плохо сохраняться. А поэтому давайте подскажем нашей модели, где она ошибается, и пусть она доделает перенос. Работает модель следующим образом:

Обучать будем довольно просто — опять возьмём identity лосс, а также лосс реконструкции и добавим к ним , который будет отвечать, чтобы картинка не слишком сильно менялась (, была похожа на ).

Обучение тут построено так, что сначала отдельно обучается AEI-Net, а потом уже поверх неё обучается HEAR-Net. Для обучения таких моделей используются довольно большие датасеты с изображениями лиц — от нескольких сотен тысяч до нескольких миллионов изображений. А также требуется некоторое количество времени — как минимум несколько дней обучения на Tesla V100. К сожалению, у статьи нет оригинального кода, но есть ряд открытых реализаций.

Однако результат себя оправдывает: в итоге мы получаем модель, которая без какого-либо дообучения умеет переносить лица с одного изображения на другое (для видео это работает так же — просто используем перенос покадрово) с довольно хорошим качеством, которое уже не так заметно уступает подходу DFL.

Вот результаты авторов, которые они показывают в статье.

А вот пример переноса лица Илона Маска на кадры из «Кавказской пленницы» с использованием одной из наших версий данной модели.

SimSwap

Последняя модель, про которую я бы хотел сегодня поговорить, — это модель из статьи SimSwap, для которой также есть официальная реализация кода на гитхабе. Это довольно новая статья, которая появилась только в этом году, хотя уже приобрела некоторую популярность в сообществе (в том числе благодаря открытому коду для переноса, код для тренировки модели пока отсутствует, но авторы обещают скоро его выложить). На самом деле, идейно модель довольно сильно похожа на FaceShifter, однако тут авторы ушли от использования двух моделей и остановились только на одной общей модели.

Пайплайн модели также очень похож:

Для обучения здесь также используются вариации identity лосса, reconstruction лосса и GAN лосса, однако вместо лосса атрибутов используется нововведение данной статьи — Weak Feature Matching Loss, который сравнивает выходы на последних слоях дискриминатора для и .

Модель показывает довольно хорошее качество переноса, однако ориентируется на то, чтобы итоговое изображение было скорее похоже на , чем на . Сравнивать с FaceShifter по качеству довольно непросто — каких-то стабильных метрик, которые все используют, для данной задачи нет, но по тем, что использовали авторы — в статье показываются сравнимые результаты, используя только одну модель вместо двух.

Вот пример работы модели (для большего количества примеров можете поизучать гитхаб):

Если говорить про само обучение, то и для FaceShifter модели и для SimSwap необходимо большое количество изображений лиц. В качестве данных использовались датасеты: CelebA HQ (30 тысяч лиц селебрити 1024х1024), FFHQ (70 тысяч лиц обычных людей 1024х1024), VggFace и VggFace2 (большие датасеты с более чем миллионом изображений лиц людей разного разрешения в естественной среде). Обе эти модели требуют тонкой настройки во время обучения, которое занимает как минимум несколько дней и требует больших вычислительных ресурсов. Зато после обучения модели показывают довольно хорошее качества переноса, быстро работают и не требуют дообучения для работы с новыми личностями.

Заключение

В данной статье мы постарались охватить все основные методы FaceSwap, основанные на нейросетях, которые есть на текущий момент. В Сбере мы также занимаемся этой задачей — более подробно про наши эксперименты мы расскажем в следующих статьях. Однако, если вам интересно, то попробовать некоторые из наших моделей, и не только по faceswap, вы можете уже сейчас, воспользовавшись ссылкой.

Команда: Даниил Чесаков Danyache, Денис Димитров ddimitrov

Источник

Отличия от программы FakeApp.org:

+ протестировано на чистых Windows 7 и Windows 10. Программа зависит только от: последних драйверов на nvidia видеокарту, cuda 8.0 (ссылка есть в инструкции), vc redist 2015 2017 (приложено в раздачу).

+ быстрее загружается, т.к. нет каждый раз распаковки 1Гб в temp

+ лучше выборка лиц, меньше артефактов

+ быстрее тренировка, т.к. жарит GPU на всю катушку, по графикам нагрузки нет прогалов в GPU Usage, температура 78C против 65C на FakeApp.

+ лучше результат наложения. Там где в FakeApp получалось мерцающее лицо, в FaceSwap почти не мерцает.

+ отсутствие логотипа FakeApp в финальном результате

+ в раздаче уже содержится тестовое видео, чтобы получить такой результат: Старк на Шиве

— обновление preview окна не частое

— кому-то покажется недостатком отсутствие графического интерфейса

Прошу на заблокированный. Раздача будет обновляться по мере поступления новых фиксов от разработчиков.

Я не поверю. Это всё нейросети.

А более техническое описание внесенных изменений можно? А то немного напоминает новость «школьник сделал линукс»

Роберт Дауни младший курильщика.

Тут уже пора облачные сообщества по расчётам делать, по типу клауд майнинга.

Там Кейдж должен был быть.

Еще бы цветокоррекцию туда тогда до кучи)

ну где новые качественные порнофейки?

Хм.. Заказы кто нибудь принимает? 😀 Друг интересуется.

я так понимаю на gtx1060 с 3gb не потянет только от 4х?

Здравствуйте, Автор. У меня вопрос. Возможно ли сделать так, что бы менять лица не на видео, а на фотографии?

Короче это треш.
Скачал, пол часа ковырялся, всё по инструкции и ничего не работает.
Куча батников и интрукция просто мерзотнейшая
Лучше буду юзать оригинал, клон говно.

Уже второй раз сталкиваюсь.При вырезке лиц в aligned не появляется часть фотографий.Вот сейчас,допустим,он начал с 8 фотографии и в середине пропстил штук 50.При чём я пытался разными способами. Неподскажешь,как исправить?

Вопрос, а нейросеть учиться только на одной человеке. Ну скажем сделали видео с одним человеком, делает следующее, предыдущие наработки используют или она учиться каждый раз по новому?

«Астрологи предсказывают множество «посадок» в российских судах, с использованием фейкового видео в качестве доказательств.»

Вот как так-то? Только недавно купил себе GTX780 с 3Gb. Думал хватит на год-другой. А тут вот оно что. Говорит, что свободной памяти 2,37Gb и уходит в ошибку out of memory.

У меня 8 видеокарт. Есть возможность параллельной работы?

Не вижу на гитхабе удобных батников

У меня лицо не «вырезает» 🙁

Нейронные сети научились удалять людей с видео

Пару лет назад довольно активно обсуждалась тема deep fake. Технологии, позволяющей заменять лица одних людей на видео другими. Но в том время технология была сырая, даже невооружённым взглядом можно было заметить неестественность изображения. Плавающие контуры лица, искажения пропорций, неестественная мимика и многое другое. Некоторым людям доводилось сделать довольно реалистичные deep fake на небольших отрезках видео, но в какой то момент всё равно вылезала неестественность.

Никаких резких скачков в этой области долгое время не было, поэтому разговоры понемногу сошли на нет. Но данное направление никто не забрасывал и различные группы исследователей и инженеров продолжали работу в этом направлении. И вот в этом году группа исследователей из Оксфорда, Института Вейцмана и Google Research представили систему ансамбля нейронных сетей, способных определять на видео не просто контуры отдельных объектов, но и последствия любых контактов этих объектов с окружающим миром. Поднятую пыль, тени, задетые объекты, даже поднятую рябь на воде. И этот ансамбль нейросетей способен не только всё это определять, но и удалять с видео. Ниже прикрепляю оригинальное видео, представленное авторами разработки.

Поскольку оригинальное видео полностью на английском и в нём описываются лишь базовые особенности работы нейросетей, я также записал видео на русском. В нём я подробнее и простым языком постарался разобрать как саму разработку, так и те принципы, по которым работают нейросети, входящие в ансамбль.

При этом стоит заметить, что данная нейросеть работает абсолютно автономно. И обрабатывать различные видео она способна в «промышленных» масштабах. Есть у неё конечно и ряд ограничений, так что не стоит бояться, что уже завтра можно будет удалить кого угодно с любого видео.

С другой стороны, от появления сетей, которые могли очень криво заменять лица людей, до появления систем, способных практически бесследно удалить любой движущийся объект с видео прошло всего пару лет. И кто знает, чему научатся сети ещё лет через 5-10.

Идеальный дипфейк Моргана Фримена

Датчане из коллектива DiepNep сделали прекрасное видео с Морганом Фрименом. Вот только это совсем не он, а дипфейк. Имитация с помощью современных нейросетей. Даже голос идеально сделан. Ироничный текст, где он спрашивает, что такое реальность. Сделал перевод!

Я хотел бы поприветствовать вас в эпоху синтетической реальности.

Что ты видишь теперь?

Что нас ждет лет через 5, когда такие штуки научатся делать не группы программистов-энтузиастов, а приложения на телефоне?

p.s. нашел у них на фейсбук, что голос таки сделала не нейросеть, а некий Boet Schouwink
вот цитата «Freeman’s voice imitation is done by the incredibly talented Boet Schouwink.»

p.p.s. знаю что боян, но в других постах текста не было, только сам видос

Британский стартап выпустил программу, позволяющую изменять мимику актеров в кино. Так, чтобы она совпадала с дубляжом

Британская компания Flawless выпустила программу TrueSync, которая с помощью машинного обучения синхронизирует дубляж с мимикой актеров. Это значит, что движения губ и лицевых мышц людей на экране будут совпадать с тем, что говорят актеры озвучания. Нейросети сами проанализируют мимику актеров и подстроят под дубляж, заменив их лица на дипфейк. Выглядеть это будет так, будто, к примеру, Роберт Де Ниро изначально во время съемок произносил свои реплики на немецком, а не на английском, как показано в проморолике TrueSync.

Просто взгляните, как это выглядит:

В Китае с помощью сгенерированных изображений аферисты набрали невозвратных кредитов на десятки миллионов долларов

В Китае новый вид мошенничества, который только набирает обороты, но уже позволил похитить из банков десятки миллионов долларов. Виной всему цифровой прогресс.

Популярнейшая технология распознавания лиц, которую глубоко внедрили во все сферы жизни, дала пищу аферистам. Вопрос, который их волновал «а что если для получения кредита использовать несуществующее случайно сгенерированное лицо», ответ был найден быстро.

Старая как мир история: некто обманул государство на десятки миллионов долларов. Но дело не в том, что обманул, а в том, как обманул. Аферисты обогатились, взломав легендарную китайскую систему распознавания лиц. Власти делятся информацией неохотно: Китай стал первым государством, пострадавшим от монстра, которого сам породил.

Системы распознавания лиц здесь повсюду. Чтобы войти в банк, офис или просто во двор, часто не нужны документы, достаточно лица. Система его считает даже в маске, дверь откроется автоматически.

Если есть система, то всегда найдутся желающие ее взломать. Китайский интернет наводнен роликами, где граждане пытаются открыть замки, подставив под око камеры фотографии вместо лиц. Но замки — это детский лепет. Есть более серьезные вещи: технология Face ID в Китае вовсю используется для подтверждения банковских операций и оплате налогов. Этим, уже по-взрослому, и воспользовались аферисты.

– Они создали большое количество автоматически сгенерированных нейронной сетью несуществующих фотографий лиц несуществующих людей. И с помощью технологии дипфейк они смогли их оживить и создать для них несуществующие счета. На протяжении нескольких лет они смогли получить кредиты и в общей сложности около ста миллионов долларов они смогли украсть. Это первое злоупотребление такого рода технологиями, – комментирует Олег Кивокурцев, директор компании по производству сервисных роботов.

Что такое технология дипфейк? Говоря простым языком, это возможность с помощью нехитрых компьютерных манипуляций создать одно лицо из другого. Или заставить, скажем, известных китайских мужчин петь женским голосом. Или даже научить петь кота.

Подобными приложениями активно балуются пользователи соцсетей. Но то забавы ради. Другое дело, когда инструмент попадает в руки людей с дурными намерениями. В США женщина применила технологию дипфейк, чтобы скомпрометировать конкуренток своей дочери, девушек из группы поддержки одной из спортивных команд. Она рассылала интимные видео якобы с их участием. Все было настолько реалистично, что подделку распознала только полиция. И таких случаев все больше.

Китайцев возможность манипуляций с фото и видео беспокоит давно, уже больше года за такое предусмотрена уголовная ответственность, а на местном телевидении один за другим выходят репортажи, как уберечься от мошенников. Имидж еще ладно, но как сохранить деньги?

– С точки зрения противодействия самый, на мой взгляд, эффективный метод – это так называемая двухэтапная идентификация, когда помимо того, что есть изображение, вы подтверждаете действия либо цифровым кодом, либо смс ответным, ну то есть, чтобы ваши операции, связанные с деньгами, предполагала минимум два действия, потому что если вы оставите только одно действие, ну, например, там не знаю, скан с отпечатками пальцев или изображение, то мошенники, используя вот эту методику, могут ее обойти, – говорит Дмитрий Смиркин, IT-специалист.

Все происходящее, конечно, сильный аргумент в пользу того, чтобы держать платежные пароли только в голове, а важные данные записывать от руки на бумажку и класть в сейф. Но прогресс остановить невозможно. Цифровые технологии будут с нами, хотим мы того или нет. Тем важнее наша собственная осмотрительность.

Источник