В NVIDIA уже научились профессионально подделывать видео с помощью методов машинного обучения, а теперь инженеры компании взялись за фотографии. Новая система искусственного интеллекта умеет не только убирать лишние объекты из кадра, но и восстанавливать изображение, добавляя недостающие детали на «замазанных» участках.

Как это работает?

Инструмент Deep Fill напоминает функцию заливки с учётом содержимого в Photoshop, но вариант NVIDIA — это качествнно новый уровень. По словам авторов проекта, аналоги обычно фокусируются на обработке прямоугольных фрагментов ближе к центру картинки. Новая система анализирует всё изображение, а потому может работать с дефектами любой формы и размера, независимо от расстояния до границы. Для обучения ИИ команда использовала более 55 тысяч шаблонов, в соответствии с которыми на фото удаляли случайные области.

Слабым местом алгоритмов остаются «свободные» структуры с большим расстоянием между элементами. Например, воссоздать форму здания им не всегда удаётся. Зато с книжными полками и восстановлением лиц они неплохо справляются. И даже могут убрать парочку морщин: