Нейросеть научилась создавать изображения по ключевым словам

Группа разработчиков компании Microsoft представила состязательную нейросеть, которая умеет создавать изображения при помощи ключевых слов и небольшого текстового описания. Препринт об их разработке опубликован на arXiv, подробности рассказывает N+1.

Разработчики во главе с Сяодуном Хэ создали порождающую состязательную нейросеть (GAN – generative adversarial networks). В основе такой программы лежат генератор и дискриминатор. Первый отвечает за создание новых объектов, второй оценивает принадлежность нового элемента к обучающей выборке. Такой алгоритм позволяет нейросетям создавать произведений искусства и превращению эскизов в реалистичные портреты.

Главное отличие нейросети Microsoft от аналогичных разработок в том, что она может обращать внимание на детали, оценивать каждое заданное слово, чтобы на их основе создавать подробное изображение с точными характеристиками.

Новая нейросеть превосходит предыдущие алгоритмы в точности примерно в два раза. Разработчики доказали, что ключевые слова для машинного обучения позволяют значительно улучшить конечный результат.

В начале января 2018 года исследователи из Киотского университета разработали нейросеть, которая способна воспроизводить изображения, которые видел человек на основе его мозговой активности. В рамках эксперимента ученые показывали трем его участникам изображения и с помощью функциональной магнитно-резонансной томографии считывали мозговую активность.

После обучения нейросети удалось воссоздать изображения букв, геометрических фигур и предметов. Визуально более лучшие результаты были показаны при воссоздании простых объектов.