Инженер Бьорн Карманн разработал камеру, которая не фотографирует, а генерирует изображение по текстовому описанию того, что вас окружает. Подробностями он поделился на своем сайте.
Устройство получило название Paragraphica и внешне похоже на старую пленочную камеру, правда, без матрицы и привычного объектива. Девайс создает изображения на основе данных о текущем местоположении, погоде, температуре, времени суток и близлежащих местах. Все это Paragraphica собирает из доступных открытых источников. За генерацию изображения отвечает нейросеть Stable Diffusion.
Составленный камерой текстовый промт всегда можно увидеть на 15-дюймовом сенсорном экране в задней части корпуса. Сверху у камеры есть три поворотные ручки — с их помощью можно задать радиус области, в которой происходит поиск данных о месте съемки, а также вариативность результата и «размытость» изображения.
Вместо объектива на устройстве установлена декоративная конструкция, напоминающая кожные наросты на морде звездоноса. Это животное семейства кротовых невосприимчиво к свету, а свою картину мира создает как раз при помощи таких «антенн».
Полученная «фотография» — это не просто снимок, а сложное и детализированное отражение места, в котором вы находитесь, и, возможно, того, как модель ИИ «видит» это пространство. Интересно, что фото запечатлевают некоторые настроения и эмоции, но никогда не выглядят точно так же, как место, в котором мы были.
Бьорн Карманн
Создатель Paragraphica
Корпус камеры Карманн напечатал на 3D-принтере, а внутрь поместил одноплатный компьютер Raspberry Pi 4. Обмен данными между устройством и несколькими API-интерфейсами для создания промта инженер настроил при помощи платформы Noodl.
Кроме физической камеры, Карманн создал и ее виртуальный вариант. Его можно опробовать на сайте проекта (инженер предупреждает, что сейчас трафик очень большой, поэтому опция может быть недоступна).
А ниже несколько примеров того, как работает устройство
Промт: фото, снятое в полдень в De Noorderlaaik, Twiske. Погода облачная с прояснениями, температура 20 градусов. Дата — 28 мая 2023 года. Рядом пляж и природный заповедник
1 из 3
Промт: фото, снятое вечером на улице Вестерстраат в Амстердаме. Погода ясная, температура 14 градусов. Дата — День короля-2023 (мероприятие). Рядом рестораны, бары и продуктовые магазины
2 из 3
Промт: фото, снятое в полдень на улице Клиффордстраат в Амстердаме. Погода облачная с прояснениями, температура 18 градусов. Дата — 24 мая 2023 года. Рядом парковка и студия йоги
3 из 3