Создана камера с искусственным интеллектом, способная делать полноцветные фотографии в темноте

Мы все привыкли делать фотографии в темноте, полагаясь на маленькую вспышку нашего телефона, чтобы попытаться запечатлеть наше изображение ночью. Однако, как бы мы ни старались, большинство из нас не могут сделать хорошую фотографию в темноте. Дело в том, что большинство камер просто не предназначены для съемки в темноте. Тем не менее, ученые работают над новой камерой, которая использует искусственный интеллект именно для этого.

Камера использует искусственный интеллект, чтобы делать цветные фотографии в темноте

Люди плохо видят в темноте. В документе с описанием новой камеры, опубликованном в  журнале PLOS ONE , поясняется: «Некоторые системы ночного видения используют инфракрасный свет, который не воспринимается человеком, а визуализируемые изображения переносятся на цифровой дисплей, отображающий монохроматическое изображение в видимом спектре».

Далее в документе уточняется: «Мы стремились разработать алгоритм визуализации на основе оптимизированных архитектур глубокого обучения, с помощью которого можно было бы использовать инфракрасное спектральное освещение сцены для прогнозирования рендеринга сцены в видимом спектре, как если бы она воспринималась человеком с видимым зрением. Спектральный свет».

Далее в нем говорилось: «Это позволит в цифровом виде визуализировать сцену видимого спектра для людей, когда они в противном случае находятся в полной «темноте» и освещаются только инфракрасным светом».

Алгоритм является важной частью здесь, так как он реконструирует изображение с помощью нейронных сетей, алгоритма глубокого обучения, который предназначен для воспроизведения того, как учится человеческий мозг. Эти алгоритмы были обучены видеть корреляции между тем, как изображения выглядят в инфракрасном диапазоне, а также в видимом спектре.

Алгоритм использует нейронные сети

В документе говорится: «Мы… оптимизировали сверточную нейронную сеть с архитектурой, подобной U-Net [архитектура, предназначенная для обеспечения быстрой и точной обработки изображений], чтобы предсказывать изображения видимого спектра только из изображений ближнего инфракрасного диапазона. Это исследование служит первым шагом на пути к предсказанию человеческих сцен в видимом спектре на основе незаметного ближнего инфракрасного освещения».

На данный момент ученые признали, что это всего лишь «проверочное исследование с использованием печатных изображений с ограниченным контекстом оптического пигмента».

Профессор Адриан Хилтон, директор Центра обработки зрения, речи и сигналов (CVSSP) и Университета Суррея, сказал: «Человеческие лица, конечно, очень ограниченная группа объектов, если хотите. Это не сразу означает раскрашивание общей сцены. На данный момент, если вы примените метод, обученный на лицах, к другой сцене, он, вероятно, не сработает, он, вероятно, не даст ничего толкового».

В интервью  New Scientist он сказал: «Я думаю, что эту технологию можно использовать для точной оценки цвета, если количество и разнообразие данных, используемых для обучения нейронной сети, будет достаточно большим для повышения точности».

Цвет воссоздается алгоритмом