Qualcomm объединяется с Prophesee, чтобы улучшить мобильную фотографию
Французский стартап Prophesee объединился с Qualcomm для разработки нового типа датчика изображения, который, по их словам, позволит смартфонам снимать и буквально «замораживать» быстрые действия лучше, чем все существующие камеры на данный момент.
Многолетнее соглашение позволит Qualcomm внедрить технологию Prophesee в свои чипы. Qualcomm не производит датчики изображения, поэтому вместо того, чтобы заменить существующие датчики, которые уже поставляются другими брендами, технология будет начинать работать в момент съемки, чтобы справиться с движением и изменениями освещения.
При съемке на телефоны трудно запечатлеть спорт и быстрые действия без некоторого размытия во время движения. Съемка при слабом освещении также часто приводит к размытым результатам. Парижский стартап утверждает, что исправит эту ситуацию, разбивая изменения в сцене попиксельно.
Идея заключается в том, чтобы снизить энергопотребление, задержку и обработку данных, необходимых для того, чтобы традиционные датчики обрабатывали невидимые пиксели. Датчики и алгоритмы Metavision компании Prophesee должны имитировать работу человеческого глаза и мозга для устранения размытости движения и артефактов изображения.
В датчик Metavision встроено логическое ядро, которое позволяет ему действовать как нейрон. Prophesee называет каждый пиксель, который активируется при этом, «событием». Когда пиксели активизируются, они интеллектуально и асинхронно определяют количество фотонов под влиянием динамики сцены. Чтобы предотвратить размытие, датчик на основе «событий» синхронизируется с покадровым захватом изображения и «заполняет промежутки между кадрами и внутри них микросекундными событиями, чтобы алгоритмически извлечь чистую информацию о движении и устранить размытие».
Этот процесс фокусируется только на изменениях в сцене с чрезвычайно высокой скоростью. Он не делает ничего, что касается обработки или композиции, поскольку игнорирует пиксели, которые не показывают никакого движения, чтобы не вмешиваться в то, как датчик изображения внутри смартфона захватывает изображение. В результате должно получиться высококачественное изображение, которое замораживает движение, но при этом не теряет ни одного программного вычисления со стороны телефона.
Пока неясно, что планирует сделать Qualcomm и когда она внедрит технологию Prophesee Metavision, основанную на «событиях», хотя, скорее всего, она будет использоваться в чипсетах Snapdragon, которые используются во многих смартфонах на ОС Android.
Также неясно, будет ли эта технология работать со всеми фотографиями, сделанными в приложении камеры, включая ручную съемку, съемку с высоким разрешением и RAW-изображения, или же она потребует от телефонов активировать ее в определенном режиме. Prophesee заявляет, что выпустит девкит, совместимый с ее сенсорными технологиями, где-то в 2023 году.