Table des matières
Metalenz a acquis PxE Holographic Imaging, la startup israélienne à l’origine d’une couche optique appelée HoloCoder qui, selon la société de Boston, peut fournir jusqu’à 2,5 fois plus de lumière qu’un capteur d’image standard, a rapporté WIRED le 11 novembre dans une exclusivité. Les détails de l’accord n’ont pas été divulgués.
Le HoloCoder est une structure microscopique située directement au-dessus du capteur d’image. Plutôt que d’absorber les longueurs d’onde qu’il ne souhaite pas, il diffracte la lumière entrante, courbant les ondes vers les pixels qui devraient les enregistrer.
Le chiffre de 2,5 fois est celui revendiqué par Metalenz, et aucun test indépendant de la technologie n’a été publié. TechRepublic, qui a couvert l’acquisition le 13 novembre, a écrit que « Metalenz affirme que HoloCoder peut fournir jusqu’à 2,5 fois plus de lumière à un capteur d’image standard », et a déclaré que des tests réels sur smartphone sont toujours nécessaires.
Ce que jette le filtre de couleur
La pièce remplacée est le filtre Bayer, une couche rouge, verte et bleue située au-dessus du capteur et ajoutant de la couleur aux images. Il a été créé en 1974 et a peu évolué depuis.
Pour enregistrer un pixel rouge, le filtre bloque la lumière bleue et verte arrivant à cet endroit. Selon Metalenz, les filtres Bayer conventionnels absorbent environ 60 % de la lumière entrante avant qu’elle n’atteigne le capteur. Le réseau de filtres est l’une des couches couvertes dans ce guide du débutant sur l’appareil photo du smartphone.
Les fabricants de téléphones se sont appuyés sur la photographie informatique pour combler la différence. L’approche de Google en est un exemple : Pixel Night Sight prend jusqu’à 15 courtes expositions, les aligne sur une fraction de pixel et fait la moyenne du bruit pour créer une image utilisable dans l’obscurité proche.
Rob Devlin, directeur général et cofondateur de Metalenz, a déclaré à WIRED que le logiciel ne peut pas récupérer ce que les optiques rejettent. « Apple, Samsung, Google : tout le monde se bat chaque année pour améliorer la caméra visible, n’est-ce pas ? » » dit Devlin. « Une grande partie de ce qu’ils font consiste à investir des centaines de millions de dollars dans des logiciels pour tenter de les améliorer d’une manière ou d’une autre, mais l’inconvénient est qu’une fois les informations perdues lorsque vous absorbez toute cette lumière, vous ne pouvez pas vraiment les racheter, même si vous lancez tous les logiciels du monde dessus. »
La propre description de la technologie PxE faite par Metalenz exprime le gain en termes de rapport signal/bruit. Le site de la société indique que l’encodeur holographique de PxE « remplace le réseau de filtres de couleur, offrant une couleur et une profondeur simultanées avec un SNR 2,5 fois supérieur aux caméras Bayer ». Cette formulation est également celle de l’entreprise et aucune mesure tierce n’a été publiée.
Profondeur à partir d’un seul capteur
La deuxième chose que fait HoloCoder est de capturer des informations de profondeur 3D en même temps que la couleur, selon WIRED et TechRepublic. La plupart des smartphones calculent la distance entre l’appareil photo et le sujet à l’aide d’un appareil photo secondaire, d’un capteur de profondeur dédié ou d’une IA, c’est ainsi que le mode portrait décide de la profondeur à afficher.
La fusion de la détection de lumière et de la détection de profondeur en une seule couche supprimerait certains de ces composants, économisant ainsi de l’espace à l’arrière d’un combiné et réduisant la puissance de traitement nécessaire pour aligner les données de capteurs distincts.
Metalenz a été fondée en 2016 par Devlin et Federico Capasso, sur la base des recherches du Capasso Lab de Harvard, et est sortie furtivement en 2021 en tant que première entreprise à commercialiser des metalenses, des optiques plates à motifs de nanostructures plus petites qu’une longueur d’onde de la lumière. Grâce à un partenariat avec STMicroelectronics, les métalenses ont été livrées pour la première fois dans des appareils grand public en 2022. Plus de 300 millions de métasurfaces de l’entreprise sont aujourd’hui utilisées sur les marchés grand public, automobile et industriel.
Le HoloCoder n’en fait pas partie. Cela fonctionne comme une optique diffractive plutôt que comme une véritable métasurface, bien que Devlin ait déclaré que Metalenz avait déjà reproduit la technologie en laboratoire en utilisant sa propre optique métasurface. Il s’attend à ce que cela s’intègre dans la chaîne d’approvisionnement, le pipeline d’images et le travail d’apprentissage automatique que l’entreprise a déjà construit, et qu’il « perturbe complètement » le marché de la détection visible.
Devlin a décrit l’objectif à long terme comme une couche unique qui lit tout ce que la lumière transporte. « Il s’agit en réalité de rassembler toutes ces informations via une approche unique », a-t-il déclaré. « Nous réaliserions une conception de métasurface dans laquelle, à partir d’un seul capteur d’image, vous obtiendriez toutes les informations contenues dans la lumière : vous obtenez la polarisation, vous obtenez la couleur sans filtrage et vous obtenez ce canal de profondeur. C’est comme si un seul capteur pouvait les gouverner tous. »
Non prouvé, et pas dans n’importe quel téléphone
Pour l’instant les deux technologies restent distinctes. Devlin a déclaré qu’il s’agirait de produits distincts pour différents marchés, avec une éventuelle fusion en un seul système Metalenz à long terme. Les autres travaux de la société incluent Polar ID, un système d’authentification faciale pour Android construit avec Qualcomm qui lit les données de polarisation et qui est attendu sur les appareils grand public fin 2027. Cette date s’applique à Polar ID, pas au HoloCoder.
Concernant le HoloCoder, Devlin a déclaré à WIRED qu’il s’attend à ce qu’il puisse être utilisé dans l’électronique grand public dès la fin de 2027 ou le début de 2028. Aucun fabricant n’a été nommé client et aucun téléphone n’utilise cette couche.
Metalenz n’est pas la seule entreprise à travailler sur ce problème. Arka Majumdar, qui étudie l’optoélectronique à faible consommation d’énergie à l’Université de Washington, a déclaré à WIRED que Samsung et une startup appelée Eyeo recherchaient leurs propres alternatives aux filtres Bayer, connues sous le nom de routeurs couleur.
« C’est un réel problème dans le sens où, dans le filtre coloré, vous perdez beaucoup de lumière », a déclaré Majumdar. Il a reconnu que la suppression du filtre peut améliorer considérablement la photographie sur smartphone dans des conditions de faible luminosité.
Il était moins convaincu par le discours en faveur de la robotique et des voitures autonomes, que Devlin a qualifié de catégories transformationnelles pour la technologie. Les véhicules disposent de beaucoup d’espace pour monter des caméras stéréo ou des lidar, a déclaré Majumdar, et leur goulot d’étranglement réside dans la puissance de calcul nécessaire pour prendre des décisions en une fraction de seconde plutôt que dans une faible luminosité ou une clarté d’image.
« En fait, on peut soutenir que si vous obtenez de meilleures données, la situation est pire », a-t-il déclaré.
