Gadgets

L’avenir de la photographie est le code

Que mettre dans un appareil photo? Un objectif, un obturateur, sensible à la lumière, de la surface et, de plus en plus, un ensemble d’algorithmes très élaborés. Tandis que les éléments physiques sont encore à améliorer peu à peu, Google, Samsung et Apple sont de plus en plus à investir dans (et présentation) améliorations forgé entièrement à partir de code. Calcul de la photographie est la seule véritable champ de bataille maintenant.

La raison de ce changement est assez simple: les Caméras ne peuvent pas obtenir trop beaucoup mieux qu’ils ne le sont maintenant, ou au moins pas sans une certaine extrêmes des changements dans la façon dont ils travaillent. Voici comment les fabricants de smartphones ont frappé le mur de la photographie, et la façon dont ils ont été forcés de sauter par-dessus.

Pas assez de seaux

Un capteur d’image que l’on pourrait trouver dans un appareil photo numérique

Les capteurs dans notre smartphone caméras sont des choses vraiment étonnantes. Le travail qui a été fait par les goûts de Sony, OmniVision, Samsung et d’autres, de concevoir et de fabriquer de minuscules, mais sensible et polyvalent frites est vraiment assez hallucinant. Pour un photographe qui est regardé, l’évolution de la photographie numérique, dès les premiers jours, le niveau de qualité de ces microscopiques capteurs de livraison est rien de moins étonnant.

Mais il n’y a pas la Loi de Moore pour ces capteurs. Ou plutôt, tout comme la Loi de Moore est maintenant en cours d’exécution dans le quantum des limites à la sous-10 nanomètres niveaux, capteurs de la caméra frappé limites physiques beaucoup plus tôt. Penser à la lumière frappe le capteur de pluie tombant sur un tas de seaux; vous pouvez placer des plus grands seaux, mais il y en a moins; vous pouvez mettre les plus petits, mais ils ne peuvent pas attraper autant de chacun; vous pouvez faire des carrés ou de décaler ou de les faire toutes sortes de d’autres trucs, mais finalement il y a une limite au nombre de gouttes de pluie, et aucun montant de seau-réarrangement peut le changer.

Les capteurs sont de mieux en mieux, oui, mais ce n’est pas seulement le rythme trop lent pour empêcher les consommateurs d’acheter de nouveaux téléphones portables, année après année (imaginez que vous essayez de vendre un appareil photo de 3% de mieux), mais les fabricants de téléphones utilisent souvent les mêmes ou similaires caméra de meules, de sorte que les améliorations (comme la récente interrupteur à l’arrière de luminosité) sont partagés entre eux. Donc, on n’est prendre de l’avance sur les capteurs seul.

Ils pourraient peut-être améliorer la lentille? Pas vraiment. Les lentilles sont arrivés à un niveau de complexité et la perfection qui est difficile à améliorer, surtout à petite échelle. Dire que l’espace est limité, à l’intérieur d’un smartphone l’appareil photo de la pile est l’un des principaux euphémisme — il y a à peine un carré microns de rechange. Vous pourriez être en mesure d’améliorer un peu comme la mesure la quantité de lumière qui passe à travers et comment peu de distorsion, mais ce sont des problèmes qui ont été la plupart du temps optimisé.

La seule façon de recueillir plus de lumière serait d’augmenter la taille de la lentille, soit par Un: projet vers l’extérieur à partir du corps; B: déplacement de composants critiques au sein de l’organisme; ou C: augmentation de l’épaisseur du téléphone. Laquelle de ces options n’Apple semblent susceptibles de trouver acceptables?

Rétrospectivement, il était inévitable que Apple et Samsung et Huawei, et d’autres) aurait choisir D: aucun de ceux-ci. Si vous ne pouvez pas obtenir plus de lumière, vous avez juste à faire plus avec la lumière que vous avez.

Ce n’est pas la photographie de calcul?

La définition la plus large de calcul de la photographie comprend à peu près tout de l’imagerie numérique. Contrairement au film, même la plus simple appareil photo numérique nécessite le calcul d’allumer la lumière frappe le capteur utilisable à l’image. Et les fabricants de caméras diffèrent largement dans la façon dont ils le font, la production de différents JPEG méthodes de traitement, les formats RAW et la couleur de la science.

Pendant longtemps il n’y avait pas beaucoup d’intérêt sur le dessus de cette couche de base, en partie du manque de puissance de traitement. Bien sûr, il y a eu des filtres et rapide de l’appareil photo réglages pour améliorer le contraste et la couleur. Mais en fin de compte ces juste montant pour la numérotation automatique-se tourner.

La première véritable calcul de la photographie fonctionnalités ont sans doute été l’objet d’identification et de suivi pour l’application de l’autofocus. Le visage et le eye-tracking) il est plus facile de saisir les gens dans le complexe de l’éclairage ou de la pose et de suivi d’objet fait des sports et de l’action de la photographie plus facile que le système a ajusté son point AF à une cible se déplaçant à travers l’image.

Ces ont été les premiers exemples de dériver les métadonnées de l’image et de l’utiliser de manière proactive, afin d’améliorer l’image de l’alimentation ou à la suivante.

Dans les Reflex numériques, l’autofocus précision et la flexibilité sont marquise de fonctionnalités, de sorte que ce début de l’utilisation de cas fait sens; mais en dehors de quelques gadgets, de ces “graves” les caméras généralement déployé dans le calcul relativement à la vanille. Plus rapide des capteurs d’image signifiait plus rapide du capteur de déchargement et rafale de vitesse, des cycles dédié à la couleur et le détail de la préservation et ainsi de suite. Les reflex n’ont pas été utilisés pour la vidéo en direct ou de réalité augmentée. Et jusqu’à assez récemment, la même chose est vraie de la caméra d’un smartphone, qui ont été plus comme point de pousses et que le tout-usage des outils de médias nous les connaissons aujourd’hui.

Les limites de l’imagerie traditionnelle

En dépit de l’expérimentation, ici et là, et parfois aberrantes, la caméra d’un smartphone sont à peu près la même. Ils ont pour s’adapter à l’intérieur de quelques millimètres de profondeur, ce qui limite leur optique à quelques configurations. La taille du capteur est de même limité — un appareil photo REFLEX numérique peut utiliser un capteur APS-C 23 de 15 millimètres, en faisant une superficie de 345 mm2; le capteur de l’iPhone XS, probablement le plus grand et le plus avancé sur le marché maintenant, est 7 de 5,8 mm, pour un total de 40,6 mm2.

Grosso modo, c’est la collecte d’un ordre de grandeur de moins de lumière qu’un “normal” de la caméra, mais il est prévu de reconstruire une scène avec à peu près la même fidélité, de couleurs et de tel — environ le même nombre de mégapixels, trop. Sur son visage, c’est en quelque sorte un problème impossible.

Des améliorations dans le sens traditionnel du terme, aider — optique et électronique de stabilisation, par exemple, il est possible d’exposer plus longtemps sans flou, la collecte de plus de lumière. Mais ces dispositifs sont encore demandé de transformer la paille en or.

Heureusement, comme je l’ai mentionné, tout le monde est à peu près dans le même bateau. En raison des limitations fondamentales en jeu, il n’y a aucune manière d’Apple ou de Samsung peut réinventer la caméra ou de venir avec un peu fou structure de l’objectif qui les met lieues en avant de la concurrence. Ils ont tous reçu la même formation de base.

La compétition comprend donc que ces entreprises construire sur le dessus de la fondation.

Image stream

L’idée clé dans le calcul de la photographie est une image provenant d’un appareil photo numérique capteur n’est pas un instantané, la façon dont il est généralement pensé. Dans les appareils traditionnels de l’obturateur s’ouvre et se ferme, l’exposition de la lumière-médium sensible pour une fraction de seconde. Ce n’est pas ce que les caméras numériques ne, ou au moins pas ce qu’ils peuvent faire.

Un capteur de l’appareil est constamment bombardés avec de la lumière, la pluie est en constante diminution sur le champ de seaux, pour revenir à notre métaphore, mais quand vous n’êtes pas de prendre une photo, ces seaux sont sans fond et personne n’est la vérification de leur contenu. Mais la pluie tombe quand même.

Pour capturer une image de la caméra système choisit un point de commencer à compter les gouttes de pluie, la mesure de la lumière qui frappe le capteur. Ensuite, il choisit un point d’arrêt. Pour les fins de la photographie traditionnelle, ce qui permet presque arbitrairement court de la vitesse d’obturation, ce qui n’est pas beaucoup d’utilisation de minuscules capteurs.

Pourquoi ne pas toujours être d’enregistrement? En théorie, vous pouvez, mais il serait vider la batterie et produisent beaucoup de chaleur. Heureusement, depuis quelques années, le traitement de l’image puces ont obtenu assez efficace qu’ils peuvent, lors de l’application appareil photo est ouvert, de garder une certaine durée de ce cours d’eau limitée dans la résolution de capture de la dernière 60 images par exemple. Bien sûr, il en coûte un peu de batterie, mais ça en vaut la peine.

Accès à la rivière permet à l’appareil de faire toutes sortes de choses. Il ajoute contexte.

Le contexte peut signifier beaucoup de choses. Il peut être photographique des éléments tels que l’éclairage et de la distance du sujet. Mais il peut aussi être le mouvement, les objets, l’intention.

Un exemple simple de contexte est ce qui est communément appelé HDR ou high dynamic range image. Cette technique utilise plusieurs images prises dans une rangée avec des expositions différentes avec plus de précision les zones de capture de l’image qui pourrait avoir été sous-exposée ou surexposée, en une seule exposition. Le contexte dans ce cas est de comprendre quels domaines ces sont et comment les combiner intelligemment les images ensemble.

Ceci peut être accompli avec un bracketing d’exposition, une très vieille technique photographique, mais il peut être accompli immédiatement et sans avertissement si le flux de l’image est manipulé pour produire de multiples plages d’exposition de tous les temps. C’est exactement ce que Google et Apple maintenant.

Quelque chose de plus complexe, c’est bien sûr le “mode portrait” et artificielle flou d’arrière-plan ou le flou d’arrière plan qui est en train de devenir de plus en plus fréquent. Contexte ici n’est pas simplement la distance d’un visage, mais une compréhension de ce que les parties de l’image constituent un particulier objet physique, et les contours de cet objet. Cela peut être dérivé à partir du mouvement dans le flux, à partir de séparation stéréo dans plusieurs caméras, et de la machine de modèles d’apprentissage qui ont été formés pour identifier et délimiter les formes humaines.

Ces techniques sont seulement possible, d’abord, parce que la condition d’images ont été capturées à partir du flux en premier lieu (une avance dans le capteur d’image et la RAM de la vitesse), et deuxièmement, parce que les fabricants ont développé des algorithmes puissants pour effectuer ces calculs, formés sur d’énormes ensembles de données et d’immenses quantités de temps de calcul.

Ce qui est important à propos de ces techniques, cependant, n’est pas simplement qu’ils peuvent faire, mais qu’une société peut faire mieux que les autres. Et cette qualité est entièrement une fonction du logiciel de travail de l’ingénierie et artistique de surveillance qui se fait en eux.

DxOMark a fait une comparaison de certains premiers artificielle bokeh systèmes; les résultats, cependant, ont été quelque peu décevant. Il était moins une question de qui avait l’air mieux, et plus de savoir si ils ont échoué ou réussi à l’application de l’effet. Calcul de la photographie est en ces premiers jours que c’est assez pour que la fonctionnalité à travailler tout simplement pour impressionner les gens. Comme un chien qui marche sur ses pattes de derrière, nous sommes étonnés que cela se produit à tous.

Mais Apple a tiré de l’avant avec ce que certains pourraient dire, c’est presque par hasard sur-solution conçue pour le bokeh problème. Il n’est pas d’apprendre à reproduire l’effet — il a utilisé la puissance de calcul, il a à sa disposition pour créer des modèles physiques de l’optique phénomène qui le produit. C’est comme la différence entre l’animation d’une balle qui rebondit et la simulation réaliste de la gravité et de l’élastique de la physique des matériaux.

Pourquoi aller à de telles extrémités? Parce que Apple sait ce qui est de plus en plus clair pour les autres: qu’il est absurde de s’inquiéter à propos des limites de calcul de la capacité. Il y a des limites à la façon dont un phénomène optique peut être reproduit si vous prenez des raccourcis comme flou Gaussien. Il y a pas de limites à la façon dont elle peut être répliquée si vous simuler au niveau du photon.

De même, l’idée de la combinaison de cinq, 10 ou 100 images en une seule image HDR semble absurde, mais la vérité est que, dans la photographie, plus l’information est presque toujours la meilleure. Si le coût de ces de calcul de l’acrobatie est négligeable et les résultats mesurables, pourquoi ne pas nos appareils effectuer ces calculs? Dans quelques années, ils ont aussi va sembler ordinaire.

Si le résultat est un meilleur produit, la puissance de calcul et de capacité d’ingénierie a été déployé avec succès; tout comme les Leica ou le Canon pourrait dépenser des millions pour dénicher les fractions des améliorations de performances hors de stabilité d’un système optique comme un $2,000 de la lentille de zoom, Apple et d’autres dépensent l’argent là où ils peuvent créer de la valeur: pas en verre, mais dans le silicium.

Double vision

Une tendance qui peut entrer en conflit avec le calcul de la photographie narrative que j’ai décrit, c’est l’avènement de systèmes comprenant de multiples caméras.

Cette technique n’est pas ajouter plus de lumière vers le capteur qui serait trop complexe et coûteux optiquement, et ne serait probablement pas de toute façon. Mais si vous pouvez libérer un peu d’espace en longueur (plutôt que depthwise, que nous avons trouvé irréaliste), vous pouvez mettre une toute autre appareil photo de droite par le premier qui capture des photos très similaires à celles prises par le premier.

Une maquette de ce qu’est une ligne de couleur iphone pourrait ressembler à

Maintenant, si tout ce que vous voulez faire est de re-présenter « wayne’s World » à un imperceptible à l’échelle (appareil photo, caméra… appareil photo, caméra…) c’est tout ce dont vous avez besoin. Mais personne ne veut en réalité de prendre deux images en même temps, une fraction de pouce.

Ces deux appareils fonctionnent de manière indépendante (grand-angle et zoom) ou de l’un est utilisé pour augmenter de l’autre, formant un seul système à plusieurs entrées.

Le truc, c’est que la prise de données à partir d’une caméra et de l’utiliser pour améliorer la des données à partir d’un autre est — vous l’aurez deviné — extrêmement gourmand en ressources. C’est comme le HDR problème de multiples expositions, à l’exception de loin beaucoup plus complexe que les images ne sont pas prises avec le même objectif et le capteur. Il peut être optimisée, mais qui ne rend pas la tâche facile.

Ainsi, bien que l’ajout d’un deuxième appareil photo est en effet un moyen d’améliorer le système d’imagerie par des moyens physiques, la possibilité existe seulement en raison de l’état de calcul de la photographie. Et c’est la qualité de ce calcul de l’image qui se traduit par une meilleure photographie — ou ne l’est pas. La Lumière de la caméra avec ses 16 capteurs et de lentilles est un exemple d’un effort ambitieux qui n’a tout simplement pas de produire des images de meilleure qualité, s’il a été établi à l’aide de calcul de la photographie techniques de récolte et de winnow une grande collection d’images.

La lumière et le code

L’avenir de la photographie est de calcul, pas d’optique. C’est un énorme changement de paradigme et que chaque entreprise qui fabrique ou utilise des caméras est actuellement aux prises avec. Il y aura des répercussions dans les appareils traditionnels comme les Reflex (rapidement pour laisser place à mirrorless systèmes), dans les téléphones, dans les systèmes embarqués et partout où la lumière est captée et transformée en images.

Parfois, cela signifie que les caméras nous entendons parler sera le même que l’année dernière, dans la mesure du nombre de mégapixels, ISO plages, f-numéros et ainsi de suite. Ce n’est pas grave. Avec quelques exceptions, celles-ci ont été aussi bon qu’on peut raisonnablement s’attendre à être: le Verre n’est pas plus clair, et de notre vision n’est pas d’obtenir plus aiguë. La façon dont la lumière se déplace à travers nos appareils et les globes oculaires n’est pas susceptible de changer beaucoup.

Ce que ces dispositifs ne avec que de la lumière, cependant, est en train de changer à un rythme incroyable. Cela permettra de produire des caractéristiques que son ridicule, ou pseudoscience babiller sur scène, ou batterie déchargée. C’est bien, trop. Comme nous l’avons expérimenté avec d’autres parties de l’appareil photo depuis le siècle dernier et les a amenés à divers niveaux de la perfection, nous sommes passés à une nouvelle, non-physique “en partie”, qui a néanmoins un impact très important sur la qualité et même la possibilité de les images que nous prenons.

About the author

Cyriac

Je suis Zeh Cyriac , fondateur et chef de la direction de la société informatique DROP Corporation Inc. et blogueur indépendant aux États-Unis, avec une passion pour l'Entrepreneuriat en ligne, le marketing de contenu et toutes les choses qui tournent au tour du digital et ’informatique .

Add Comment

Click here to post a comment

Newsletter

Les dernières nouvelles du Web, de la high-tech et de l'innovation numérique tous les matins à l'heure du petit déjeuner.

Vous avez parfaitement souscrit ! Consultez vos mails pour confirmer l'inscription .