Van alle dingen die Apple dinsdag onthulde, was voor mij de meest indrukwekkende de nieuwe Cinematic-modus van de iPhone 13. Het scherptediepte-effect zorgt voor verbluffende focusovergangen tussen onderwerpen.
Apple heeft in feite een AI-cinematograaf in de iPhone 13 ingebouwd.
Whodunnit
Cinematische modus markeert een nieuw tijdperk in computationele fotografie, die leunt op digitale verwerking om te produceren verbazingwekkende fotografische effecten die wedijveren of overtreffen wat kan worden bereikt met traditionele camera's en lenzen.
De videocamera in de iPhone 13 analyseert continu de scène en kan herkennen wanneer onderwerpen in beeld komen - en daarop scherpstellen.
Als het onderwerp vervolgens zijn hoofd wegdraait om ergens naar te kijken, stelt de camera automatisch scherp op datgene waar hij naar kijkt. Het is, zoals de naam al aangeeft, erg filmisch - en het wordt automatisch in software gedaan.
Apple liet de Cinematic-modus zien in een korte film die volledig op een nieuwe iPhone 13 is gemaakt. Bekijk het hieronder:
Kijk naar het schot op het 1:02-teken, waar de hond zich omdraait om naar de butler te kijken die erachter staat. In eerste instantie is het schot gericht op de hond. Dan richt het zich op de butler. Dit is het soort opname dat u zich gemakkelijk kunt voorstellen van normale gebruikers zoals wij. En als de resultaten net als die van Apple blijken te zijn, levert dat geweldige homemovies op.
Geen geringe prestatie
Apple zegt dat het "geen geringe prestatie" was om de Cinematic-modus naar de iPhone te brengen.
Ten eerste genereert het systeem een heleboel dieptegegevens, zodat het de exacte afstand tot alle mensen, huisdieren en plaatsen in een scène kent. Dit doet hij continu met 30 fps. Dan de Neurale motor, die is opgeleid om zich te gedragen als een Hollywood-cinematograaf en focus trekker in één, neemt continu beslissingen over wat scherp moet zijn en past een soepele focusovergang toe als dat verandert.
"De pure rekenkracht die nodig is om de algoritmen voor machine learning uit te voeren, autofocuswijzigingen door te voeren, handmatige focuswijzigingen ondersteunen en elk frame beoordelen in Dolby Vision - alles in realtime - is verbazingwekkend", zei het bedrijf op zijn website:.
Maar het is niet allemaal strikt automatisch: u kunt het systeem tijdens het fotograferen overnemen of het achteraf aanpassen tijdens het bewerken.
Nieuw tijdperk in computationele fotografie
Foto: Appel
De filmmodus is indrukwekkend omdat de iPhone 13-camera weet waar het naar kijkt. Het is een grote vooruitgang voor computationele fotografie, die al een tijdje bestaat. Vroege voorbeelden zijn onder meer digitale panorama's, die in software aan elkaar zijn genaaid, of foto's met een hoog dynamisch bereik, die meerdere afbeeldingen die met verschillende belichtingen zijn gemaakt, in één afbeelding combineren.
We gaan nu een tijdperk in waarin de camera veel interessantere en ingewikkeldere berekeningen kan uitvoeren. Lichtveldeffecten — het toevoegen van 3D-info aan de scène — zorgen bijvoorbeeld voor indrukwekkende Portreteffecten of bokeh aanpassen in postproductie.
Appels nieuwe Live Text-functie, die binnenkort in iOS 15 wordt uitgerold, is een even indrukwekkende functie die tekst in een scène herkent en bewerkbaar maakt om te knippen of door te geven aan een andere app. Ik heb ermee gespeeld in de iOS-bèta, en het is nogal wonderbaarlijk. Het herkent zelfs (een deel van) mijn afschuwelijke, spinachtige handschrift.
En neem Visual Lookup, ook in iOS 15, waarmee planten, dieren, oriëntatiepunten, kunstwerken en andere objecten in uw fotobibliotheek kunnen worden geïdentificeerd.
In al deze voorbeelden is de camera niet zomaar een dom stuk glas en metaal. De ingebouwde AI kan herkennen dingen en objecten in de scene. En niet alleen op foto's. Het werkt nu in realtime in video.
Het valt nog te bezien of de Cinematic-modus in het echte leven net zo goed werkt als in de demo's van Apple. Maar wauw, wat een briljant idee. Je vraagt je af hoe ver Cupertino zijn verbazingwekkende camera kan duwen, die hij slim heeft vermomd als een slanke smartphone.
