När Apple introducerade ARKit 2017 hyllades plattformen augmented reality som en spelväxlare. Två år senare ser Apples AR -push redo att leverera den typ av upplevelse som får VD Tim Cook så upphetsad att han vill skrika.
Tack vare en trio nya verktyg för förstärkt verklighet för iOS 13 och den verkliga möjligheten för en Apple AR headset i horisonten, lovar 2019 att bli början på något riktigt speciellt för Apples augmented reality ansträngningar.
Det här inlägget innehåller affiliate länkar. Cult of Mac kan tjäna en provision när du använder våra länkar för att köpa objekt.
"Jag personligen ser på AR som på en liknande plats som internet i slutet av 90 -talet", säger Andrew Hart, grundare av AR mapping company Dent Reality, berättade Cult of Mac. ”Stora aktörer förstod tydligt potentialen och blev upptagna med att hypa den för konsumenterna. Men de hade inte riktigt förstått användargränssnittet eller användningsfallen. Det började med att människor mest byggde och designade sina egna nya webbplatser, med flashig grafik och animationer som inte tidigare var möjliga. När vi väl fick veta vad dessa användningsfall var, försvann nyhetsaspekterna och internet blev verkligen användbart. ”
Med tusentals ARKit-aktiverade appar i App Store nu är de flesta stora spelare spel som AR Dragon, Maskinerna eller AR Smash Tanks!
Augmented reality: En värld bortom spel
Men medan AR -spel dominerar kategorin börjar andra demos dyka upp som visar applikationer bortom spel. Tidigare i år visade WWDC Scholar och Georgia Tech -studenten Nicholas Grana upp en ARKit iMac -prototyp. Helt enkelt skanna ett tangentbord magi upp en virtuell iMac -skärm för användare att utforska. Även om det bara är en demo, understryker det hur kraftfull AR kan vara.
Nicholas Grana
@nicholasgranaa
897
218
På samma sätt använder mappningsappar AR för att placera kontextuell information på verkliga scener. Och det är bara början. Tänk till exempel på att använda ARKit till visa besökare runt en Airbnb -hyra. Eller använda AR in sportkläder som badglasögon.
Med Apples enheter som blir allt starkare, banar Apple -programvara vägen för en AR -revolution.
Nya användningsfall för augmented reality
Några av dessa typer av AR -verktyg hittade redan in i Apples mjukvarupaket. Jag använder regelbundet Mät app bakad i iOS 12 för att kontrollera avstånd.
I iOS 13, som ska lanseras den här månaden när nya iPhones kommer, använder Apple ARKit för att lösa ett av de mest irriterande problemen med FaceTime. Med hjälp av AR -handen kan Apple digitalt justera användarnas ögonlinjer i realtid. Det betyder att de kan titta på sina skärmar och fortfarande tycks titta rakt in i kameralinsen. Löser FaceTime -ögonlinjeproblemet är en liten blomning i teorin, men den är stor när det gäller att göra kommunikation mer naturlig.
Understrukna kraften i AR, Apple började nyligen värd AR går i sina största butiker. Precis som ett virtuellt konstgalleri visar dessa AR [T] promenader upp den förstärkta verklighetens potential via fantastiska demos som skapats av toppartister.
Jämfört med tidigare Apple -tidslinjer borde vi sitta på gränsen till en AR -revolution, säger Taylor Freeman, VD för Axon Park.
"Det tog verkligen ungefär tre år för iPhone att få anständig penetration", säger Taylor Freeman, VD för virtual reality -utbildningsföretaget Axon Park. "Med det som en jämförbar kom ARKit ut 2017, så om vi inte ser en" mördare-app "i mitten av 2020 kommer vi att ha skäl att oroa sig."
Foto: Brian Mueller/CARROT
AR är Tim Cooks bebis
Det är ingen hemlighet att ARKit är Apples vd Tim Cooks bebis. Precis som Steve Jobs en gång rusade över Mac -datorn som en "cykel för sinnet" och iTunes som en "musikrevolution", talar Cook om augmented reality som en sann teknisk paradigmskiftare.
"Vi har världens största augmented-reality-aktiverade plattformoch tusentals ARKit-aktiverade applikationer i App Store ”, sa Cook under Apples vinstsamtal för tredje kvartalet 2019. Under presentationen för Wall Street -investerare och analytiker i sommar målade Cook AR som ett område som är moget för tillväxt.
"Med utgångspunkt i denna strategi och vår fart på detta område introducerade vi tre nya AR-baserade tekniker", sa han. "Våra utvecklare kör redan med denna nya teknik och vi tror att våra kunder kommer att älska några av de appar som dessa skapare har i butik under de kommande månaderna."
De tre plankorna i Apple AR -plattform är ARKit, RealityKit och Reality Composer. Tillsammans med den avancerade hårdvaran i de senaste Apple -enheterna är de redo att utlösa en AR -explosion.
Visar upp potentialen hos AR
Vid årets Worldwide Developers Conference presenterade Craig Federighi, Apples senior vice president för programvaruteknik, företagets växande augmented reality -plattform. På scenen framför utvecklare och reportrar fokuserade han på AR -förbättringar som driver rörelseinspelning och "människor ocklusion", som låter appar placera levande människor i augmented reality -scener.
"Nu är det här vansinnigt", sade Federighi när en kvinna gick genom ett rum fyllt med stora, animerade leksaker. ”Det som tidigare krävde en noggrann komposition för hand kan nu göras i realtid. Nu, genom att veta var dessa människor är i kulisserna, kan du se att vi kan lagra virtuellt innehåll framför och bakom dem. ”
Realtidsinspelning
Sedan visade han upp rörelseinspelningsfunktionerna som utan tvekan kommer att driva miljontals Andy Serkis-stil interaktioner.
"Och kolla in det här: motion capture!" Federighi sa som en virtuell i naturlig storlek konstnärens artikulerade skyltdocka sömlöst efterliknade mannens rörelser bredvid den. ”Rikta bara din kamera mot en person, så kan vi spåra positionerna för deras huvud, torso och lemmar i realtid och mata den som en ingång till AR -upplevelsen. Nu kommer utvecklare att göra fantastiska saker med ARKit 3. ”
(Du kan se Federighis AR -utställning, inklusive demos som lockade applåder, i videon nedan.)
Apples augmented reality -verktyg
ARKit 3
På scenen vid WWDC 2019 ringde Federighi ARKit 3, den tredje iterationen av Apples ram för förstärkt verklighet, en "stor uppdatering." Bland annat använder den maskininlärning i realtid på enheten för att känna igen den mänskliga formen och integrera människor sömlöst i AR upplevelser.
"Den nya funktionen för" folkoklusion "i ARKit är verkligen sjukt cool, säger Brian Mueller, grundare av Grailr och skapare av den snarkiga morotserien med appar, berättade Cult of Mac. "Den känner igen att riktiga människor finns i videoströmmen som kommer in från enhetens kamera. [Det gör det] tillåter AR -objekt att "gå bakom" dessa människor, vilket kraftigt ökar nedsänkningsfaktorn. Det är bara vansinnigt att Apple kan göra den här mängden bearbetning av bilderna som kommer in från kameran helt live, som det händer. "
RealityKit
Den andra delen av Apple AR -pusslet är det nya utvecklingsramverket, RealityKit. Denna ram gör det möjligt att implementera högpresterande 3D-simulering och återgivning i AR-appar. Det gör det möjligt att skapa mer övertygande upplevelser genom att låta utvecklare importera detaljerade tillgångar och ljudkällor i sina AR-världar. Med RealityKit kan animerade objekt svara på förändringar i miljön.
"RealityKit var en teknisk omstart av AR för Apple", sa Dent Reality's Hart. ”De byggde ursprungligen AR ovanpå SceneKit, deras befintliga 3D -rendermotor, men med RealityKit började de från grunden för sin rendering och interaktionsteknik. Detta ger dem prestandafördelar och gör att de kan göra det enklare för vanliga utvecklare att bygga för AR. ”
Reality Composer
Den tredje delen av Apples AR -programvaruinitiativ är Reality Composer, vilket gör det lättare att skapa AR -innehåll för personer med begränsad eller ingen 3D -erfarenhet.
Apple "gör det mycket lättare för utvecklare att implementera AR -teknik i sina appar", Grailrs Mueller sa. "RealityKit gör det superenkelt att importera 3D-tillgångar och leka med egenskaper och animationer."
Foto: Apple
Erfarenhetens konsekvens i Apple augmented reality
Tillsammans bör dessa verktyg göra det lättare för utvecklare att införliva AR i sina appar. Det finns dock vissa begränsningar. Funktioner som ocklusion av människor och spårning av flera ansikten är stöds endast på avancerade enheter som iPhone XS, drivs av Apples A12/A12X Bionic -chips och TrueDepth -kamera. Det betyder att många av de bästa AR -apparna inte fungerar på äldre iPhones.
Hart noterade också att det finns ett problem med konsekvens när det gäller AR -appar. Detta kan bli mer besvärligt när AR tar fart. Lägre inträdesbarriärer (tack vare Apples förstärkta AR-verktyg för utvecklare) borde innebära fler AR-appar i App Store. Men att bara kunna köra dem på en begränsad delmängd enheter skulle uppenbarligen begränsa tillväxten av AR i Apples ekosystem.
Vissa Apple -tekniker, som MacBooks Touch Bar eller 3D Touch på iPhone, blev aldrig universellt användbara. Små, dedikerade grupper kan älska dem, men inkonsekvent implementering innebär att användare inte vet vad de kan förvänta sig av sina enheter. Apple kan göra mer för att hjälpa utvecklare att skapa konsekventa AR -upplevelser.
"En sak som för närvarande saknas är materiella exempel kring användarupplevelse," sa Hart. ”AR är ett helt nytt gränssnittsparadigm, precis som ett GUI eller en pekskärm. Men det finns för närvarande inga ramar för att bygga riktigt övertygande AR -upplevelser. Apple har sina AR Riktlinjer för mänskligt gränssnitt, som berör några idéer på hög nivå om hur man presenterar en övertygande upplevelse, till exempel att säkerställa textskalor baserat på användarens avstånd, att alltid visas med en konsekvent storlek. Men det finns ingen teknisk ram som implementerar detta - varje utvecklare måste experimentera med 3D -motorn och utveckla dessa gemensamma erfarenhetsfunktioner själva. Det här är något jag skulle vilja se Apple ta ledningen av - och förvänta mig att de kommer att göra det med RealityKit 2.0. ”
Framtiden är Apple AR -glasögon
Foto: Lewis Wallace/Cult of Mac
En sak som alla är överens om är att Apple just har börjat med augmented reality.
"Jag måste se den här grundläggande omstarten, bara två år in på plattformen, som en återinvigning av Apples engagemang för AR och deras framtida AR-baserade produkter," sa Hart. "Ett fokus på prestanda gör det uppenbarligen möjligt för dem att gå mot en lätt AR -bärbar produkt."
Detta AR -headsetprojekt är slutligen där användarna kommer att se det verkliga värdet av ARKit.
"Apples nuvarande arbete inom AR-utrymmet lägger grunden för en framtidsmonterad bildskärm," sa Axon Parks Freeman. ”Det finns verkligen mycket nytta och värde som kan skapas med plattskärms-AR. Men den verkliga magin kommer att hända när allt flyttas över till glasögon. ”
När kommer Apple AR -glasögon?
Vi vet fortfarande inte när, eller om, Apples AR -glasögon kommer att bli verklighet. De kan dock vara närmare än du tror. Faktum är att tillgångar nyligen dök upp i iOS 13 -betor som verkar referera till ett AR -headset av något slag.
Kommer vi att få vår första glimt av ett Apple -headset nästa vecka på iPhone 11 -evenemang?
"Vem vet hur långt bort [ett Apple AR -headset] är, men fördelen är uppenbar", säger Grailrs Mueller. "Inte bara skulle AR -element läggas över vad vi faktiskt ser i motsats till att behöva se dem via en telefons skärm, men AR kommer också att vara mycket mer uthållig. Istället för att behöva starta appar, vänta på att de ska känna igen scenen runt dem, lägg sedan till sina AR -element i den, AR -elementen kommer bara att finnas där, lagt över det vi ser. ”
Hittills har ingen kunnat dra av smarta glasögon effektivt. Google Glass blev en ökänd flopp. Snap är nytt Glasögon 3, till synes byggd med AR i åtanke, ser inte mycket bättre ut. Men Apple arbetar med att förändra saker. Den topphemliga gruppen som utvecklar Cupertinos AR-glasögon nyligen fått en ny ledare. Kim Vorrath anklagas för att ha "tagit order till AR -headsetet."
Med hårdare, mer fokuserat ledarskap arbetar Apple säkert för att göra sitt AR -headset till verklighet. Enligt analytikern Ming-Chi Kuo kan ett par AR-glasögon av Apple-märke lanseras så snart som 2020.
Genom att lägga kraftfulla mjukvaruverktyg i händerna på utvecklare och kraftfulla enheter i användarnas händer (och sannolikt på våra ansikten) lägger Apple den nödvändiga grunden som kommer att göra förstärkt verklighet till en kraft att räkna med med.
Fortsätt titta på det här utrymmet.
