Огляд iOS 12: Новий тренд мобільних технологій – доповнена реальність. Частина 2

ARKit 2 в iOS 12

Одного разу, доповнена реальність (AR) буде жити в наших окулярах і контактних лінзах. Потім фотони будуть оброблятися на шляху до наших зорових рецепторів, якщо і зовсім не будуть вбудовані прямо в наш мозок. На даний момент все це живе всередині наших iPhone і iPad. І Apple, схоже, хоче бути впевненим в тому, що все йде так як потрібно і з технологією наших нинішніх пристроїв, щоб бути максимально готовими до того часу, коли ми доберемося до майбутніх можливостей. І це повинно нас цілком влаштовувати.

Давайте згадаємо, що таке ARKit: це платформа Apple для відстеження положення і орієнтації пристроїв щодо оточуючого їх світу (і, відповідно, вас), а так само рухів і виразів людських облич.

Він так само може розуміти сцени. ARKit 1.0, представлений всього лише рік тому, міг працювати з однокористувацькими додатками, а так само з горизонтальними поверхнями і різними умовами освітлення. Потім він може рендерить нереальні тривимірні об’єкти, використовуючи шаблони SpriteKit, SceneKit або Metal, які відчувають, що належать цьому світу (він так само користується підтримкою ігрових движків Unreal і Unity).

ARKit 1.5, випущений раніше в цьому році, включав підтримку таких речей, як вертикальні і нерівні поверхні, безперервну роботу об’єктива і переміщення, щоб додатки могли відновити роботу з фону.

Тепер ARKit 2.0 включає формати відео 4: 3 (наприклад, iPad); відстеження 2D-зображень і виявлення 3D-об’єктів, так що фотографія може переміщатися в просторі, а реальна модель може ожити завдяки AR; текстури навколишнього середовища і відображення, щоб зробити більш доповнений вид, більш реальні; так само ви зможете взяти цей проект з дому і продовжити в зовсім іншому місці; покращено відстеження обличчя, особливо при підморгуванні, погляді та руху язика; а так же додано використання в багатокористувацькому режимі.

Тут є маса цікавих технологій, в тому числі новий стандартизований формат для AR під назвою USDZ. Нам стало відомо, що про це краще думати, як про формат експорту / імпорту, ніж строго про формат файлу.

Це досить вагома справа, адже доповнена реальність починає дуже стрімко розвиватися, тому дуже корисно говорити на одній мові форматування. Pixar, Apple і Adobe отримують підтримку в інструментах, які використовуються для створення вражень, вони створюються найкращими і яскравими компаніями в усьому світі.

Сітка для відстеження обличчя сама по собі виглядає абсолютно науково. Apple відображає його за допомогою освітлення, яке оцінює інтенсивність, напрям і колірну температуру навколишнього середовища, але так само надає коефіцієнти сферичних гармонік для додатків, які їх потребують. Це робить рендеринг доповнень схожим на реальний світ навколо них.

Деякі фахівці вважають, що нове відстеження погляду досить незвично. Ми недостатньо вивчили даний нюанс, щоб сформувати повну думку про це, але ми обов’язково зробимо це.

Завантаження і збереження карт, це те, що забезпечує сталість і роботу з декількома людьми. Замість того, щоб створювати і потім показувати тривимірну карту світу, ARKit тепер надає її розробникам в комплекті з простими якорями і підтримкою призначених для користувача якорів для зберігання і публікації.

Оскільки карта світу являє собою єдину систему координат, одна людина може ініціювати досвід, а потім поділитися ним з одним або декількома людьми. При цьому кожен з них розділить один і той самий простір доповненої реальності зі своєї фізичної точки зору. Це досягається не тільки завдяки більш швидкій ініціалізації в iOS 12, але і завдяки більш швидкому і надійному відстеженню і виявленню площин.

Цей досвід передається локально через мережі Bluetooth і Wi-Fi, що означає, що ви не покладаєтеся на хмару, яка відмінно підходить для продуктивності і конфіденційності. Таким чином, ви можете використовувати інтернет, коли ви хочете, а не тому що ви повинні.

Є так само дуже  розумна система відображення карт. При побудові карти світу ARKit так само використовує комп’ютерний зір для побудови куба або подання карти на основі текстури сцени. Машинне навчання використовується для того, щоб заповнити будь-які діри і створити «галюцинацію» повної карти, якщо ви не придивитеся. Потім датчики відображення виявляють об’єкти і застосовують цю текстуру, тоді і коли це необхідно.

Ми випробували LEGO ARKit на WWDC, і це було весело. Він використовує виявлення тривимірного об’єкту, що означає, об’єкт повинен бути в реальному світі, а потім відсканований в цифровий. Ці об’єкти повинні бути текстурованими, жорсткими і не відбиваючими, хоча б на даному етапі.

Реальна будівля з LEGO стояла на столі, але за допомогою iPad я зміг зламати її, викликати Джокера і подивитися, як він швидко підпалив її. Потім інша людина, з яким я грав, викликав Бетмена, посадив його у вертоліт і врятував клоунів (!?), В той час як третій розмістив пожежну машину, щоб погасити полум’я.

Я так само спробував гру SwiftShot, яка є прикладом коду для ARKit. У вас є три катапульти. Така ж кількість і у вашого противника. Остання, яка залишилася катапульта перемагає. Те, що зробило це таким кумедним, це турнір в останній день WWDC, який полягав у тому, що кілька людей могли приєднатися і подивитися, а коли це відбувається, починають стиратися грані між реальністю і доповненою реальністю.

Насправді це не просто веселі ігри. Обмін досвідом буде трансформувати все: від освіти, де вчитель може вести класну кімнату у віртуальній аудиторії, де кімнати можуть бути найрізноманітнішими в різних інтерпретаціях ремонту і своєї суті.

Єдине, чого мені не вистачило, так це того, що всі делікатеси AR інтегровані в додаток Apple Maps. Сподіваюся, дані з боку карт для цього не надто далекі.

І так, ми все ще трохи ніяково тримаємо свої смартфони та планшети, щоб повноцінно реалізувати ефект доповненої реальності. Але, знову ж таки, в якийсь момент в найближчому майбутньому все буде виправлено.

Камера та фотографії в iOS 12

Портретне освітлення вперше можна було побачити в бета-версії. Воно використовує нове і поліпшене маскування сегментації від Apple, щоб краще відокремити об’єкт від фону, а камера TrueDepth на нових моделях зменшує попередню розмитість по краях.

Якщо ви завантажили дані глибини в додаток, здатний відображати їх, ви так само побачите, що вони значно краще. У тих випадках, коли TrueDepth в iOS 11 виглядав …з вибоїнами, TrueDepth в iOS 12 виглядає як 3D-модель. Ось тому необхідні реальні дані глибини від системи камер.

Apple так само надає розробникам нову систему сегментації, щоб вони могли використовувати підкладки в своїх власних додатках.

У нових iPhone Xs, Xs Max і Xr Apple пропонує абсолютно новий ефект глибини, заснований на ретельному вивченні високоякісними камерами і об’єктивами. Це виглядає приголомшливо, але це навіть краще, ніж те, як воно виглядає, як воно працює: тепер ви можете налаштувати глибину в пості, взявши від симульованого f / 1.4 аж до f / 16. Таким чином, ви отримаєте саме те, що потрібно, а так само зможете все змінити в будь-який час.

Імпорт фотографій з інших камер на iPhone і iPad так само був поліпшений. Якщо ви вже імпортували їх, то ви зможете вибрати, куди ви хочете їх помістити, в існуючий альбом або новий. Створено великий режим попереднього перегляду, тому ви можете більш ретельно вивчити фотографії, перш ніж імпортувати їх. І, як тільки ви почнете імпорт, ви зможете перемкнутися на інші додатки, залишивши все в фоновому режимі.

Фотографії містять цифрові зображення всіх моментів, які вас хвилюють, будь то фотографії або відео ваших дітей, знімки екрану з чудовими або жахливими моментами, навіть ваші улюблені анімовані меми. Раніше папка Фото була більше як сховище, ніж бібліотека. Було неймовірно легко вкласти щось, але дуже важко повернути це назад.

Apple почала виправляти це пару років назад за допомогою пошуку і за допомогою комп’ютерного зору. Замість того, щоб просто дати зрозуміти пристрою що це зображення, комп’ютерний зір дало Apple розуміння того, що на цьому зображенні зображено. Незважаючи на те, що Apple почала роботу з тисячами типів категорій, вона все ще відчувала себе недостатньою. Ви не змогли б навіть знайти власні пристрої Apple …

З iOS 12 пошук фотографій стає краще. Він все ще не ідеальний, що трохи засмучує, тому що пошук, включаючи складний і неакуратний пошук, відчувається як деяка проблема. Звичайно, всі засоби машинного навчання є новими, і, що гідно похвали, Apple робить це на пристрої, а не всмоктує його в хмару для підтримки своїх власних проектів.

Функція пошуку фотографій досить непогано організована зараз. Я не є прихильником цієї функції, але думаю, з огляду на популярність Memories, вона буде мати великий успіх у тих, хто використовує фотографії як спосіб повернутися і пережити свої улюблені моменти.

Ця функція так само отримала набагато надійнішу систему запитів, в тому числі можливість пошуку не тільки за категоріями, а й по місцях, назвам компаній і, що дійсно круто, більше чотирьох мільйонів реальних подій за часом і місцем, таких як спортивні ігри, концерти тощо.

Однак те, як функція пошуку обробляє сам запит, мені здається просто неймовірним, і це через механізм уточнення.

Річ у тім, Apple хоче, щоб ви надрукували одну річ, наприклад, «Купертіно», потім отримали результат, а потім надрукували щось для уточнення, наприклад «2018».

Але я просто хочу надрукувати «Купертіно 2018» без необхідності переривати себе для виконання ручного аналізу. Це робота Apple. Я повинен просто бути в змозі друкувати без другої думки, і Фотографії повинні нарізати їх у міру необхідності, щоб дати мені відповідь.

Замість цього, якщо я наберу «Купертіно 2018», я не отримаю відповіді. Потім я повинен повернутися і видалити 2017 рік, відправити запит «Купертіно», потім уточнити його на «2018».

По-перше, відсутність відповіді – жахливий користувацький досвід. Це змушує відчувати вас, що ви зробили щось не так. Система завжди робить все можливе, щоб уникнути повернення відповіді, в тому числі намагатися отримати відповідь, яка, на вашу думку, вам потрібна, незалежно від того, що ви ввели.

По-друге, ця реалізація недостатньо хороша, тому що я роблю зовсім звичайний запит, який в даний час повертає результати під iOS 11.

Я дуже розраховував на те, що Apple виправить це до того, як iOS 12 вийде з бети і надійде в продаж, але не пощастило. Це кидає тінь на те, що в іншому випадку має стати величезним стрибком вперед у функціональності фотографій.

Ще одне моє розчарування iOS 12 пов’язано з тим, скільки часу потрібно фотографіям і скриншотам, щоб ті з’явилися в Фотографіях. Для скріншотів я можу обійти це, використовуючи інтерфейс Instant Markup … іноді (це часто зменшені версії AirDrops з більш кепськими назвами екранів). Якщо я відхиляю його і потім йду в свій альбом, мені все ще доводиться чекати, іноді довгий час, щоб він з’явився. В папці Фотографії просто нічого робити, як просто чекати. Все в системі камер iPhone настільки приголомшливо швидко, що шкода, що iOS 12 зупинилася прямо посередині. Сподіваємося, це буде виправлено найближчим часом.

Є нова вкладка For You, яка мені дуже подобається. Знову ж таки, я не використовую фотографії, тому що я, очевидно, більше робот, ніж людина, але це узгоджується з Apple Music. Узгодженість – це перевага користувача, тому це дивний час. Я так само сподіваюся, що Apple зможе сьогодні стандартизувати все. Він трохи втрачає в особистих відчуттях, але набуває безпосередність … і приємний перехід з усього, від Apple Retail до нового App Store.

Пропонований обмін, який Apple розробила в додатку Clips пару років назад, особливо гарний. Тому що, якщо ви це дозволите, Faces можуть розпізнавати обличчя на фотографії, а додаток Фотографії може спливти тоді, коли це доречно і запропонувати вам відправити їх їм. Більш того, завдяки таким речам, як виявлення подій, якщо ви відправляєте фотографії комусь, хто так само працює з iOS 12, він може запропонувати поділитися з вами пов’язаними з цією подією фотографіями зі своєї бібліотеки.

Це як теніс спогадами, а я думаю, що це стане дуже популярно.

Ефекти для живих фотографій, такі як петля, відскік і тривала витримка, так само будуть запропоновані для фотографій, які, на думку системи, їм підійдуть.

Мені так само подобається поліпшена інформаційна щільність в поданні альбомів, яка замінює те, що раніше було стіною з мініатюр, тільки найважливішими з них, а потім текстовим списком типів мультимедіа. Це не тільки прискорює прокрутку, але і значно прискорює візуальний аналіз різних розділів.

Доповнена реальність, безумовно, є найбільш сучасним і цікавим трендом мобільних технологій сьогодні. Так само дуже важливим атрибутом наших смартфонів залишається якісна камера. Тому зовсім не дивно, що розвиток iOS 12 торкнувся даних аспектів. В наступній частині огляду iOS 12 ми розглянемо чимало цікавого, наприклад, нові можливості Siri і детально розберемо функцію Screen Time.