5 4 5

19/12/18,

12:27

Обзор iOS 12: Новый тренд мобильных технологий – дополненная реальность. Часть 2

 ARKit 2 в iOS 12

 Однажды, дополненная реальность (AR) будет жить в наших очках и контактных линзах. Затем фотоны будут обрабатываться на пути к нашим зрительным рецепторам, если и вовсе не будут встроены прямо в наш мозг. На данный момент всё это живёт внутри наших iPhone и iPad. И Apple, похоже, хочет быть уверенным в том, что всё идёт так как нужно и с технологией наших нынешних устройств, чтобы быть максимально готовыми к тому времени, когда мы доберёмся до будущих возможностей. И это должно нас вполне устраивать.

Давайте вспомним, что такое ARKit: это платформа Apple для отслеживания положения и ориентации устройств относительно окружающего их мира (и, соответственно, вас), а так же движения и выражения человеческих лиц.

Он так же может понимать сцены. ARKit 1.0, представленный всего лишь год назад, мог работать с однопользовательскими приложениями, а так же с горизонтальными поверхностями и различными условиями освещения. Затем он может рендерить нереальные трёхмерные объекты, используя шаблоны SpriteKit, SceneKit или Metal, которые чувствуют, что принадлежат этому миру (он так же пользуется поддержкой игровых движков Unreal и Unity).

ARKit 1.5, выпущенный ранее в этом году, включал поддержку таких вещей, как вертикальные и неровные поверхности, непрерывную автофокусировку и перемещение, чтобы приложения могли возобновить работу из фона.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - динозавр на экране

Теперь ARKit 2.0 включает форматы видео 4:3 (например, iPad); отслеживание 2D-изображений и обнаружение 3D-объектов, так что фотография может перемещаться в пространстве, а реальная модель может ожить благодаря AR; текстуры окружающей среды и отображение, чтобы сделать более дополненный вид, более реальны; так же вы сможете взять данный проект из дома и продолжить в совершенно другом месте; улучшено отслеживание лица, особенно при подмигивании, взгляде и движении языка; а так же добавлено использование в многопользовательском режиме.

Здесь есть масса интересных технологий, в том числе новый стандартизированный формат для AR под названием USDZ. Нам стало известно, что об этом лучше думать, как о формате экспорта/импорта, чем строго о формате файла.

Это достаточно значимое дело, ведь дополненная реальность начинает очень стремительно развиваться, поэтому очень полезно говорить на одном языке форматирования. Pixar, Apple и Adobe получают поддержку в инструментах, которые используются для создания впечатлений, они создаются самыми лучшими и яркими компаниями во всём мире.

Сетка для отслеживания лица сама по себе выглядит совершенно научно. Apple отображает его с помощью освещения, которое оценивает интенсивность, направление и цветовую температуру окружающей среды, но так же предоставляет коэффициенты сферических гармоник для приложений, которые в них нуждаются. Это делает рендеринг дополнений похожим на реальный мир вокруг них.

Некоторые специалисты считают, что новое отслеживание взгляда достаточно непривычно. Мы недостаточно изучили данный нюанс, чтобы сформировать полное мнение об этом, но мы обязательно сделаем это.

Загрузка и сохранение карт, это то, что обеспечивает постоянство и работу с несколькими людьми. Вместо того, чтобы создавать и затем показывать трёхмерную карту мира, ARKit теперь предоставляет её разработчикам в комплекте с простыми якорями и поддержкой пользовательских якорей для хранения и публикации.

Поскольку карта мира представляет собой единую систему координат, один человек может инициировать опыт, а затем поделиться им с одним или несколькими людьми. При этом каждый из них разделит одно и то же пространство дополненной реальности со своей физической точки зрения. Это достигается не только благодаря более быстрой инициализации в iOS 12, но и благодаря более быстрому и надёжному отслеживанию и обнаружению плоскостей.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - человек паук в комнате

Этот опыт передаётся локально через сети Bluetooth и Wi-Fi, что означает, что вы не полагаетесь на облако, которое отлично подходит для производительности и конфиденциальности. Таким образом, вы можете использовать интернет, когда вы хотите, а не потому что вы должны.

Есть так же чертовски умная система отражения карт. При  построении карты мира ARKit так же использует компьютерное зрение для построения куба или представления карты на основе текстуры сцены. Машинное обучение используется для того, чтобы заполнить любые дыры и создать «галлюцинацию» полной карты, если вы не присмотритесь. Затем датчики отражения обнаруживают объекты и применяют эту текстуру, тогда и когда это необходимо.

Мы испытали LEGO ARKit на WWDC, и это было весело. Он использует обнаружение трёхмерного объекта, что означает, объект должен быть в реальном мире, а затем отсканирован в цифровой. Эти объекты должны быть текстурированными, жёсткими и не отражающими, по крайней мере на данном этапе.

Реальное здание из LEGO стояло на столе, но с помощью iPad я смог сломать его, вызвать Джокера и посмотреть, как он быстро поджёг его. Затем другой человек, с которым я играл, вызвал Бэтмена, посадил его в вертолёт и спас клоунов (!?), в то время как третий разместил пожарную машину, чтобы погасить пламя.

Я так же попробовал игру SwiftShot, которая является примером кода для ARKit. У вас есть три катапульты. Такое же количество и у вашего противника. Последняя оставшаяся катапульта побеждает. То, что сделало это таким забавным, это турнир в последний день WWDC, который состоял в том, что несколько человек могли присоединиться и посмотреть, а когда это происходит, начинают стираться грани между реальностью и дополненной реальностью.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - AR вдвоем

На самом деле это не просто весёлые игры. Обмен опытом будет трансформировать все: от образования, где учитель может вести классную комнату в виртуальной аудитории, где комнаты могут быть самыми разнообразными в различных интерпретациях ремонта и своей сути.

Единственное, чего мне не хватило, так это того, что все деликатесы AR интегрированы в приложение Apple Maps. Надеюсь, данные со стороны карт для этого не слишком далеки.

И да, мы всё ещё немного неловко держим свои смартфоны и планшеты, чтобы полноценно реализовать эффект дополненной реальности. Но, опять же, в какой-то момент в ближайшем будущем всё будет исправлено.

Камера и фотографии в iOS 12

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - камера в iOS 12

Портретное освещение впервые можно было увидеть в бета-версии. Оно использует новую и улучшенную маскировку сегментации от Apple, чтобы лучше отделить объект от фона, а камера TrueDepth на новых моделях уменьшает предыдущую размытость по краям.

Если вы загрузите данные глубины в приложение, способное отображать их, вы так же увидите, что они значительно лучше. В тех случаях, когда TrueDepth в iOS 11 выглядел… ухабисто, TrueDepth в iOS 12 выглядит как 3D-модель. Вот поэтому необходимы реальные данные глубины от системы камер.

Apple так же предоставляет разработчикам новую систему сегментации, чтобы они могли использовать подложки в своих собственных приложениях.

В новых iPhone Xs, Xs Max и Xr Apple предлагает совершенно новый эффект глубины, основанный на тщательном изучении высококачественными камерами и объективами. Это выглядит потрясающе, но это даже лучше, чем то, как оно выглядит, как оно работает: теперь вы можете настроить глубину в посте, взяв от симулированного f/1.4 вплоть до f/16. Таким образом, вы получите именно то, что нужно, а так же сможете всё изменить в любое время.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - фильтры камеры в iOS 12

Импорт фотографий с других камер на iPhone и iPad так же был улучшен. Если вы уже импортировали их, то вы сможете выбрать, куда вы хотите их поместить, в существующий альбом или новый. Создан большой режим предварительного просмотра, поэтому вы можете более тщательно изучить фотографии, прежде чем импортировать их. И, как только вы начнёте импорт, вы сможете переключиться на другие приложения, оставив всё в фоновом режиме.

Фотографии содержат цифровые изображения всех моментов, которые вас волнуют, будь то фотографии или видео ваших детей, снимки экрана с великолепными или ужасными моментами, даже ваши любимые анимированные мемы. Раньше папка Фото была больше как хранилище, чем библиотека. Было невероятно легко вложить что-то, но очень трудно вернуть это обратно.

Apple начала исправлять это пару лет назад с помощью поиска и с помощью компьютерного зрения. Вместо того, чтобы просто дать понять устройству что это изображение, компьютерное зрение дало Apple понимание того, что на этом изображении изображено. Несмотря на то, что Apple начала работу с тысячами типов категорий, она всё ещё чувствовала себя недостаточной. Вы не смогли бы даже найти собственные устройства Apple…

С iOS 12 поиск фотографий становится лучше. Он всё ещё не идеален, что несколько расстраивает, потому что поиск, включая сложный и неаккуратный поиск, чувствуется как некоторая проблема. Конечно, все средства машинного обучения являются новыми, и, что достойно похвалы, Apple делает это на устройстве, а не всасывает его в облако для поддержки своих собственных проектов.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - видеозвонок

Функция поиска фотографий достаточно неплохо организована сейчас. Я не являюсь поклонником данной функции, но думаю, учитывая популярность Memories, она будет иметь большой успех у тех, кто использует фотографии как способ вернуться и пережить свои любимые моменты.

Эта функция так же получила гораздо более надёжную систему запросов, в том числе возможность поиска не только по категориям, но и по местам, названиям компаний и, что действительно круто, более четырёх миллионов реальных событий по времени и месту, таких как спортивные игры, концерты и так далее.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - фотграфия на экране

Однако то, как функция поиска обрабатывает сам запрос, мне кажется просто невероятным, и это из-за механизма уточнения.

Видите ли, Apple хочет, чтобы вы напечатали одну вещь, например, «Купертино», затем получили результат, а затем напечатали что-то для уточнения, например «2018».

Но я просто хочу напечатать «Купертино 2018» без необходимости прерывать себя для выполнения ручного анализа. Это работа Apple. Я должен просто быть в состоянии печатать без второй мысли, и Фотографии должны нарезать их по мере необходимости, чтобы дать мне ответ.

Вместо этого, если я наберу «Купертино 2018», я не получу ответа. Затем я должен вернуться и удалить 2017 год, отправить запрос «Купертино», затем уточнить его на «2018».

Во-первых, отсутствие ответа – ужасный пользовательский опыт. Это заставляет чувствовать вас, что вы сделали что-то не так. Система всегда делать всё возможное, чтобы избежать возврата ответа, в том числе пытаться получить ответ, который, по вашему мнению, вам нужен, независимо от того, что вы ввели.

Во-вторых, эта реализация недостаточно хороша, потому что я делаю совершенно обычный запрос, который в настоящее время возвращает результаты под iOS 11.

Я очень рассчитывал на то, что Apple исправит это до того, как iOS 12 выйдет из беты и поступит в продажу, но не повезло. Это бросает тень на то, что в противном случае должно стать огромным скачком вперёд в функциональности фотографий.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - фото на айфон

Ещё одно моё разочарование iOS 12 связано с тем, сколько времени требуется фотографиям и скриншотам, чтобы те появились в Фотографиях. Для скриншотов я могу обойти это, используя интерфейс Instant Markup… иногда (это часто уменьшенные версии AirDrops с более скверными названиями экранов). Если я отклоняю его и затем иду в свой альбом, мне всё ещё приходится ждать, иногда долгое время, чтобы он появился. В папке Фотографии просто нечего делать, как просто ждать. Всё в системе камер iPhone настолько ошеломляюще быстро, что жаль, что iOS 12 остановилась прямо посередине. Надеемся, это будет исправлено в ближайшее время.

Есть новая вкладка For You, которая мне очень нравится. Опять же, я не использую фотографии, потому что я, очевидно, больше робот, чем человек, но это согласуется с Apple Music. Согласованность – это преимущество пользователя, поэтому это странное время. Я так же надеюсь, что Apple сможет сегодня стандартизировать всё. Он немного теряет в личных ощущениях, но приобретает непосредственность… и приятный переход со всего, от Apple Retail до нового App Store.

Предлагаемый обмен, который Apple разработала в приложении Clips пару лет назад, особенно хорош. Потому что, если вы это позволите, Faces могут распознавать лица на фотографии, а приложение Фотографии может всплыть тогда, когда это уместно и предложить вам отправить их им. Более того, благодаря таким вещам, как обнаружение событий, если вы отправляете фотографии кому-то, кто так же работает с iOS 12, он может предложить поделиться с вами связанными с этим событием фотографиями из своей библиотеки.

Это как теннис воспоминаниями, а я думаю, что это станет очень популярно.

Обзор iOS 12_какая она сейчас и что ожидать в дальнейшем - двойная камера

Эффекты для живых фотографий, такие как петля, отскок и длительная выдержка, так же будут предложены для фотографий, которые, по мнению системы, им подойдут.

Мне так же нравится улучшенная информационная плотность в представлении альбомов, которая заменяет то, что раньше было стеной из миниатюр, только самыми важными из них, а затем текстовым списком типов мультимедиа. Это не только ускоряет прокрутку, но и значительно ускоряет визуальный анализ различных разделов.

Дополненная реальность, безусловно, является наиболее современным и интересным трендом мобильных технологий сегодня. Так же очень важным атрибутом наших смартфонов остаётся качественная камера. Поэтому вовсе не удивительно, что развитие iOS 12 затронуло данные аспекты. В следующей части обзора iOS 12 мы рассмотрим немало интересного, например, новые возможности Siri и подробно разберём функцию Screen Time.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Извините, для комментирования необходимо войти.

Подпишитесь!

Читайте также:

Подпишитесь на рассылку!

Не беспокойтесь, мы не спамим :-)

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: