Как использовать сканер LiDAR в iPhone 12 Pro
У вас есть сканер LiDAR, если у вас есть iPhone 12 Pro, iPhone 12 Pro Max или iPad Pro, но Apple, похоже, не дает вам возможности его использовать. Вот как это сделать, что вам нужно и почему LiDAR так полезен.
LiDAR является частью iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro, но вас простят за то, что вы этого не заметили. Apple почти не упоминает об этом, и на телефоне нет приложения LiDAR, которое можно было бы попробовать.
Учитывая, что одно из его основных применений — фотография, вы ожидаете каких-то элементов управления LiDAR в приложении камеры или, по крайней мере, чего-то в настройках. Но нет ни того, ни другого.
Также мало стимулов искать такие элементы управления, потому что, пока вы не увидите их в действии, трудно понять, что LiDAR может для вас сделать. Технология сканирует вашу среду, создавая ее трехмерное изображение, и это изменит качество работы AR и VR.
На данный момент Apple, похоже, рада позволить LiDAR тонко помочь вам тем, как он дополняет существующие приложения и функции.
Как вы уже используете LiDAR
Если вы ранее отказались от использования приложения Apple Measure, попробуйте еще раз. Приложению теперь помогает LiDAR, и это заметно улучшило его.
Теперь можно быстрее начать использовать Measure, потому что он быстрее распознает окружающую среду. А поскольку LiDAR работает для сканирования всей окружающей среды, измерения, которые вы выполняете, более точны.
Это теория, а на практике вы обнаружите, что Measure более полезен, чем раньше. Вместо приложения, которое вы использовали для грубых измерений, когда у вас не было рулетки, теперь оно достаточно хорошее и быстрое, чтобы использовать его где угодно.
Далее, хотя это и сложнее увидеть, LiDAR также ускорил работу автофокуса вашей камеры. Опять же, это потому, что LiDAR отображает окружающую среду вокруг вас, поэтому он начинает вычислять, насколько далеко или близко находится объект, когда вы нажимаете кнопку, чтобы сделать снимок.
Однако, если измерения и автофокус — единственные заметные варианты использования LiDAR от Apple, уже существуют сторонние приложения, которые будут делать гораздо больше. Их очень много, и большинство из них похоже на эксперименты по выяснению того, что возможно.
Но в целом они также, как правило, хороши в одном из двух. Либо они отлично справляются со съемкой трехмерного изображения вашего окружения, похожего на фотографию, либо лучше снимают изображение объекта.
Это баланс между достаточно медленным сканированием, чтобы избежать размытия, и достаточно быстрым, чтобы закончить, пока приложение все еще может хранить данные.
Захват всей вашей среды
Используйте Canvas: Pocket 3D Room Scanner для iPhone — бесплатно в магазине приложений iOS — и вы можете сканировать свое окружение. Встаньте посреди комнаты, коснитесь элементов управления, похожих на измерения, а затем медленно развернитесь.
То, что вы видите на экране холста, похоже на голодек из «Звездного пути». Рядом с камерой, видимой прямо перед вами, есть сетка. Когда вы поворачиваетесь, сетка заполняется изображением вашего окружения.
Двигайтесь слишком быстро, и получаемое изображение будет недостаточно детализированным. Если двигаться слишком медленно, приложению может не хватить памяти до того, как вы завершите сканирование. Так что это компромисс между деталями и полнотой, но он дает вам 360-градусное изображение вашей комнаты.
Прямо здесь, на iPhone, вы можете уменьшить масштаб, чтобы увидеть изоморфную проекцию комнаты, повернуть ее жестом и увеличить, чтобы увидеть ее под любым углом. Проведите пальцем по экрану, чтобы показать комнату крупным планом на весь экран, и затем вы можете провести пальцем по экрану, чтобы передвигаться, или физически переместить телефон.
Физическое перемещение телефона показывает, как выглядит захваченное окружение, когда вы поворачиваетесь. Но вам не обязательно находиться в той же среде, в которой вы запечатлели.
Вместо этого вы можете взять свой телефон и изучить сканированное изображение в любом другом месте. Встаньте, например, в поле и посмотрите на свой офис на экране iPhone. Двигайтесь по полю, и экран будет выглядеть так, как будто вы перемещаетесь по офису.
Нет сомнений — в будущем полицейские собираются делать снимки мест преступлений с помощью LiDAR. Это только вопрос времени, когда такое сканирование даст решающую улику в эпизоде «Морской полиции».
Даже поспешное сканирование позволяет вернуться позже, чтобы измерить объекты в окружающей среде.
Сканирование объектов с помощью LiDAR
Вы уже видели это на некоторых устройствах Apple. С помощью AR и отсканированных изображений ваш iPhone может показать вам, как, скажем, Mac Pro будет выглядеть на вашем столе. Сканеры LiDAR позволяют захватывать изображение объекта и делать это самостоятельно.
Canvas на это способен, хотя в нашем тестировании он был оптимизирован для сканирования комнат. Точно так же бесплатное приложение 3D-сканера может работать с комнатами, но оно кажется лучшим для захвата объектов.
Опять же, количество приложений для сканирования LiDAR растет, и многие из них можно попробовать бесплатно.
И снова приложение 3D Scanner напоминает голодек тем, как оно представляет собой сетку над вашим объектом, которая заполняется и заменяется при сканировании.
Что можно делать с помощью сканирования LiDAR
В следующий раз, когда вы переедете, сделайте LiDAR-сканирование любой новой собственности, которую вы собираетесь купить. Мы еще не достигли той стадии, когда приложения позволяют очень легко сканировать комнату, а затем добавлять отдельные сканированные изображения вашей мебели, но вы можете это сделать.
Более того, вы можете лучше понять размер квартир, сравнивая их. Возможность эффективно обойти каждую квартиру гораздо более интуитивно понятна, чем полагаться на планы этажей и размеры.
Или, если вы медленно снимаете аренду хранилища, то быстрое сканирование LiDAR визуально намного полезнее, чем перечисление количества оставшихся ящиков.
Все это приносит пользу вам, как пользователю, выполнявшему сканирование LiDAR или измерения и фотографии. Если у кого-то есть то же приложение, что и у вас, вы обычно можете отправить им отсканированное изображение.
И такие, как Canvas, включают возможность отправки отсканированного изображения онлайн. Это не то же самое, что перевернуть телефон, когда вы ходите по виртуальной комнате. Но вы можете увидеть отсканированное изображение на 360 градусов на вашем Mac.
Что ждет LiDAR дальше
Приложения будут становиться все более сложными по мере того, как разработчики исследуют технологию, и по мере того, как она становится более полезной, когда LiDAR станет обычным явлением. Это, несомненно, также будет распространяться на новые способы обмена или загрузки таких отсканированных изображений.
И, может быть, тогда мы увидим больше, может быть, тогда у нас также будет больше Apple AR.
Как использовать LiDAR: нашли 10 бесплатных программ для iPhone 12 Pro и iPad Pro
В закладки
LiDAR установлен в iPhone 12 Pro и 12 Pro Max, а также в iPad Pro. Он сканирует пространство и определяет очертания объектов в поле зрения.
В новых смартфонах, к примеру, именно благодаря ему портретный режим работает вместе с ночным, а в приложении «Рулетка» появляются новые фишки.
Сканер окружения повышает точность взаимодействия с дополненной реальностью и открывает массу дополнительных возможностей. Чтобы раскрыть их на 100%, разработчики массово взялись за новый софт. Мы собрали первые интересные программы в App Store, которые заточены под использование LiDAR.
Обратите внимание: некоторые из приложений в подборке без LiDAR вообще не работают, а другие ограничивают набор своих возможностей.
1. «Рулетка» — быстрое измерение человеческого роста
В стандарте приложение «Рулетка» должно быть установлено на iPhone 12 Pro. Тем не менее, если вы удаляли его на предыдущем смартфоне и использовали восстановление данных для перехода на новый, велика вероятность, что его снова придется загружать из App Store. Благо, это бесплатно.
«Рулетка» определяет размеры объектов с помощью дополненной реальности. Если запустить ее на iPhone 12 Pro и навести видоискатель на человека, приложение тут же покажет его рост. Причем, оно должно справиться с этой задачей, даже если испытуемый сидит.
Остальные возможности программы можно попробовать на любых других смартфонах: рост также получится измерить на них, но лишь вручную.
2. RoomScan LiDAR — создание поэтажных планов дома
Разработчики RoomScan LiDAR утверждают, что новый сенсор Apple идеально подходит для сканирования домов и создания поэтажных планов. Именно поэтому они переработали свой инструмент для работы с дополненной реальностью специально под iPhone 12 Pro, а также актуальную линейку iPad Pro.
Чтобы ускорить процесс сканирование помещений, разработчики RoomScan LiDAR также подключили движок Metal и решили максимально задействовать чипсеты Apple A12z Bionic и Apple A14 Bionic. Результат удивляет: вы можете создать подробный план дома в 3D и спланировать его ремонт.
Создатели приложения отдельно подчеркивают, что технологии, которые они используют в данном приложении, подкреплены патентом соответствующего Бюро США.
? Скачать RoomScan LiDAR (бесплатно + покупки)
3. magicplan — планирование ремонта и документация
Еще одно приложение, которое заточено под дизайнеров интерьера и владельцев недвижимости, озадаченных ремонтными работами. Оно также сканирует пространство для создания поэтажных планов помещения. Тем не менее, предлагает больше инструментов для перенесениях их из трех измерений в два.
Разработчики настаивают, что с помощью их приложения работа в полевых условиях упрощается. Речь про создание черновых планов помещения на месте, чего от дизайнера часто требуют заказчики. С iPhone 12 Pro или iPad Pro и LiDAR это можно сделать быстро — для этого же получится использовать отдельные лазерные дальномеры.
Функциональный набор приложения, кроме прочего, также включает работу со сметной и другой документацией, которая точно пригодится подрядчику.
? Скачать magicplan (бесплатно + покупки)
4. LiDAR Scanner 3D — быстрый сканер пространства
Это приложение, которое заточено под работу с iPhone 12 Pro и iPad Pro, представляет собой максимально быстрый 3D-сканер. С помощью него можно практически моментально превратить стену своего дома в трехмерную модель и сохранить полученный результат в форматах USDZ, OBJ, STL, PLY.
Отсканированные модели не содержат цветов и предназначены для дальнейшего использования в приложениях для работы с трехмерной графикой на компьютере или мобильных устройствах. По идее, это должно ощутимо сократить потраченное время на создание объектов с нуля.
Без LiDAR это приложение, увы, не работает. Поэтому его есть смысл устанавливать только на iPhone 12 Pro и iPad Pro.
? Скачать LiDAR Scanner 3D (бесплатно + покупки)
5. Heges 3D Scanner — определение объектов через LiDAR и Face ID
Еще одно приложение от предыдущего разработчика, которое может использовать не только LiDAR, но и Face ID. Собственно, поэтому его получится использовать не только на iPhone 12 Pro и iPad Pro, но также на iPhone X, XS, XR, 11, 11 Pro. Готовые «картинки» оно умеет сохранять в форматах STL и PLY.
Кроме прочего, оно также поддерживает возможность шаринга экрана. Это нужно для того, чтобы использовать фронтальную «батарею» камер True Depth, превратив в видоискатель любой другой девайс. Да, с LiDAR весь процесс значительно упрощается, но он пока доступен на ограниченном числе гаджетов.
Кстати, бесплатно с приложением можно только познакомиться. Чтобы активировать запись объекта, эту возможность придется оплатить.
? Скачать Heges 3D Scanner (бесплатно + покупки)
6. 3d Scanner App — сканирование объектов в 3D
Еще один сканер для объектов, который переносит их в трехмерное визуальное пространство и дает возможность использовать в форматах USDZ, OBJ, GLTF, GLB, DAE, STL. Их получится перенести в место, смоделированное на любом другом устройстве.
Описанные выше форматы можно добавить в Blender, 3dsMax, SketchUp, Maya и другой подходящий софт для трехмерного моделирования. Важной особенностью приложения является возможность сохранения размеров объектов, которые определяются при сканировании.
Приложение можно использовать абсолютно бесплатно без каких-либо ограничений.
7. AR COPY & PASTE — копирование и вставка трехмерных объектов
Данное приложение предназначено для копирования и вставки трехмерных объектов на iPhone 12 Pro и iPad Pro с помощью LiDAR. Ни на каких других гаджетах, по понятным причинам, оно полноценно не функционирует — можете даже не пробовать.
Собственно, суть программы проста: отсканировать объект и сохранить его или скопировать в другое пространство через дополненную реальность.
8. Hello How Low — видео с дополненной реальностью
Любопытный способ разнообразить свои видеоролики с помощью эффектов, завязанных на дополненной реальности. С помощью LiDAR приложение определяет очертания человека или другого главного объекта и дает возможность вставлять его на любой интересный фон. Получается неординарный результат.
С помощью встроенным покупок в приложении можно значительно расширить список встроенных фильтров.
? Скачать Hello How Low (бесплатно + покупки)
9. Record3D — ролики с дополненной реальностью
Еще одно любопытное приложение для создания роликов с использованием дополненной реальности. Оно сканирует объект с помощью Face ID или LiDAR и дает возможность использовать его в видеозаписях. Результат получается сюрреалистическим, но вполне интересным.
Отдельного внимания заслуживает возможность сохранения полученных изображений в формате RGBD для их дальнейшего использования в другом поддерживаемом софте.
Для того, чтобы бесплатно протестировать LiDAR в iPhone 12 Pro или iPad Pro, приложение предлагает три видеозаписи. В дальнейшем его придется приобрести.
? Скачать Record3D (бесплатно + покупки)
10. CyberWave — музыкальная визуализация через LiDAR
Без LiDAR данное приложение не работает. С помощью него же оно может создавать визуализацию музыкальных композиций в окружающем пространстве. Достаточно лишь включить программу и активировать воспроизведение любимых треков. Окружающий мир тут же начнет меняться через экран мобильного устройства.
Главное ограничение приложения: оно работает только с музыкой, которая не оснащена через DRM. Поэтому, увы, Apple Music в пролете.
? Скачать CyberWave (бесплатно + покупки)
? Используй лидар и держи свой айфон в красивом чехле:
▪️ Слева пластиковый Guess — 2 990 руб.
▪️ В центре кевларовый Pitaka — 5 990 руб.
▪️ Справа силиконовый Apple — 4 990 руб.
В закладки
How to Use LiDAR on Your iPhone 13 Pro and Pro Max
Last year, Apple brought LiDAR scanning to its smartphone lineup (after being available on iPad Pro). And this year, that same feature is found across a couple of iPhone 13 models. Since this is still a new (and somewhat unexplored) feature, we’re here to help you understand it. So, let’s talk about how to use LiDAR on your iPhone 13 Pro and Pro Max.
Keep in mind that the LiDAR scanner is found on the iPhone 13 Pro and Pro Max models. That means that iPhone 13 ‘standard’ and Mini don’t have this feature. And also, LiDAR can be found on last year’s iPhone ‘Pro’ models as well.
What Exactly Is LiDAR?
In general, LiDAR is used to build a 3D model of any type of environment. That means that LiDAR helps your iPhone understand its physical surroundings.
It’s important to understand that Apple didn’t invent LiDAR. This technology has been used for a while in airplanes and helicopters, providing topographic and bathymetric measurements, letting government agencies examine natural and manmade environments with great accuracy. Of course, there are many other possible uses of LiDAR as well.
With that said, know that Apple has optimized LiDAR for use in smartphones. For the most part, it’s used in AR (augmented reality) apps that let you interact with virtual objects in your physical environment.
Where Is the iPhone 13 Pro’s LiDAR Scanner Located?
When it comes to the iPhone 13 lineup, you’ll find the LiDAR scanner placed on the backside underneath your iPhone’s three cameras.
More precisely, the LiDAR scanner is the dark circle opposite the flash. And since you can find the LiDAR scanner only on the backside of your iPhone, this feature can only be used with rear-facing cameras.
How to Use LiDAR on Your iPhone 13?
You can’t use LiDAR on its own, as iOS doesn’t provide you with direct access to this feature. That means that you need to use an app that has support for LiDAR scanning, which is often combined with some other feature.
For example, you can utilize LiDAR via the Camera app. If you take a look at your iPhone 13’s camera specs, you’ll see a step forward in comparison to the previous generation. Aside from bigger sensors and other improvements, iOS 15 also enhances how the Camera app uses liDAR.
More precisely, you’ll use LiDAR each time you take a low-light photo. That’s because iOS 15 will automatically trigger LiDAR scanning in low-light conditions, helping your iPhone’s camera auto-focus much faster and provide better-contrasted images at night.
Another excellent example of how LiDAR is utilized in iOS is Apple’s Measure app, turning your phone into a tape measure. That app works across a vast range of iPhones, relying on their camera systems. However, if you have a LiDAR-equipped iPhone, you’ll get much faster and more accurate measurements of your physical environment.
What Else You Can Do with LiDAR on iPhone?
We don’t have too many examples of third-party iOS apps utilizing LiDAR. However, what’s available now gives you a taste of what to expect. So, here are some of the best apps that let you experience LiDAR in all of its glory.
- IKEA Place: As a way to let you test-drive its furniture, IKEA offers a way to preview true-to-scale models in your own apartment. That’s done via the IKEA Place app, which brings a huge selection of furniture, letting you reposition it and move it around your home. And also, the app enables you to add more than a single piece of furniture.
- Canvas (Pocket 3D Room Scanner): This app is used by professionals who need 3D models of different types of spaces (interiors). As its name says, Canvas lets you scan your home using iPhone’s LiDAR scanner, translating those measurements into a 3D model that can be edited using applications like AutoCAD, Revit, SketchUp, and similar.
- Polycam (LiDAR & 3D Scanner): In many ways, Polycam is similar to Canvas. However, what’s interesting about this app is the way it generates 3D models. Of course, you can use LiDAR to create accurate models of any environment or individual object. However, you can generate 3D captures from images as well, which can be later edited using 3D software.
- Playground AR: Physics Sandbox: And lastly, iOS games can also use LiDAR. In this case, we have an excellent example of how you can create virtual worlds inside your own home. And also, you get to interact with those objects in real-time, using modifiers that affect your virtual creations.
Want to learn more about your brand-new phone? If that’s so, make sure to check our latest iPhone 13-related articles. Aside from news, you’ll find a nice range of guides and tutorials, showing you what’s new in the 2021 iPhone generation.
And finally, thanks for reading! That would be all on how to use LiDAR on your iPhone 13 Pro and Pro Max. In case of any questions, make sure to use the comments section below.
How to use the LiDAR scanner in iPhone 12 Pro
You’ve got a LiDAR scanner if you’ve got an iPhone 12 Pro, iPhone 12 Pro Max, or an iPad Pro, but Apple doesn’t appear to give you any way to use it. Here’s how you can, what you need, and why LiDAR is so useful.
LiDAR is part of the iPhone 12 Pro, the iPhone 12 Pro Max, and the iPad Pro, but you could be forgiven for not even noticing. Apple barely mentions it at all, and there is no LiDAR app on the phone for you to try.
Given that one of its key uses is in photography, you’d expect some kind of LiDAR controls in the Camera app, or at least something in Settings. But there’s neither.
There’s also little incentive to go looking for such controls because until you’ve seen it in action, it’s hard to grasp just what LiDAR can do for you. The technology scans your environment, building up a 3D image of it, and that’s going to change how well AR and VR works.
For now, Apple seems happy to let LiDAR subtly help you out by how it supplements existing apps and functions.
How you’re already using LiDAR
If you’ve previously given up on using Apple’s Measure app, try it again. The app is now aided by LiDAR and that’s improved it noticeably.
Measure is now faster to start using, because it senses its surroundings quicker. And because LiDAR is working to scan your whole environment, measurements you make are more accurate.
That’s the theory and in practice, you find that Measure is just more useful than it used to be. Rather than an app you used for rough measurements when you didn’t have a tape measure, it’s now good enough, and quick enough, to use anywhere.
Next, while it’s harder to see, LiDAR has also made your Camera’s autofocus work faster. Again, it’s because LiDAR maps out the environment around you, so it’s begun calculating just how far or near an object is, as you tap the button to take the shot.
If Measure and autofocus are the only two discernible uses of LiDAR from Apple, though, there are already third-party apps that will do much more. There are very many of these, and most feel like experiments in finding out what’s possible.
But broadly, they also tend to be good at one of two things. Either they are great at capturing a photograph-like 3D image of your environment, or they’re better at capturing an image of an object.
It’s a balance between scanning slowly enough to avoid blur, and quickly enough to finish while the app can still store the data
Capturing your whole environment
Use Canvas: Pocket 3D Room Scanner for iPhone — free on the iOS App Store — and you can scan your surroundings. Stand in the middle of the room, tap the Measure-like controls, and then slowly turn around.
What you see through the Canvas screen is like standing in a “Star Trek” holodeck. Alongside a camera view of what’s immediately in front of you, there’s a grid next to it. As you turn, the grid gets filled in which an image of your surroundings.
Move too quickly, and the resulting image is low on detail. Move too slowly, and the app can run out of memory before you complete the scan. So it’s a compromise between detail and completeness, but what it gets you is a 360 degree image of your room.
Right there on the iPhone, you can choose to zoom out to see an isomorphic projection of the room, rotate it with a gesture, and zoom in to see it from any angle. Swipe to show the room in closeup full screen, and you can then either swipe to move around — or physically move the phone.
Physically moving the phone shows you what the captured environment looks like as you turn around. But you don’t have to be in that same environment that you captured.
You can instead take your phone and examine the scan anywhere else. Stand outside in field, for instance, and see your office on your iPhone screen. Move around the field, and the screen looks as if you’re moving around the office.
No question — police officers are going to be taking LiDAR scans of crime scenes in the future. It’s only a matter of time before such a scan delivers the deciding clue in an episode of “NCIS.”
Even a hurried scan lets you go back in later to measure objects in the environment
Scanning objects with LiDAR
You’ve already seen this with selected Apple devices. Through AR, and scanned images, your iPhone can show you what, say, a Mac Pro would look like on your desk. LiDAR scanners let you capture an object’s image and do exactly that yourself.
Canvas is capable of this, though in our testing it felt optimized for scanning rooms. Equally, the free 3D Scanner App can and does do rooms, but it seems best at capturing objects.
Again, though, there are increasing numbers of LiDAR scanning apps, with many of them free to try.
And again, 3D Scanner App resembles a holodeck in how it presents a grid over your object, which gets filled in and replaced as you scan.
What you can do with LiDAR scans
Next time you move house, take a LiDAR scan of any new property you’re considering buying. We’re not at the stage yet where apps make it very easy to take a scan of a room, and then drop in separate scans of your furniture, but you can do it.
More usefully, you can get a better feel for the size of apartments when you’re comparing them. Being able to effectively walk around each apartment is much more intuitive than relying on floor plans and measurements.
Or if you’re slowly clearing out a storage rental, then taking a quick LiDAR scan is visually much more useful than listing how many boxes are left.
These are all uses that benefit you, as the user who took the LiDAR scans, or the measurements and photographs. If someone else has the same app as you, you can typically send them the scan.
And ones, such as Canvas, include an option to send a scan online. It’s not the same as being able to turn your phone around as you walk about a virtual room. But you can see a 360 degree scanned image on your Mac.
What’s next for LiDAR
Apps will get more sophisticated as developers explore the technology — and as it becomes more worth their while when LiDAR becomes commonplace. That will surely also extend to new ways of sharing or downloading such scans.
It’s a fair bet — and a recent supply chain prediction — that LiDAR will work its way into the whole iPhone range. And possibly even into the “Apple Car.”
And maybe then we’ll see more, maybe then we’ll also have more Apple AR, too.