Лидарные датчики что такое
Технология будущего. Зачем нужен LiDAR, который появился в iPad Pro
Судя по анализу железа нового iPad Pro, его главная особенность – это новый датчик расстояния LiDAR.
Apple говорит, что NASA отправит с ним людей на Марс, а многие думают, что это прокачанный Face ID. Но многие пока не понимают, как его будут использовать разработчики.
Мы разобрались, в каких индустриях лидар используют прямо сейчас, чем его датчик отличается от чёлки в iPhone, и кому на самом деле нужна эта новая версия планшета.
Спойлер: произошла революция.
Как работает обычный лидар
По принципу работы радар и лидар отличаются только в источнике энергии, которым они измеряют величины. В первом это радио-волны, во втором лазер. Чаще всего инфракрасный, невидимый человеком.
Название LiDAR идёт от аббревиатуры light detection and ranging, на русском как «обнаружение и определение дальности через свет»
Простейшая система работы такая:
- 1. Излучатель бьёт лазером со скоростью света
2. Ресивер получает его обратно
3. Компьютер рассчитывает время возвращения луча
4. Формируется информация о расстоянии до объекта
Скорость света – величина неизменная, она всегда одинакова. Считывая разницу в скорости возвращения луча, можно составить глубинную 3D-карту местности, улицы или комнаты. Масштаб и точность такой карты зависит от размера датчиков, количества лучей, их яркости и множества других факторов.
Например, вот здесь можно пощупать информацию, которая получается на выходе сенсора для автомобилей OS1 от компании OUSTER.
NASA составила огромный список того, что умеют лидеры разного типа.
В зависимости от размера и точности сенсора, можно получить следующие данные:
Излучатели отличаются размерами, мощностью, типом лучей, их количеством, статичностью и многим другим. Их цепляют на спутники, самолёты, дроны и автомобили.
Учитывая, сколько материала можно собрать и обработать, становится понятно, что лидар может быть полезен в десятке разных областей. Пройдёмся по некоторым.
Технологию применяют в автопилотах, космосе и земледелии
С помощью сенсора можно предположить, какую область зальёт при наводнении
Все сканеры работают за счёт лучей, но площадь покрытия зависит от их количества. Это может был один лазер, который сканирует плотность газа, или полоса, которая формирует карту глубины двухмерной территории, как на примере выше.
В третьем виде излучатель бьёт квадратным полем, как это сделано в iPad Pro, и формирует объёмный отпечаток помещения, здания, метеорита и так далее.
Самоуправляемые машины выглядят самым очевидным применением для LiDAR. Почти каждая компания внедряет их по несколько штук за раз в свои проекты.
С другой стороны, Элон Маск год назад агрессивно противился им и сказал, что распознавание объектов эффективнее. Директор ИИ в Tesla Андрей Карпати считает лидар ненадёжным “костылём” по той же причине.
Анализ биосферы проводят датчиками повсеместно. У NASA есть список миссий с отчётами по ним. В них исследуют состояние озонового слоя, ищут связь выбросов и климата и изучают экосистему. Для последнего иногда даже задействуют спутники.
Но в основном в самолёты или дроны встраивают лазеры с приёмником, которые как валик с краской накрывают территорию под собой. А учёные на базе этих данных строят карты материалов и грунта.
Агрикультура и городское планирование занимают первое место по применению LiDAR. Анализ земли и воздуха помогает выбрать места для плодородных полей – такие, чтобы избежать оползней и загрязнённого воздуха.
LiDAR не умеет делать то, что может Face ID. И наоборот
Разобрались, что LiDAR стреляет лазером из дронов, самолётов и спутников. В iPad Pro это работает по тому же принципу, но на “минималках”.
В iPad Pro стоит не один луч, а 1152 штук в шахматном порядке.
Расчёт сделал так. Судя по изображению в обзоре, айпэд выпускает лазеры в 9 секторов. В каждом по 8 точек на ряд, который дублируется по диагонали. Получаем 8*8*2*9=1152.
Лучи крупнее в диаметре и намного дальше друг от друга, чем в Face ID. Из-за этого планшет технически не сможет составить точную карту глубины, потому что не считывает волосы и даже крупные детали, например уши.
Вот почему портретного режима в нём нет.
Зато у LiDAR шире покрытие. В отличие от Face ID, работает это приблизительно так:
- 1. Излучатель бьёт дальше крупными точками
2. «Приёмник» их ловит
3. Процессор A12Z собирает из отметок полигоны
4. Из полигонов под разными углами составляется карта
Точный сенсор айпэда нужен везде. Развлечениям и образованию особенно
Пока система стоит в сравнительно непопулярном устройстве, ей мало кто будет пользоваться. Вот только парк AR-устройств уже огромный, компания зря время не теряли.
Всё те же люди продолжат использовать AR-приложения, просто чаще. Раньше текстуры прыгали друг на друга, а положение объектов неудачно отслеживалось.
- 1. Студенты и профессоры с приложением по анатомии
2. Дизайнеры квартир с быстрым составлением плана
3. Ритейлеры, вроде IKEA, которые удобно покажут свои товары
4. Музеи смогут рендерить в AR скульптуры, а не только картины
Это та часть, которая хоть как-то активна в дополненной реальности. Скорее всего, теперь к ней увереннее подключатся спорт и бьюти-сфера.
Apple такая же технологичная компания, как и все остальные. Бывает, что инновации не заходят в массы, как это было с 3D Touch, и их постепенно выпилывают. Но мне кажется, что LiDAR за следующие десятилетие взлетит до ключевой технологии.
В ближайшие годы сканер рискует стать стандартом из-за AR
Если у вас iPhone 7 или новее, откройте сайт Apple и активируйте режим дополненной реальности, например с iPad или MacBook Pro.
Этот опыт будет идеальным, чтобы люди начали включать игры и приложения не на один раз рад интереса, а пользовались ими постоянно.
А там и до звонков по FaceTime в стиле Звёздных Войн недалеко. Взгляните, к примеру, научились заменять на искусственный в iOS 13.
Дополненная реальность уже здесь, и у неё нет финала
То, что раньше было неудачным Kinect для XBOX, переродилось в киллер-фичу iOS
Пока я искал информацию для материала, заметил одну вещь. Большинство заголовков о развитии лидаров вышли в последние два года, и в основном в 2019-м. Видно, что индустрия плотно развивается, в ней около десятка конкурентов, и впереди много лет прогресса.
Бесконечные маски в Инстаграме, перебрасывающие сразу на сайт QR-метки, грядущие уведомления об опасных контактах от коллаборации Apple | Google.
В общем, реальности смешиваются и, как это бывает с прогрессом, незаметно для его участников. LiDAR может станет ступенью для осязания всего процесса.
Ходит много слухов о том, что грядущие iPhone 12 Pro тоже оснастят таким сенсором. С учётом потенциала и места для улучшения технологии, легко верю в то, что Apple лучше нас понимает важность лидара, а для использования AR сканер станет критичным параметром.
Digitrode
цифровая электроника вычислительная техника встраиваемые системы
Что такое твердотельный лидар? Он быстрее, дешевле, лучше механического?
Твердотельный лидар (LiDAR или устройство обнаружения, идентификации и определения дальности с помощью света) приобретает популярность в качестве перспективной технологии, которая дешевле, быстрее и обеспечивает более высокое разрешение, чем традиционные лидары. При этом существуют прогнозы, что его ценовой диапазон может в конечном итоге упасть ниже 100 долларов за штуку.
Будущее автономной навигации в транспортных средствах, робототехнике и БПЛА будет в значительной степени зависеть от лидаров. Они используются наряду с другими датчиками, такими как камеры и радары для картирования, обнаружения и идентификации объектов, а также навигации, не полагаясь на условия освещения.
Более экономичные лидары могли бы ускорить развите отраслей, которые полагаются на такие датчики, включая автономные транспортные средства, услуги доставки с помощью дронов и т.п. Это может также повлиять на другие области, такие как виртуальная реальность.
Что такое твердотельный лидар?
Чтобы объяснить разницу в технологиях, традиционные лидарные системы являются электромеханическими – они полагаются на движущиеся части, которые должны быть точными, чтобы получать измерения, подходящие для автономной навигации. Эти измерения базируются на фотонах от лазера, которые затем отражаются от поверхности и концентрируются в коллекторе, который может определять расстояния до объектов.
В принципе, это практически то же, что и радар, но работает со светом. Лазер и коллектор должны вращаться для сканирования области вокруг них. При этом движущиеся части ограничивают размер системы, поскольку их небольшие и компактные детали увеличивают трудности при точном изготовлении, что затем приводят к увеличению стоимости.
Кроме того, движущиеся части означают, что они могут быть восприимчивы к возмущениям, поэтому движение по пересеченной местности, например, может иметь негативные последствия для показаний. Несмотря на высокую стоимость, чувствительность к движению и трудность в изготовлении, лидар очень полезен для создания 3D-карт окружающего пространства.
С другой стороны, твердотельный лидар – это система, полностью построенная на кремниевом чипе. Не задействованы движущиеся части, которые не только более устойчивы к вибрациям, но могут быть уменьшены намного легче. Это делает устройство дешевле.
Чтобы обеспечить сканирование, твердотельный лидар использует концепцию, похожую на фазированную решетку радио. В фазированной решетке несколько передатчиков излучают сигналы определенной последовательности и фазы для создания направленной широковещательной передачи. Размер, фокус и направление этой трансляции могут быть изменены без физической перестройки передатчиков. Эта же концепция применяется в твердотельном лидаре для реализации оптической фазированной решетки – оптические излучатели отправляют всплески фотонов в конкретных последовательностях и фазах для создания направленного излучения. Опять же, для достижения этой цели физическая настройка оптических излучателей не требуется, что делает систему устойчивой к вибрациям и более компактной.
В дополнение к оптической фазированной матрице существует также микроэлектромеханическая система (MEMS) на основе концепции лидара, которая использует микрозеркала для направленного контроля излучения и фокусировки. MEMS лидар – это технология твердотельных устройств, которые Alibaba планирует использовать в партнерстве с RoboSense в автономных транспортных средствах, получивших название «G Plus».
Кроме того, основанный в 2016 году израильский стартап Innoviz Technologies также очень успешно работает с твердотельными лидарами. В настоящее время у них есть партнерство с BMW, позволяющее оснастить автомобили своей системой InnovizOne в моделях, которые должны были выпущены в 2019 году.
Лидары будущего: 11 000 лазеров вместо 128
Принцип работы лидарных датчиков заключается в отражении света лазеров от окружающих объектов и создании трехмерного облака точек. Первый современный трехмерный лидар был создан для конкурса DARPA Grand Challenge 2005 года, основного конкурса среди беспилотных автомобилей. В наши дни многие эксперты продолжают рассматривать лидары в качестве ключевой технологии для беспилотных машин.
Сейчас десятки стартапов пытаются создать более дешевые лидары. Многие из них пытаются снизить цену, используя один лазерный луч, который сканируется в двухкоординатной модели.
Для ясности отметим, что новый лидар от Ibeo еще не выпущен, а потому мы не знаем насколько хорошо он будет работать, а показатели лидаров от Sense далеки от производительности лучших лидаров от Velodyne. Дальность лидаров от Sense – от 15 до 40 метров, в то время как некоторые модели Velodyne работают на расстоянии 200 метров.
Тем не менее, генеральный директор Sense Скотт Берроуз говорит, что их компания только начинает свою работу. Sense работает над новым датчиком c дальностью работы в 200 метров, который должен выйти в следующем году. Планируется, что эта модель сможет соревноваться с лидерами рынка. В свою очередь, Ibeo имеет глубокие связи с автомобильной промышленностью, что позволяет компании заключать крупные сделки с автопроизводителями-партнерами.
Микротрансферная печать
И Sense, и Ibeo используют недорогой тип лазеров – лазеры с вертикальным излучением (VCSEL). Эти лазеры могут производиться с использованием привычных полупроводниковых технологий, что позволяет разместить тысячи или даже миллионы устройств на одной пластине. Ранее мы рассказывали о другом стартапе под названием Ouster, их лидар основан на VCSEL.
В лидаре от Sense намного больше лазеров, чем в лидаре от Ouster. Чтобы добиться этого, Sense используют технологию, которая называется микротрансферная печать.
Разместить несколько тысяч VCSEL на одном чипе нетрудно. Но при изготовлении чипа, на котором плотно расположены 11 000 лазеров, у вас могут возникнуть проблемы. Лазеры в таком количестве на малой площади могут выделять большой объем тепла. Также у вас могут возникнуть проблемы с безопасностью для глаз. Лазеры с вертикальным излучением работают на частоте, которая может повредить сетчатку, а 11 000 лазеров, направленных на человеческий глаз, могут привести к необратимым травмам.
У Sense есть разумное решение этой проблемы: распределение лазеров. После установки тысяч лазеров с вертикальным излучением на пластину из арсенида галлия, Sense переносит их на новую теплопроводящую керамическую подложку, разрежая плотность установки лазеров.
В этот момент в дело вступает микротрансферная печать. В этой технологии используется резиновый штамп, на дне которого расположена сетка с резиновыми выступами. Когда один из выступов касается лазера с вертикальными излучением, он может приподнять его с помощью силы статического электричества.
Выступы расположены так, что один из каждых n чипов (отсчитывая и по горизонтали, и по вертикали) приподнимается с исходной пластины и помещается на новую подложку. Далее, штамп собирает набор чипов из идущих далее слотов для следующего лидара. Таким образом, одна кремниевая пластина может образовывать сборки на 11 000 лазеров для множества лидаров.
Sense стремится увеличить радиус действия своих лидаров
Вместо того чтобы сканировать сцену последовательно (так, как это делают большинство лидаров), лидары от Sense используют свои 11 000 лазеров чтобы осветить всю сцену за одну вспышку, после чего датчик измеряет время, за которое обратная вспышка отражается со всех направлений.
Вспышечные лидары вроде этого, как правило, имеют малую дальность действия, поскольку освещение всей сцены приводит к тому, что свет теряется в промежутках между пикселями. По сути, Sense решают эту проблему методом грубой силы, используя большое количество света для освещения сцены. Распределение лазеров помогает справляться с выделяемым теплом и вредом для человеческих глаз – проблемами, которые могли бы возникать при подобном подходе.
Тем не менее, генеральный директор Ouster Ангус Паскала отмечает, что подход Sense имеет существенный недостаток: высокое энергопотребление. “Чем больше электроэнергии, тем больше датчики” – комментарий Ангуса для Ars. “Чем больше датчики, тем выше цена и больше сложность интеграции”.
Несмотря на то, что нынешние продукты Sense потребляют больше электроэнергии, чем лидары от ведущих компаний, они имеют меньшую дальность действия. Также лидары от Ouster и Velodyne вращаются на 360 градусов, в то время как вам понадобится несколько лидаров от Sense для того, чтобы получить аналогичное покрытие.
Берроуз планирует выпустить лидар с дальностью действия в 200 метров в 2021 году. У этого лидара будет более 11 000 лазеров, хотя точное количество еще неизвестно. Основной задачей будет достижение большей дальности действия без столь же значительного увеличения энергопотребления.
Однофотонные лавинные диоды входят в моду
Один из вариантов решения этой задачи – использование массива однофотонных лавинных диодов (SPAD) для определения отраженных лазерных лучей в лидарных датчиках нового поколения. Это еще одно сходство с лидарами от Ouster, в которых используются SPAD. В интервью Ars Technica в 2018 году Пакала сказал, что его долгосрочная стратегия заключается в использовании двумерных массивов лазеров с вертикальным излучением и датчиков на однофотонных лавинных диодах, что позволит создать лидары, которые работают как камеры – продукт, который Sense планирует представить в следующем году.
Как следует из названия, датчики на однофотонных лавинных диодах достаточно чувствительны, чтобы засечь один фотон. Как и лазеры с вертикальным излучением, они могут быть изготовлены с использованием привычных технологий работы с кремнием, что позволяет им быть дешевыми в терминах масштабирования. Большая чувствительность этих датчиков может помочь Sense достичь большей дальности действия для имеющегося количества лазерного света.
Интересно, что Ibeo также планируют использовать однофотонные лавинные диоды в своих лидарах следующего поколения.
Ibeo – это не стартап. Некоторые из их лидаров участвовали в DARPA Grand Challenge 2005 года, хотя участие компании упущено из виду, потому что их лидары имели всего 4 линии сканирования, в то время как у лидаров Velodyne было 64. Ibeo совершили крупный переворот несколько лет назад, когда они получили контракт на поставку лидаров для Audi – первый случай, когда лидары были установлены в серийных автомобилях. Также миноритарным акционером Ibeo является ZF Friedrichshafen, что помогает им заключать еще больше контрактов на поставки датчиков для автомобилей.
В своем интервью, данном в четверг, операционный директор Ibeo Марио Брамм рассказал Ars, что лидар следующего поколения от Ibeo должен выйти в конце этого года и будет иметь массивы лазеров вертикального излучения и однофотонных лавинных диодов размерности 128 на 80. Ibeo стремятся к модульному дизайну, который позволит компании использовать различную оптику для создания диапазона моделей с разными возможностями – от лидаров дальнего действия с малым углом обзора, до широкоугольных лидаров с более коротким радиусом действия. Ibeo хотят сделать эти лидары достаточно дешевыми, чтобы их можно было продавать автомобильным концернам для массового производства, начиная с конца 2022 или начала 2023 года.
Очевидный вопрос заключается в том, как Ibeo будут решать проблемы с температурой и безопасностью для глаз, которые Sense решает с помощью микротрансферной печати. Одно из решений – использование высокочувствительных однофотонных лавинных диодов, благодаря чему Ibeo смогут уменьшить выходную мощность своих лазеров достаточно для того, чтобы избежать проблем с питанием и опасностью для человеческих глаз. Другим вариантом решения является использование непосредственного соединения между каждым лазером и датчиком, что приведет к уменьшению количества “потерянных” фотонов. Во время нашего разговора Брамм сказал, что низкая мощность является приоритетом для клиентов, представляющих автомобильный рынок.
С другой стороны, может оказаться, что этот подход трудно реализовать без технологии микротрансферной печати, которой пользуются Sense, в то время как Ibeo и Ouster будут пытаться создать твердотельные лидары без нее.
Поправка: сначала я заявил, что лазеры с вертикальным излучением, которыми пользуются Sense сделаны из кремния – на самом деле они основаны на арсениде галлия.
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Лидар: просто о сложном
LIDAR (Light Detection And Ranging — световая система обнаружения и измерения дальности) — технология, которая незаметно, но прочно входит в жизнь автолюбителей. Все больше автомобилей комплектуются лидар-сенсорами, а значит, пришло время рассказать, что здесь к чему. Тем более, что DENSO стоит у истоков автомобильных лидар-технологий.
В середине 1930-х годов был изобретен ЭОП — электронно-оптический преобразователь, в котором электроны, выбитые инфракрасным излучением с фотокатода, разгонялись и фокусировались электромагнитным полем на аноде, буквально рисуя видимое излучение. Технология заинтересовала военных, и на этой основе немецкие и советские конструкторы создали несколько экспериментальных систем ночного видения. Причем немецкая система к концу Второй мировой войны даже пошла в серию. Активный инфракрасный прожектор подсвечивал местность, а оптический приемник улавливал отражение ИК-волн и выводил (пусть и нечеткую) картинку ночной местности.
Приборы ночного видения, созданные на принципе улавливания отраженных в ИК-диапазоне волн, с тех пор прошли долгую эволюцию, и постепенно инфракрасные оптические технологии перестали быть военным эксклюзивом. Принцип взаимодействия с отраженными инфракрасными волнами использует и современный лидар.
Прогресс сделал возможным поместить активный источник инфракрасного излучения и его приемник в компактный корпус. Еще в начале 1990-х годов автомобильным инженерам стало понятно, что при современном росте скоростей и плотности движения необходимо создать технологию автоматического распознавания препятствий впереди машины.
В 1996 году компания DENSO показала оптический датчик, который широким горизонтальным лучом «сканировал» местность впереди машины. Еще через год, в 1997 году, DENSO разработала первый в мире оптический датчик, работающий в двух измерениях. Так компания представила первый лидар современного вида.
Лидар направляет перед собой инфракрасный свет в широком диапазоне (до 180̊) на расстояние до 400 м. Свет частично отражается от препятствий впереди, а частично рассеивается. Отраженный импульс возвращается обратно, где воспринимается фотодиодом. Ток на фотодиоде пропорционален воздействующему свету. На основании принятого цифрового сигнала процессор определяет расстояние до препятствия, а в случае с движущимся впереди автомобилем — и его скорость. Множество ИК-лучей и их одновременная обработка позволяют лидару строить 3D-изображение окружающей обстановки:
Мастер на все руки
Помимо этого, благодаря особенностям отражения, лидар «умеет» читать разметку — она отражает ИК-лучи иначе, чем асфальт. Лидару также под силу определить влажность воздуха, наличие осадков и тумана. Впрочем, при интенсивном дожде и снеге лидар пасует и не может адекватно оценить информацию — инфракрасные лучи хаотично преломляются и отражаются каплями воды в воздухе. По этой причине лидар практически всегда дублируется субмиллиметровым радаром (первенство в установке которого на автомобиль, к слову, также принадлежит DENSO).
Сегодня на основе информации, полученной от оптического датчика-лидара, функционируют многие системы безопасности автомобиля. Это и адаптивный круиз-контроль, и система аварийного торможения, и система распознавания дорожной разметки и удержания в полосе. Большим плюсом лидара по сравнению с радаром является его относительно дешевизна, а также простота и отработанный процесс производства. Лидар можно сравнить с оптической технологией, применяемой в дистанционных пультах для бытовой техники — никто уже давно не удивляется их наличию. Примерно то же ждет лидар в контексте использования в автомобильной промышленности.
Создание все более сложных, умных и надежных систем безопасности — это одна из глобальных целей DENSO. Однако не стоит забывать и о простом. К примеру, о том, что основа основ безопасности автомобиля – это нормальный обзор. Который обеспечивают качественные щетки стеклоочистителя. Подобрать подходящие щетки DENSO можно с помощью электронного каталога.