eng
DOI: 10.22184/1992-4178.2021.203.2.102.107
Рассмотрены усовершенствованные системы помощи водителю (Advanced driver-assistance systems, ADAS). Приведена информация о структуре и функциях систем ADAS, а также примеры решений, предлагаемых для них рядом ведущих производителей.
Рассмотрены усовершенствованные системы помощи водителю (Advanced driver-assistance systems, ADAS). Приведена информация о структуре и функциях систем ADAS, а также примеры решений, предлагаемых для них рядом ведущих производителей.
Теги: adas lidars radars safety ultrasonic sensors video cameras безопасность видеокамеры лидары радары ультразвуковые датчики
Системы ADAS – удобство и безопасность
Н. Елисеев, к. т. н.
Одно из наиболее активно развивающихся и актуальных направлений современной электроники – различные автомобильные системы. Важное место среди них занимают усовершенствованные системы помощи водителю (Advanced driver-assistance systems, ADAS). Они значительно повышают как удобство управления транспортными средствами, так и их безопасность. Эти системы способны постоянно отслеживать дорожную обстановку и реагировать на ее изменение гораздо быстрее, чем человек. Сегодня всё больше новых автомобилей различного класса, в том числе относительно недорогих, оснащаются тем или иным вариантом таких систем. В данной статье рассматриваются структура и функции систем ADAS, а также примеры решений, предлагаемых для них рядом ведущих производителей.
Структура и функции систем ADAS
Системы ADAS включают целый ряд устройств, реализующих различные функции (рис. 1) [1, 2]. Рассмотрим основные составляющие ADAS, их особенности и назначение, а также некоторые используемые в ADAS технологии.
Видеокамеры
Камеры – одно из наиболее широко используемых устройств в системах ADAS. В ADAS могут использоваться одна или несколько видеокамер для формирования изображений и встраиваемые системы для обнаружения, анализа и отслеживания присутствующих на них объектов [1]. Камеры позволяют получать разнообразную информацию (цвет, контраст, текстура, расстояния и др.) [1, 3]. В системах ADAS используются камеры различных типов: монокулярные (с одним объективом), стерео, а также инфракрасные.
Монокулярные камеры могут использоваться для множества приложений, таких как обнаружение препятствий, пешеходов, полос движения и дорожных знаков, а также для наблюдения за водителем (Driver Monitoring System, DMS) [1, 2]. Одно из преимуществ таких камер – относительно низкие требования к вычислительным ресурсам для обработки изображений (по сравнению со стереокамерами).
Стереокамеры оснащены двумя или более объективами, что позволяет получать трехмерные (3D) изображения, которые могут быть использованы для оценки расстояний, в основном на небольших дистанциях (примерно до 30 м) [1]. Кроме того, их, как и монокулярные камеры, можно применять для обнаружения различных объектов.
Инфракрасные камеры имеют преимущество в условиях низкой освещенности или в темноте. ИК-камеры, используемые в системах ADAS, могут быть активными и пассивными [1]. В активных камерах применяется источник ИК-излучения, освещающий окружающие объекты, и сенсоры, регистрирующие отраженный свет. Сенсоры пассивных ИК-камер регистрируют тепловое излучение самих снимаемых объектов.
Радары
Радары могут измерять как расстояние до окружающих объектов, так и их скорость. Важные преимущества радара – способность работать в плохих погодных условиях (дождь, снег, туман) и низкой освещенности, большая дальность действия, а также относительно низкая стоимость. Автомобильные радары принято разделять по диапазону работы на системы ближнего (0,2–30 м), среднего (30–80 м) и дальнего (80–200 м) радиуса действия [1, 4].
Радары дальнего радиуса действия могут использоваться, в частности, для адаптивного круиз-контроля (Adaptive Cruise Control, ACC) и в системах автоматического экстренного торможения (Automatic Emergency Braking Systems, AEBS) [4]. К областям применения радаров ближнего / среднего действия относятся, например, предупреждение о движении транспорта в пересекающем направлении и мониторинг слепых зон (Blind-Spot Detection, BSD).
Лидары
Лидары (LiDAR – Light Detection and Ranging) направляют на окружающие объекты один или несколько лазерных лучей, регистрируют отраженное излучение и по времени прохождения сигнала до объекта и обратно определяют расстояние до него. Сканируя окружающее пространство, лидары также могут формировать его трехмерные изображения. Различные типы лидаров могут применяться в ADAS для решения ряда задач: автоматического экстренного торможения, обнаружения объектов (в том числе пешеходов), предотвращения столкновений, помощи при парковке и др. [1, 3, 5]. К недостаткам лидаров можно отнести большие массу, размеры и стоимость, а также сложность использования при плохих погодных условиях. Сегодня эти факторы ограничивают применение лидаров в автомобилях. Однако сейчас начинают появляться решения, в том числе твердотельные лидары, которые обладают гораздо меньшими массо-габаритными характеристиками и меньшей стоимостью, и за счет этого могут существенно расширить применение устройств данного типа в ADAS [5].
Ультразвуковые датчики
В ультразвуковых датчиках используют отраженные звуковые волны для расчета расстояния до объектов. Такие датчики имеют небольшой радиус действия – обычно около 2 м [6]. В автомобилях, в том числе в ADAS, ультразвуковые датчики используются в системах помощи при парковке (в том числе автоматической и параллельной), а также в некоторых приложениях для мониторинга слепых зон [1, 6]. К преимуществам ультразвуковых датчиков относятся сравнительно низкая стоимость, достаточно высокая надежность и способность работать ночью или в сложных условиях освещения.
Сочетание различных датчиков (sensor fusion)
Каждый из используемых в системах ADAS датчиков имеет свои ограничения, поэтому ни один из них не является оптимальным для всех приложений и не работает одинаково хорошо во всех условиях (табл. 1) [3, 7]. Это приводит к тому, что во многих случаях для решения поставленной задачи необходимо сочетать данные, получаемые от различных устройств. Сочетание датчиков позволяет сформировать более полную картину окружающей обстановки, повысить точность, надежность и стабильность получаемых результатов, расширить охватываемый диапазон расстояний и увеличить пространственное разрешение [1, 8]. Для реализации совместной обработки данных от датчиков различного типа необходимы специальные алгоритмы и высокая вычислительная мощность, но процессоры, используемые сегодня в автомобильных системах, а также современные вычислительные методы (например, методы глубокого обучения (deep learning)) [1, 9] позволяют решать такие задачи.
Системы V2X
V2X (Vehicle-to-Everytning) – это системы обмена информацией автомобилями между собой (V2V, Vehicle-to-Vehicle) и с другими объектами в окружающем пространстве: инфраструктурой (V2I, Vehicle-to-Infrastructure), мотоциклами (V2M, Vehicle-to-Motorcycle), устройствами / предметами (V2D, Vehicle-to-Device / object), пешеходами (V2P, Vehicle-to-Pedestrian) и др. [1, 3, 10]. Связь в системах V2X может быть реализована с помощью технологии DSRC (Dedicated Short Range Communication – беспроводная сеть малого радиуса действия) [11], основанной на протоколе IEEE 802.11p [12] (модификация Wi-Fi для беспроводной передачи данных между транспортными средствами, движущимися с высокими скоростями) либо с использованием сотовой связи (C-V2X) [11, 13, 14, 15].
Технологии V2X позволяют существенно расширить возможности ADAS за счет большего радиуса действия по сравнению с другими системами и дополнительной информации, получаемой посредством обмена данными с окружающими объектами, и тем самым существенно повысить безопасность дорожного движения. Кроме того, технологии V2X дают возможность оптимизировать транспортные потоки, уменьшить загруженность дорог и уменьшить воздействие транспорта на окружающую среду [10].
Примеры решений для систем ADAS
Различные решения для систем ADAS есть у компании NXP [16]. Первая группа устройств – автомобильные радары. Компания NXP предлагает комплексное решение для радарных систем, включающее микроконтроллеры, трансиверы (работающие на частоте 77 ГГц), подсистему управления питанием и интерфейсы [17]. В качестве возможных применений системы компания называет адаптивный круиз-контроль; автоматическое экстренное торможение; мониторинг слепых зон; предупреждение о наличии транспортных средств, движущихся в поперечном направлении (Cross Traffic Alert, CTA) впереди и сзади (FCTA / RCTA); помощь при смене полосы на дороге (Lane Change Assistance, LCA); помощь при парковке и др. Среди других предложений NXP для ADAS – решения для видеосистем, включающие микроконтроллеры, модули управления питанием и интерфейсные микросхемы [18]; вычислительные системы для обработки данных от различных датчиков, в том числе для реализации sensor fusion [19]; а также решения для V2Х [10].
Целый ряд решений для систем ADAS предлагает компания STMicroelectronics. Портфель продуктов компании включает 24- и 77-ГГц СВЧ МИС (Monolithic Microwave Integrated Circuit, MMIC) (трансиверы) для радаров; КМОП-датчики изображения с расширенным динамическим диапазоном (HDR); процессоры сигналов изображения (Image Signal Processors, ISP) со специальными аппаратными модулями для анализа видеоданных и коррекции искажений, вносимых объективами; микросхемы управления питанием и др. [2, 20].
В качестве примера комплексного решения на базе устройств STMicroelectronics можно привести камеру заднего вида с разрешением HD (рис. 2) [2, 21]. В данном решении используются HDR-датчик изображения VG6640; ISP-процессор STV0991, обеспечивающий изображение высокого качества с разрешением HD; регулятор напряжения L5965 и ряд других устройств.
Совместно с фирмой AdaSky компания STMicroelectronics разработала камеру VIPER, работающую в дальнем ИК-диапазоне [2, 22], в которой используется фирменная технология FD-SOI 28 нм компании STMicroelectronics [23].
STMicroelectronics также участвует в совместных разработках с фирмой MobilEye – одним из ведущих производителей систем ADAS на основе видеокамер [24]. В решениях MobilEye используются системы на кристалле (СнК) EyeQ различных поколений производства STMicroelectronics. Системы Mobileye поддерживают широкий набор функций ADAS – автоматическое экстренное торможение, предупреждение о выезде за пределы полосы движения (Lane Departure Warning, LDW), предупреждение о возможном столкновении (Forward Collision Warning, FCW), удержание полосы движения (Lane Keeping Assist, LKA), ассистент движения в пробке (Traffic Jam Assist, TJA), распознавание дорожных знаков и др. – всё это с помощью одной камеры, установленной на лобовом стекле, для обработки данных с которой используется СнК EyeQ.
Различные устройства и решения для ADAS есть у компании ON Semiconductor [25]. Среди них КМОП-датчики изображений, процессоры сигналов изображения, кремниевые фотоумножители (Silicon Photomultipliers, SiPM) для лидаров и др.
Решения для систем наблюдения за водителем (DMS) предлагает компания Seeing Machines [26]. DMS компании Seeing Machines состоит из небольшой инфракрасной камеры и осветительных приборов ближнего инфракрасного диапазона, установленных на передней панели автомобиля со стороны водителя и ориентированных на его лицо.
Видео с камеры передается в блок, содержащий фирменную систему FOVIO, где оно обрабатывается в реальном времени с помощью специальных алгоритмов и на основе полученной информации оценивается концентрация внимания водителя. Используемая в FOVIO технология предусматривает одновременное отслеживание ряда точек на лице, веках и зрачках водителя. Если водитель смотрит в сторону от дороги или закрывает глаза на более чем определенный период (который может зависеть, например, от скорости транспортного средства), DMS-система начнет выдавать серию предупреждений, чтобы побудить водителя снова сосредоточить внимание на дороге. Система надежно работает в различных условиях, включая прямой солнечный свет и полную темноту, и даже когда водитель носит солнцезащитные очки.
В 2020 году Seeing Machines представила новый вариант FOVIO, в котором используется СнК Xilinx Automotive Zynq‑7000 [27]. Это решение соответствует требованиям, предъявляемым Euro NCAP (The European New Car Assessment Programme – Европейская программа оценки новых автомобилей).
Недавно компании Seeing Machines и Qualcomm объявили [28] о совместной разработке новых решений для систем мониторинга водителей на основе технологий компании Seeing Machines и платформ Snapdragon Automotive Cockpit и Snapdragon Ride компании Qualcomm [29].
Вышеупомянутая СнК Xilinx Automotive Zynq‑7000, а также другие устройства компании Xilinx, например СнК Xilinx Automotive Zynq® UltraScale+™ MPSoC [30], могут использоваться для обработки данных, включая sensor fusion, и в других решениях для ADAS [30, 31]: камерах переднего вида (Forward Camera), 3D-системах кругового обзора, радарах, лидарах.
Интересное решение – технологию InWheelSense™ – представила недавно компания TDK [32–34]. В ней используется специальный модуль (рис. 3а) [33], в котором реализован сбор энергии (energy harvesting, EH) с использованием пьезоэлектрического эффекта (появление электрического поля при механической деформации). EH-модуль содержит элемент из цирконата-титаната свинца (ЦТС), который классифицируется как пьезоэлектрический (и сегнетоэлектрический) материал. С помощью этого элемента механическая энергия, вырабатываемая при давлении колеса на дорожное покрытие, преобразуется в электрическую энергию.
Модуль EH работает с колесами диаметром от 16 до 21 дюйма. Он устанавливается на колесо на стыке шины с диском (рис. 3б) [33], но не нарушает целостность герметичного уплотнения. Такая схема установки обеспечивает оптимальную выработку энергии.
Например, при движении со скоростью 105 км / ч на колесах диаметром 18 дюймов при каждом обороте будет генерироваться около 1 мВт мощности на один модуль [32, 34]. Если требуется больше мощности, технология позволяет добавить еще несколько EH-модулей на ободе того же колеса.
Возможность сбора энергии, обеспечиваемая технологией InWheelSense™, имеет важное значение, поскольку в системах ADAS используется все больше датчиков и вычислительных ресурсов и, соответственно, увеличивается потребность в энергии, необходимой для их работы.
Помимо генерации энергии, технология InWheelSense™ позволяет выполнять измерение ряда параметров. Это достигается за счет того, что воздействие на EH-модуль и, соответственно, форма передаваемого им сигнала зависят от скорости, ускорения, траектории автомобиля и др. (рис. 5) [33]. Используя эту информацию, можно определить указанные параметры. Существенно, что такие измерения не зависят от состояния атмосферы, освещенности и ряда других условий и могут существенно дополнить информативность систем ADAS.
Из российских производителей решения для систем ADAS предлагает, например, ООО «НПП «ИТЭЛМА» [35]. В разработанной компанией линейке программно-аппаратных систем помощи водителю в качестве сенсоров используются цифровые видеокамеры высокого разрешения и радиолокационные датчики диапазона 77 ГГц. Среди продуктов НПП «ИТЭЛМА» – многофункциональная фронтальная ADAS-камера, цифровая камера системы кругового обзора, система предотвращения аварий для автобуса.
Разработками устройств, которые могут применяться в ADAS, занимается также компания АО «ПКК Миландр» [36–38]. Автомобильный радар «МАРС‑2А1» [37, 38] предназначен для обнаружения объектов на дороге и обочине впереди транспортного средства, определения их координат (дальность, азимут, скорость) и ускорений, а также классификации обнаруженных объектов. Диапазон изменения рабочей частоты радара составляет от 24,05 до 24,25 ГГц, число одновременно обнаруживаемых целей – 32, минимальная дальность обнаружения – 1,2 м, максимальная – 200 м. Радар «МАРС‑2А1» может функционировать в режимах дальнего и ближнего действия. Увеличение дальности обнаружения (переход в режим дальнего действия) обеспечивается сужением сектора обзора и уменьшением ширины лучей диаграммы направленности приемной антенны.
Блок управления безопасностью автомобиля, разработанный АО «ПКК Миландр» [37], может выполнять функции центрального управляющего устройства в составе системы помощи водителю. Он позволяет осуществлять сбор информации одновременно с двух видеокамер и до трех радаров, ее обработку с целью анализа и принятия водителем или системой решений о возможных действиях.
Таким образом, сегодня системы ADAS активно развиваются, многие ведущие производители разрабатывают для них решения, основанные на последних достижениях в электронике. Системы ADAS становятся все более совершенными, что позволит по мере расширения их применения существенно повышать удобство вождения и безопасность на дорогах.
Литература
Kukkala V. K., Tunnell J., Pasricha S., Bradley T. Advanced Driver-Assistance Systems: A Path Toward Autonomous Vehicles // IEEE Consumer Electronics Magazine. 2018. V. 7. Issue 5. PP. 18–25.
Automotive Solutions for ADAS. https://www.st.com/content/ccc/resource/sales_and_marketing/promotional_material/brochure/group0/6d/2d/86/eb/be/a4/40/6a/BRAUTOADAS1118/files/ST12570_BRAUTOADAS1118_web.pdf/jcr:content/translations/en.ST12570_BRAUTOADAS1118_web.pdf (дата обращения 11.02.2021).
Automotive ADAS Systems. https://www.st.com/content/dam/AME/2019/developers-conference‑2019/presentations/STDevCon19_7.5_Overview%20of%20ADAS-Active-Safety.pdf (дата обращения 11.02.2021).
Ors A. RADAR, Camera, LiDAR and V2X for Autonomous Cars. https://www.nxp.com/company/blog/radar-camera-lidar-and-v2x-for-autonomous-cars:BL-RADAR-LIDAR-V2X-AUTONOMOUS-CARS (дата обращения 11.02.2021).
Pelé A.-F. LiDAR Market: Promising, But Caution Needed. https://www.eetimes.eu/lidar-market-promising-but-caution-needed/ (дата обращения 11.02.2021).
ADAS sensors. https://www.oxts.com/adas-sensors/ (дата обращения 11.02.2021).
Beyond The Headlights: ADAS and Autonomous Sensing. – Woodside Capital Partners (WSP). September 2016. https://fzs.2d0.myftpupload.com/wp-content/uploads/2016/12/20160927-Auto-Vision-Systems-Report_FINAL.pdf (дата обращения 11.02.2021).
Sensor fusion for autonomous driving. https://www.infineon.com/cms/en/applications/automotive/chassis-safety-and-adas/sensor-fusion/ (дата обращения 11.02.2021).
John V., Mita S. Deep Sensor Fusion for ADAS Applications. https://www.nvidia.com/content/apac/gtc/ja/pdf/2018/1033.pdf (дата обращения 11.02.2021).
V2X Communications. https://www.nxp.com/applications/automotive/connectivity/v2x-communications:V2X-COMMUNICATIONS (дата обращения 11.02.2021).
Yoshida J. EU Adds Suspense to DSRC vs. C-V2X.
https://www.eetimes.com/eu-adds-suspense-to-dsrc-vs-c-v2x/ (дата обращения 11.02.2021).
Filippi A., Moerman K., Martinez V., Turley A., Haran O. and Toledano R. IEEE802.11p ahead of LTE-V2V for safety applications. https://www.nxp.com/docs/en/white-paper/LTE-V2V-WP.pdf (дата обращения 11.02.2021).
Коник Л. Автопром стремится в 5G. https://www.comnews.ru/content/121439/2019-08-19/avtoprom-stremitsya-v‑5g-maksim-flament-tehnicheskiy-direktor‑5gaa (дата обращения 11.02.2021).
Cellular V2X: What can we expect on the road ahead? https://www.ericsson.com/en/blog/2019/10/cellular-v2x-the-road-ahead-c-its-adas (дата обращения 11.02.2021).
Connecting vehicles to everything with C-V2X. https://www.qualcomm.com/research/5g/cellular-v2x (дата обращения 11.02.2021).
ADAS and Highly Automated Driving. Solutions for Automotive. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving:ADAS-AND-AUTONOMOUS-DRIVING (дата обращения 11.02.2021).
Automotive Radar Systems. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving/automotive-radar-systems:RADAR-SYSTEMS (дата обращения 11.02.2021).
Automotive Vision Systems. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving/automotive-vision-systems:VISION-PROCESSING-SYSTEMS (дата обращения 11.02.2021).
Automotive High Performance Compute. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving/automotive-high-performance-compute:AUTOMOTIVE-COMPUTE (дата обращения 11.02.2021).
ADAS. https://www.st.com/en/applications/adas.html (дата обращения 11.02.2021).
Rear View Camera. https://www.st.com/en/applications/adas/rear-view-camera.html (дата обращения 11.02.2021).
VIPER. https://www.adasky.com/viper/ (дата обращения 11.02.2021).
FD-SOI. https://www.st.com/content/st_com/en/about/innovation---technology/FD-SOI.html (дата обращения 11.02.2021).
ADAS. https://www.mobileye.com/our-technology/adas/ (дата обращения 11.02.2021).
ADAS, Viewing & Autonomous Vehicles. https://www.onsemi.com/solution/automotive/adas-viewing-autonomous-vehicles (дата обращения 11.02.2021).
World leading driver monitoring technology. https://www.seeingmachines.com/industry-applications/automotive/ (дата обращения 11.02.2021).
The best DM solution, FOVIO Chip, ready for Euro NCAP.
https://www.seeingmachines.com/blog/2020/01/08/the-best-dm-solution-fovio-chip-ready-for-euro-ncap/ (дата обращения 11.02.2021).
Qualcomm and Seeing Machines deliver next generation ADAS and Infotainment technology to enable intelligent vehicle interiors. https://www.seeingmachines.com/wp-content/uploads/2021/01/SEE-RNS-Qualcomm-and-Seeing-Machines-FINAL‑27-01-21.pdf (дата обращения 11.02.2021).
The connected car. This changes everything. https://www.qualcomm.com/products/automotive (дата обращения 11.02.2021).
Zynq UltraScale+ MPSoC. https://www.xilinx.com/support/documentation/product-briefs/zynq-ultrascale-plus-product-brief.pdf (дата обращения 15.02.2021).
Advanced Driver Assistance Systems (ADAS).
https://www.xilinx.com/applications/automotive/adas.html (дата обращения 15.02.2021).
InWheelSenseTM: Where the rubber meets the road.
https://product.tdk.com/info/en/techlibrary/developing/inwheelsense/index.html (дата обращения 12.02.2021).
Detecting Running Conditions in Real Time Through In-Wheel Sensing. https://www.tdk.com/en/featured_stories/entry_023.html (дата обращения 12.02.2021).
Pelé A.-F. TDK Harvests Energy from Vehicle Wheels. https://www.eetimes.com/tdk-harvests-energy-from-vehicle-wheels/ (дата обращения 12.02.2021).
Сайт компании ООО «НПП «ИТЭЛМА». http://www.itelma.ru/#FinalDirection (дата обращения 15.02.2021).
Мякочин Ю., Бирюков М. Автомобильные радары частотных диапазонов 24 и 77 ГГц // ЭЛЕКТРОНИКА: Наука, Технология, Бизнес. 2018. № 8. C. 84–88.
Мякочин Ю., Бирюков М. Миллиметровые радары АО «ПКК Миландр» для применения на автотранспорте и в системах безопасности // ЭЛЕКТРОНИКА: Наука, Технология, Бизнес. 2019. № 8. C. 90–95.
Радар «МАРС‑2А1/10». https://device.milandr.ru/products/moduli-svch/radar-mars‑2a1-10/ (дата обращения 15.02.2021).
Н. Елисеев, к. т. н.
Одно из наиболее активно развивающихся и актуальных направлений современной электроники – различные автомобильные системы. Важное место среди них занимают усовершенствованные системы помощи водителю (Advanced driver-assistance systems, ADAS). Они значительно повышают как удобство управления транспортными средствами, так и их безопасность. Эти системы способны постоянно отслеживать дорожную обстановку и реагировать на ее изменение гораздо быстрее, чем человек. Сегодня всё больше новых автомобилей различного класса, в том числе относительно недорогих, оснащаются тем или иным вариантом таких систем. В данной статье рассматриваются структура и функции систем ADAS, а также примеры решений, предлагаемых для них рядом ведущих производителей.
Структура и функции систем ADAS
Системы ADAS включают целый ряд устройств, реализующих различные функции (рис. 1) [1, 2]. Рассмотрим основные составляющие ADAS, их особенности и назначение, а также некоторые используемые в ADAS технологии.
Видеокамеры
Камеры – одно из наиболее широко используемых устройств в системах ADAS. В ADAS могут использоваться одна или несколько видеокамер для формирования изображений и встраиваемые системы для обнаружения, анализа и отслеживания присутствующих на них объектов [1]. Камеры позволяют получать разнообразную информацию (цвет, контраст, текстура, расстояния и др.) [1, 3]. В системах ADAS используются камеры различных типов: монокулярные (с одним объективом), стерео, а также инфракрасные.
Монокулярные камеры могут использоваться для множества приложений, таких как обнаружение препятствий, пешеходов, полос движения и дорожных знаков, а также для наблюдения за водителем (Driver Monitoring System, DMS) [1, 2]. Одно из преимуществ таких камер – относительно низкие требования к вычислительным ресурсам для обработки изображений (по сравнению со стереокамерами).
Стереокамеры оснащены двумя или более объективами, что позволяет получать трехмерные (3D) изображения, которые могут быть использованы для оценки расстояний, в основном на небольших дистанциях (примерно до 30 м) [1]. Кроме того, их, как и монокулярные камеры, можно применять для обнаружения различных объектов.
Инфракрасные камеры имеют преимущество в условиях низкой освещенности или в темноте. ИК-камеры, используемые в системах ADAS, могут быть активными и пассивными [1]. В активных камерах применяется источник ИК-излучения, освещающий окружающие объекты, и сенсоры, регистрирующие отраженный свет. Сенсоры пассивных ИК-камер регистрируют тепловое излучение самих снимаемых объектов.
Радары
Радары могут измерять как расстояние до окружающих объектов, так и их скорость. Важные преимущества радара – способность работать в плохих погодных условиях (дождь, снег, туман) и низкой освещенности, большая дальность действия, а также относительно низкая стоимость. Автомобильные радары принято разделять по диапазону работы на системы ближнего (0,2–30 м), среднего (30–80 м) и дальнего (80–200 м) радиуса действия [1, 4].
Радары дальнего радиуса действия могут использоваться, в частности, для адаптивного круиз-контроля (Adaptive Cruise Control, ACC) и в системах автоматического экстренного торможения (Automatic Emergency Braking Systems, AEBS) [4]. К областям применения радаров ближнего / среднего действия относятся, например, предупреждение о движении транспорта в пересекающем направлении и мониторинг слепых зон (Blind-Spot Detection, BSD).
Лидары
Лидары (LiDAR – Light Detection and Ranging) направляют на окружающие объекты один или несколько лазерных лучей, регистрируют отраженное излучение и по времени прохождения сигнала до объекта и обратно определяют расстояние до него. Сканируя окружающее пространство, лидары также могут формировать его трехмерные изображения. Различные типы лидаров могут применяться в ADAS для решения ряда задач: автоматического экстренного торможения, обнаружения объектов (в том числе пешеходов), предотвращения столкновений, помощи при парковке и др. [1, 3, 5]. К недостаткам лидаров можно отнести большие массу, размеры и стоимость, а также сложность использования при плохих погодных условиях. Сегодня эти факторы ограничивают применение лидаров в автомобилях. Однако сейчас начинают появляться решения, в том числе твердотельные лидары, которые обладают гораздо меньшими массо-габаритными характеристиками и меньшей стоимостью, и за счет этого могут существенно расширить применение устройств данного типа в ADAS [5].
Ультразвуковые датчики
В ультразвуковых датчиках используют отраженные звуковые волны для расчета расстояния до объектов. Такие датчики имеют небольшой радиус действия – обычно около 2 м [6]. В автомобилях, в том числе в ADAS, ультразвуковые датчики используются в системах помощи при парковке (в том числе автоматической и параллельной), а также в некоторых приложениях для мониторинга слепых зон [1, 6]. К преимуществам ультразвуковых датчиков относятся сравнительно низкая стоимость, достаточно высокая надежность и способность работать ночью или в сложных условиях освещения.
Сочетание различных датчиков (sensor fusion)
Каждый из используемых в системах ADAS датчиков имеет свои ограничения, поэтому ни один из них не является оптимальным для всех приложений и не работает одинаково хорошо во всех условиях (табл. 1) [3, 7]. Это приводит к тому, что во многих случаях для решения поставленной задачи необходимо сочетать данные, получаемые от различных устройств. Сочетание датчиков позволяет сформировать более полную картину окружающей обстановки, повысить точность, надежность и стабильность получаемых результатов, расширить охватываемый диапазон расстояний и увеличить пространственное разрешение [1, 8]. Для реализации совместной обработки данных от датчиков различного типа необходимы специальные алгоритмы и высокая вычислительная мощность, но процессоры, используемые сегодня в автомобильных системах, а также современные вычислительные методы (например, методы глубокого обучения (deep learning)) [1, 9] позволяют решать такие задачи.
Системы V2X
V2X (Vehicle-to-Everytning) – это системы обмена информацией автомобилями между собой (V2V, Vehicle-to-Vehicle) и с другими объектами в окружающем пространстве: инфраструктурой (V2I, Vehicle-to-Infrastructure), мотоциклами (V2M, Vehicle-to-Motorcycle), устройствами / предметами (V2D, Vehicle-to-Device / object), пешеходами (V2P, Vehicle-to-Pedestrian) и др. [1, 3, 10]. Связь в системах V2X может быть реализована с помощью технологии DSRC (Dedicated Short Range Communication – беспроводная сеть малого радиуса действия) [11], основанной на протоколе IEEE 802.11p [12] (модификация Wi-Fi для беспроводной передачи данных между транспортными средствами, движущимися с высокими скоростями) либо с использованием сотовой связи (C-V2X) [11, 13, 14, 15].
Технологии V2X позволяют существенно расширить возможности ADAS за счет большего радиуса действия по сравнению с другими системами и дополнительной информации, получаемой посредством обмена данными с окружающими объектами, и тем самым существенно повысить безопасность дорожного движения. Кроме того, технологии V2X дают возможность оптимизировать транспортные потоки, уменьшить загруженность дорог и уменьшить воздействие транспорта на окружающую среду [10].
Примеры решений для систем ADAS
Различные решения для систем ADAS есть у компании NXP [16]. Первая группа устройств – автомобильные радары. Компания NXP предлагает комплексное решение для радарных систем, включающее микроконтроллеры, трансиверы (работающие на частоте 77 ГГц), подсистему управления питанием и интерфейсы [17]. В качестве возможных применений системы компания называет адаптивный круиз-контроль; автоматическое экстренное торможение; мониторинг слепых зон; предупреждение о наличии транспортных средств, движущихся в поперечном направлении (Cross Traffic Alert, CTA) впереди и сзади (FCTA / RCTA); помощь при смене полосы на дороге (Lane Change Assistance, LCA); помощь при парковке и др. Среди других предложений NXP для ADAS – решения для видеосистем, включающие микроконтроллеры, модули управления питанием и интерфейсные микросхемы [18]; вычислительные системы для обработки данных от различных датчиков, в том числе для реализации sensor fusion [19]; а также решения для V2Х [10].
Целый ряд решений для систем ADAS предлагает компания STMicroelectronics. Портфель продуктов компании включает 24- и 77-ГГц СВЧ МИС (Monolithic Microwave Integrated Circuit, MMIC) (трансиверы) для радаров; КМОП-датчики изображения с расширенным динамическим диапазоном (HDR); процессоры сигналов изображения (Image Signal Processors, ISP) со специальными аппаратными модулями для анализа видеоданных и коррекции искажений, вносимых объективами; микросхемы управления питанием и др. [2, 20].
В качестве примера комплексного решения на базе устройств STMicroelectronics можно привести камеру заднего вида с разрешением HD (рис. 2) [2, 21]. В данном решении используются HDR-датчик изображения VG6640; ISP-процессор STV0991, обеспечивающий изображение высокого качества с разрешением HD; регулятор напряжения L5965 и ряд других устройств.
Совместно с фирмой AdaSky компания STMicroelectronics разработала камеру VIPER, работающую в дальнем ИК-диапазоне [2, 22], в которой используется фирменная технология FD-SOI 28 нм компании STMicroelectronics [23].
STMicroelectronics также участвует в совместных разработках с фирмой MobilEye – одним из ведущих производителей систем ADAS на основе видеокамер [24]. В решениях MobilEye используются системы на кристалле (СнК) EyeQ различных поколений производства STMicroelectronics. Системы Mobileye поддерживают широкий набор функций ADAS – автоматическое экстренное торможение, предупреждение о выезде за пределы полосы движения (Lane Departure Warning, LDW), предупреждение о возможном столкновении (Forward Collision Warning, FCW), удержание полосы движения (Lane Keeping Assist, LKA), ассистент движения в пробке (Traffic Jam Assist, TJA), распознавание дорожных знаков и др. – всё это с помощью одной камеры, установленной на лобовом стекле, для обработки данных с которой используется СнК EyeQ.
Различные устройства и решения для ADAS есть у компании ON Semiconductor [25]. Среди них КМОП-датчики изображений, процессоры сигналов изображения, кремниевые фотоумножители (Silicon Photomultipliers, SiPM) для лидаров и др.
Решения для систем наблюдения за водителем (DMS) предлагает компания Seeing Machines [26]. DMS компании Seeing Machines состоит из небольшой инфракрасной камеры и осветительных приборов ближнего инфракрасного диапазона, установленных на передней панели автомобиля со стороны водителя и ориентированных на его лицо.
Видео с камеры передается в блок, содержащий фирменную систему FOVIO, где оно обрабатывается в реальном времени с помощью специальных алгоритмов и на основе полученной информации оценивается концентрация внимания водителя. Используемая в FOVIO технология предусматривает одновременное отслеживание ряда точек на лице, веках и зрачках водителя. Если водитель смотрит в сторону от дороги или закрывает глаза на более чем определенный период (который может зависеть, например, от скорости транспортного средства), DMS-система начнет выдавать серию предупреждений, чтобы побудить водителя снова сосредоточить внимание на дороге. Система надежно работает в различных условиях, включая прямой солнечный свет и полную темноту, и даже когда водитель носит солнцезащитные очки.
В 2020 году Seeing Machines представила новый вариант FOVIO, в котором используется СнК Xilinx Automotive Zynq‑7000 [27]. Это решение соответствует требованиям, предъявляемым Euro NCAP (The European New Car Assessment Programme – Европейская программа оценки новых автомобилей).
Недавно компании Seeing Machines и Qualcomm объявили [28] о совместной разработке новых решений для систем мониторинга водителей на основе технологий компании Seeing Machines и платформ Snapdragon Automotive Cockpit и Snapdragon Ride компании Qualcomm [29].
Вышеупомянутая СнК Xilinx Automotive Zynq‑7000, а также другие устройства компании Xilinx, например СнК Xilinx Automotive Zynq® UltraScale+™ MPSoC [30], могут использоваться для обработки данных, включая sensor fusion, и в других решениях для ADAS [30, 31]: камерах переднего вида (Forward Camera), 3D-системах кругового обзора, радарах, лидарах.
Интересное решение – технологию InWheelSense™ – представила недавно компания TDK [32–34]. В ней используется специальный модуль (рис. 3а) [33], в котором реализован сбор энергии (energy harvesting, EH) с использованием пьезоэлектрического эффекта (появление электрического поля при механической деформации). EH-модуль содержит элемент из цирконата-титаната свинца (ЦТС), который классифицируется как пьезоэлектрический (и сегнетоэлектрический) материал. С помощью этого элемента механическая энергия, вырабатываемая при давлении колеса на дорожное покрытие, преобразуется в электрическую энергию.
Модуль EH работает с колесами диаметром от 16 до 21 дюйма. Он устанавливается на колесо на стыке шины с диском (рис. 3б) [33], но не нарушает целостность герметичного уплотнения. Такая схема установки обеспечивает оптимальную выработку энергии.
Например, при движении со скоростью 105 км / ч на колесах диаметром 18 дюймов при каждом обороте будет генерироваться около 1 мВт мощности на один модуль [32, 34]. Если требуется больше мощности, технология позволяет добавить еще несколько EH-модулей на ободе того же колеса.
Возможность сбора энергии, обеспечиваемая технологией InWheelSense™, имеет важное значение, поскольку в системах ADAS используется все больше датчиков и вычислительных ресурсов и, соответственно, увеличивается потребность в энергии, необходимой для их работы.
Помимо генерации энергии, технология InWheelSense™ позволяет выполнять измерение ряда параметров. Это достигается за счет того, что воздействие на EH-модуль и, соответственно, форма передаваемого им сигнала зависят от скорости, ускорения, траектории автомобиля и др. (рис. 5) [33]. Используя эту информацию, можно определить указанные параметры. Существенно, что такие измерения не зависят от состояния атмосферы, освещенности и ряда других условий и могут существенно дополнить информативность систем ADAS.
Из российских производителей решения для систем ADAS предлагает, например, ООО «НПП «ИТЭЛМА» [35]. В разработанной компанией линейке программно-аппаратных систем помощи водителю в качестве сенсоров используются цифровые видеокамеры высокого разрешения и радиолокационные датчики диапазона 77 ГГц. Среди продуктов НПП «ИТЭЛМА» – многофункциональная фронтальная ADAS-камера, цифровая камера системы кругового обзора, система предотвращения аварий для автобуса.
Разработками устройств, которые могут применяться в ADAS, занимается также компания АО «ПКК Миландр» [36–38]. Автомобильный радар «МАРС‑2А1» [37, 38] предназначен для обнаружения объектов на дороге и обочине впереди транспортного средства, определения их координат (дальность, азимут, скорость) и ускорений, а также классификации обнаруженных объектов. Диапазон изменения рабочей частоты радара составляет от 24,05 до 24,25 ГГц, число одновременно обнаруживаемых целей – 32, минимальная дальность обнаружения – 1,2 м, максимальная – 200 м. Радар «МАРС‑2А1» может функционировать в режимах дальнего и ближнего действия. Увеличение дальности обнаружения (переход в режим дальнего действия) обеспечивается сужением сектора обзора и уменьшением ширины лучей диаграммы направленности приемной антенны.
Блок управления безопасностью автомобиля, разработанный АО «ПКК Миландр» [37], может выполнять функции центрального управляющего устройства в составе системы помощи водителю. Он позволяет осуществлять сбор информации одновременно с двух видеокамер и до трех радаров, ее обработку с целью анализа и принятия водителем или системой решений о возможных действиях.
Таким образом, сегодня системы ADAS активно развиваются, многие ведущие производители разрабатывают для них решения, основанные на последних достижениях в электронике. Системы ADAS становятся все более совершенными, что позволит по мере расширения их применения существенно повышать удобство вождения и безопасность на дорогах.
Литература
Kukkala V. K., Tunnell J., Pasricha S., Bradley T. Advanced Driver-Assistance Systems: A Path Toward Autonomous Vehicles // IEEE Consumer Electronics Magazine. 2018. V. 7. Issue 5. PP. 18–25.
Automotive Solutions for ADAS. https://www.st.com/content/ccc/resource/sales_and_marketing/promotional_material/brochure/group0/6d/2d/86/eb/be/a4/40/6a/BRAUTOADAS1118/files/ST12570_BRAUTOADAS1118_web.pdf/jcr:content/translations/en.ST12570_BRAUTOADAS1118_web.pdf (дата обращения 11.02.2021).
Automotive ADAS Systems. https://www.st.com/content/dam/AME/2019/developers-conference‑2019/presentations/STDevCon19_7.5_Overview%20of%20ADAS-Active-Safety.pdf (дата обращения 11.02.2021).
Ors A. RADAR, Camera, LiDAR and V2X for Autonomous Cars. https://www.nxp.com/company/blog/radar-camera-lidar-and-v2x-for-autonomous-cars:BL-RADAR-LIDAR-V2X-AUTONOMOUS-CARS (дата обращения 11.02.2021).
Pelé A.-F. LiDAR Market: Promising, But Caution Needed. https://www.eetimes.eu/lidar-market-promising-but-caution-needed/ (дата обращения 11.02.2021).
ADAS sensors. https://www.oxts.com/adas-sensors/ (дата обращения 11.02.2021).
Beyond The Headlights: ADAS and Autonomous Sensing. – Woodside Capital Partners (WSP). September 2016. https://fzs.2d0.myftpupload.com/wp-content/uploads/2016/12/20160927-Auto-Vision-Systems-Report_FINAL.pdf (дата обращения 11.02.2021).
Sensor fusion for autonomous driving. https://www.infineon.com/cms/en/applications/automotive/chassis-safety-and-adas/sensor-fusion/ (дата обращения 11.02.2021).
John V., Mita S. Deep Sensor Fusion for ADAS Applications. https://www.nvidia.com/content/apac/gtc/ja/pdf/2018/1033.pdf (дата обращения 11.02.2021).
V2X Communications. https://www.nxp.com/applications/automotive/connectivity/v2x-communications:V2X-COMMUNICATIONS (дата обращения 11.02.2021).
Yoshida J. EU Adds Suspense to DSRC vs. C-V2X.
https://www.eetimes.com/eu-adds-suspense-to-dsrc-vs-c-v2x/ (дата обращения 11.02.2021).
Filippi A., Moerman K., Martinez V., Turley A., Haran O. and Toledano R. IEEE802.11p ahead of LTE-V2V for safety applications. https://www.nxp.com/docs/en/white-paper/LTE-V2V-WP.pdf (дата обращения 11.02.2021).
Коник Л. Автопром стремится в 5G. https://www.comnews.ru/content/121439/2019-08-19/avtoprom-stremitsya-v‑5g-maksim-flament-tehnicheskiy-direktor‑5gaa (дата обращения 11.02.2021).
Cellular V2X: What can we expect on the road ahead? https://www.ericsson.com/en/blog/2019/10/cellular-v2x-the-road-ahead-c-its-adas (дата обращения 11.02.2021).
Connecting vehicles to everything with C-V2X. https://www.qualcomm.com/research/5g/cellular-v2x (дата обращения 11.02.2021).
ADAS and Highly Automated Driving. Solutions for Automotive. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving:ADAS-AND-AUTONOMOUS-DRIVING (дата обращения 11.02.2021).
Automotive Radar Systems. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving/automotive-radar-systems:RADAR-SYSTEMS (дата обращения 11.02.2021).
Automotive Vision Systems. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving/automotive-vision-systems:VISION-PROCESSING-SYSTEMS (дата обращения 11.02.2021).
Automotive High Performance Compute. https://www.nxp.com/applications/automotive/adas-and-highly-automated-driving/automotive-high-performance-compute:AUTOMOTIVE-COMPUTE (дата обращения 11.02.2021).
ADAS. https://www.st.com/en/applications/adas.html (дата обращения 11.02.2021).
Rear View Camera. https://www.st.com/en/applications/adas/rear-view-camera.html (дата обращения 11.02.2021).
VIPER. https://www.adasky.com/viper/ (дата обращения 11.02.2021).
FD-SOI. https://www.st.com/content/st_com/en/about/innovation---technology/FD-SOI.html (дата обращения 11.02.2021).
ADAS. https://www.mobileye.com/our-technology/adas/ (дата обращения 11.02.2021).
ADAS, Viewing & Autonomous Vehicles. https://www.onsemi.com/solution/automotive/adas-viewing-autonomous-vehicles (дата обращения 11.02.2021).
World leading driver monitoring technology. https://www.seeingmachines.com/industry-applications/automotive/ (дата обращения 11.02.2021).
The best DM solution, FOVIO Chip, ready for Euro NCAP.
https://www.seeingmachines.com/blog/2020/01/08/the-best-dm-solution-fovio-chip-ready-for-euro-ncap/ (дата обращения 11.02.2021).
Qualcomm and Seeing Machines deliver next generation ADAS and Infotainment technology to enable intelligent vehicle interiors. https://www.seeingmachines.com/wp-content/uploads/2021/01/SEE-RNS-Qualcomm-and-Seeing-Machines-FINAL‑27-01-21.pdf (дата обращения 11.02.2021).
The connected car. This changes everything. https://www.qualcomm.com/products/automotive (дата обращения 11.02.2021).
Zynq UltraScale+ MPSoC. https://www.xilinx.com/support/documentation/product-briefs/zynq-ultrascale-plus-product-brief.pdf (дата обращения 15.02.2021).
Advanced Driver Assistance Systems (ADAS).
https://www.xilinx.com/applications/automotive/adas.html (дата обращения 15.02.2021).
InWheelSenseTM: Where the rubber meets the road.
https://product.tdk.com/info/en/techlibrary/developing/inwheelsense/index.html (дата обращения 12.02.2021).
Detecting Running Conditions in Real Time Through In-Wheel Sensing. https://www.tdk.com/en/featured_stories/entry_023.html (дата обращения 12.02.2021).
Pelé A.-F. TDK Harvests Energy from Vehicle Wheels. https://www.eetimes.com/tdk-harvests-energy-from-vehicle-wheels/ (дата обращения 12.02.2021).
Сайт компании ООО «НПП «ИТЭЛМА». http://www.itelma.ru/#FinalDirection (дата обращения 15.02.2021).
Мякочин Ю., Бирюков М. Автомобильные радары частотных диапазонов 24 и 77 ГГц // ЭЛЕКТРОНИКА: Наука, Технология, Бизнес. 2018. № 8. C. 84–88.
Мякочин Ю., Бирюков М. Миллиметровые радары АО «ПКК Миландр» для применения на автотранспорте и в системах безопасности // ЭЛЕКТРОНИКА: Наука, Технология, Бизнес. 2019. № 8. C. 90–95.
Радар «МАРС‑2А1/10». https://device.milandr.ru/products/moduli-svch/radar-mars‑2a1-10/ (дата обращения 15.02.2021).
Отзывы читателей
