eng
Выпуск #3/2021
А. Йеллепедди
УВЕЛИЧЕНИЕ ДАЛЬНОСТИ ОБНАРУЖЕНИЯ ОБЪЕКТОВ ЛИДАРОМ С ПРИМЕНЕНИЕМ МЕТОДА СЛЕЖЕНИЯ
УВЕЛИЧЕНИЕ ДАЛЬНОСТИ ОБНАРУЖЕНИЯ ОБЪЕКТОВ ЛИДАРОМ С ПРИМЕНЕНИЕМ МЕТОДА СЛЕЖЕНИЯ
Просмотры: 1076
DOI: 10.22184/1992-4178.2021.204.3.88.91
Важнейшим параметром лидара является дальность обнаружения объектов, от которого зависит безопасность автомобиля. В статье описан эффективный метод улучшения характеристик лидара, позволяющий повысить качество обнаружения объектов и надежность системы.
Важнейшим параметром лидара является дальность обнаружения объектов, от которого зависит безопасность автомобиля. В статье описан эффективный метод улучшения характеристик лидара, позволяющий повысить качество обнаружения объектов и надежность системы.
Теги: 3d map 3d-карта autonomous vehicle detection range detection threshold lidar tracking автономный автомобиль дальность обнаружения лидар порог обнаружения слежение
Увеличение дальности обнаружения объектов лидаром с применением метода слежения
А. Йеллепедди
Внедрение беспилотных автомобилей и передовых систем помощи водителю повышают требования к датчикам, радарам и другим бортовым устройствам. Лидар – одна из ключевых автомобильных систем, способная формировать полноценную картину местности перед автомобилем, на которой видны транспортные средства, пешеходы и другие объекты на дороге. Важнейшим параметром лидара является дальность обнаружения объектов, от которого во многом зависит безопасность автомобиля. В статье описан эффективный метод улучшения характеристик лидара, позволяющий повысить качество обнаружения объектов и надежность системы.
Введение
Технологии всегда были инструментом, освобождающим людей от наиболее рутинных задач. Для многих из нас в современном мире одно из самых утомительных занятий – стоять на шоссе в многочасовых пробках. Несмотря на ажиотаж вокруг автономных транспортных средств, перспектива того, что двухтонные куски металла будут носиться вокруг без присмотра, заставляет нас обратить внимание на технологии, обеспечивающие их безопасную эксплуатацию.
Для автономных автомобилей важнейшим средством достижения максимальной безопасности является детальная трехмерная карта различных динамических объектов (таких как другие автомобили, пешеходы, велосипеды). Формировать подробные карты способны бортовые системы обнаружения и определения дальности с помощью света, или лидары (light detection and ranging – LIDAR). Пример такой карты показан на рис. 1.
Чем на большем расстоянии беспилотный автомобиль может надежно обнаружить присутствие объекта на дороге, тем легче становится маневр уклонения. Специалисты из Analog Garage (технологический центр Analog Devices) исследовали возможность расширения диапазона обнаружения LIDAR-систем и разработали метод увеличения дальности, основанный на использовании физических ограничений на движение объектов. Прежде чем познакомиться с этим методом, поясним принцип работы LIDAR-систем.
Как работает лидар
LIDAR-система направляет импульс лазера на объект и измеряет время, за которое свет отражается от объекта и возвращается к датчику (рис. 2). Сканируя лазером в горизонтальном и вертикальном направлениях, LIDAR-система формирует полную 3D-карту обстановки перед ней. Каждая такая карта называется кадром. Современные LIDAR-системы обычно работают с частотой от 10 до 30 кадров в секунду (fps).
Когда лазер посылает световой импульс в определенном направлении, датчик регистрирует свет, приходящий из этого направления, преобразовывает его в электрический сигнал и производит поиск импульса лазера в этом сигнале с помощью метода, называемого согласованным фильтром. Выход согласованного фильтра сравнивается с порогом, и если сигнал превышает этот порог, регистрируется факт обнаружения объекта.
Пределы обнаружения
В реальном мире нет ничего идеального. Процесс обнаружения объекта в LIDAR-системе привносит помехи – как электрический шум от различных компонентов приемника, так и оптический шум самого детектора. Поэтому объект можно обнаружить только до тех пор, пока от него поступает достаточно света, чтобы согласованный фильтр мог отличить сигнал от шума.
Из физики известно, что интенсивность света падает пропорционально квадрату расстояния, которое он прошел от источника. Фактически это означает, что интенсивность отраженного света, полученного LIDAR-системой от объекта на расстоянии 200 м, составляет всего четверть интенсивности света, который был бы принят, если бы тот же объект находился на расстоянии 100 м.
Отсюда следует, что согласованному фильтру труднее увидеть более отдаленные объекты, и, в конечном итоге, когда объект расположен достаточно далеко, он становится невидимым для LIDAR-системы. Рис. 3 демонстрирует это: амплитуда сигнала, отраженного от автомобиля, резко падает с увеличением расстояния, и на дальности 220 м сигнал практически неотличим от шума и не регистрируется системой.
Мы могли бы попытаться обойти эту проблему, установив низкий порог обнаружения. Но, очевидно, что, с учетом известного отношения сигнал / шум, мы также обнаружим много помеховых сигналов. В полном 3D-кадре данных появится несколько вспышек, некоторые из которых соответствуют объекту, а некоторые – шуму. В качестве примера на рис. 4 показаны все обнаруженные вспышки (после пост-пороговой обработки) только в одном вертикальном срезе (то есть под фиксированным вертикальным углом) LIDAR-кадра. Большинство вспышек – это шум, но некоторые действительно соответствуют реальному объекту. Как можно различить, что есть что? Это сложно сделать только с одним кадром, но становится реальным после того, как мы изучим несколько кадров.
Метод слежения («светлячок»)
Чтобы понять, почему это возможно, смоделируем появление вспышек следующим образом: предположим, что вокруг коробки летает светлячок, и мы видим вспышку от светлячка через равные промежутки времени. К сожалению, мы также видим случайные вспышки из окружающей среды, и они могут возникнуть где угодно. Еще хуже, что мы иногда пропускаем вспышки от светлячка и измеряем положение светлячка не очень точно.
Возникает вопрос: исходит ли вся последовательность вспышек от светлячка или нет, учитывая, что все вспышки расположены на одном кадре? Информация, которой мы обладаем для ответа на этот вопрос, заключается в том, что кадры поступают 10 раз в секунду (для частоты кадров 10 кадров в секунду), и светлячок может двигаться за это время только допустимым с точки зрения физики образом. Например, светлячок не может переместиться на длину коробки в кадре, поскольку это нереальная скорость. И он не может изменить направление в двух кадрах, так как это было бы нереальным ускорением.
Другими словами, информация, которую мы можем использовать для решения, состоит в том, что путь, по которому следует светлячок, должен быть путем, который действительно мог бы пройти физический объект. Использование этих условий позволяет нам отличать их от треков, созданных шумом. Аппарат проверки гипотез позволяет нам определить и применить математическую форму таких ограничений для треков любой длины. Для вспышек из двух и трех последовательных кадров, эти условия просто ограничивают скорость и ускорение. Для более длинных треков ограничения не так просты в интерпретации, но оказываются довольно простыми в применении.
Полученные результаты
Рис. 5 демонстрирует эффективность такого подхода для двух простых примеров. Изображения слева – это реальная карта того, что находится в кадре, на котором показана дорога (для упрощения вырезана из общей сцены). Изображение посередине показывает, что мы получили бы при обычной обработке с приемлемым порогом, а справа – после обработки методом «светлячка». Такой подход позволяет обнаружить объекты на расстоянии около 300 м. Ультрасовременные LIDAR-системы имеют дальность действия около 150 м.
В табл. 1 представлено количество обнаружений объектов (в %) и количество ложных срабатываний (на кадр), полученных методом слежения и в результате обычной обработки.
Порог обнаружения был установлен таким образом, чтобы на основе предварительно собранной статистики с уверенностью 99,9% можно было утверждать, что конкретный пик сигнала соответствует объекту. Однако следует отметить, что скорость обнаружения была очень низкой. Немного помогает использование ограничений на треки.
Заключение
Метод слежения, или метод «светлячка», очерчивает линию, по которой могут перемещаться объекты, то есть устанавливает ограничения не на детектор или сигнальную цепь, а на объект. Способность этого метода повысить скорость обнаружения объекта говорит о том, что характеристики традиционных методов и сигнальной цепи зачастую можно значительно улучшить, используя методы, основанные на внешних по отношению к проектируемой системе факторах. Следует использовать эти подходы при разработке все более умных и сложных решений.
По вопросам поставки продукции Analog Devices обращайтесь в компанию ЭЛТЕХ по электронной почте analog@eltech.spb.ru.
ЛИТЕРАТУРА
Tang J., Yellepeddi A., Demirtas S., Barber C. Tracking to Improve Detection Quality in LIDAR for Autonomous Driving. – IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). May 2020.
А. Йеллепедди
Внедрение беспилотных автомобилей и передовых систем помощи водителю повышают требования к датчикам, радарам и другим бортовым устройствам. Лидар – одна из ключевых автомобильных систем, способная формировать полноценную картину местности перед автомобилем, на которой видны транспортные средства, пешеходы и другие объекты на дороге. Важнейшим параметром лидара является дальность обнаружения объектов, от которого во многом зависит безопасность автомобиля. В статье описан эффективный метод улучшения характеристик лидара, позволяющий повысить качество обнаружения объектов и надежность системы.
Введение
Технологии всегда были инструментом, освобождающим людей от наиболее рутинных задач. Для многих из нас в современном мире одно из самых утомительных занятий – стоять на шоссе в многочасовых пробках. Несмотря на ажиотаж вокруг автономных транспортных средств, перспектива того, что двухтонные куски металла будут носиться вокруг без присмотра, заставляет нас обратить внимание на технологии, обеспечивающие их безопасную эксплуатацию.
Для автономных автомобилей важнейшим средством достижения максимальной безопасности является детальная трехмерная карта различных динамических объектов (таких как другие автомобили, пешеходы, велосипеды). Формировать подробные карты способны бортовые системы обнаружения и определения дальности с помощью света, или лидары (light detection and ranging – LIDAR). Пример такой карты показан на рис. 1.
Чем на большем расстоянии беспилотный автомобиль может надежно обнаружить присутствие объекта на дороге, тем легче становится маневр уклонения. Специалисты из Analog Garage (технологический центр Analog Devices) исследовали возможность расширения диапазона обнаружения LIDAR-систем и разработали метод увеличения дальности, основанный на использовании физических ограничений на движение объектов. Прежде чем познакомиться с этим методом, поясним принцип работы LIDAR-систем.
Как работает лидар
LIDAR-система направляет импульс лазера на объект и измеряет время, за которое свет отражается от объекта и возвращается к датчику (рис. 2). Сканируя лазером в горизонтальном и вертикальном направлениях, LIDAR-система формирует полную 3D-карту обстановки перед ней. Каждая такая карта называется кадром. Современные LIDAR-системы обычно работают с частотой от 10 до 30 кадров в секунду (fps).
Когда лазер посылает световой импульс в определенном направлении, датчик регистрирует свет, приходящий из этого направления, преобразовывает его в электрический сигнал и производит поиск импульса лазера в этом сигнале с помощью метода, называемого согласованным фильтром. Выход согласованного фильтра сравнивается с порогом, и если сигнал превышает этот порог, регистрируется факт обнаружения объекта.
Пределы обнаружения
В реальном мире нет ничего идеального. Процесс обнаружения объекта в LIDAR-системе привносит помехи – как электрический шум от различных компонентов приемника, так и оптический шум самого детектора. Поэтому объект можно обнаружить только до тех пор, пока от него поступает достаточно света, чтобы согласованный фильтр мог отличить сигнал от шума.
Из физики известно, что интенсивность света падает пропорционально квадрату расстояния, которое он прошел от источника. Фактически это означает, что интенсивность отраженного света, полученного LIDAR-системой от объекта на расстоянии 200 м, составляет всего четверть интенсивности света, который был бы принят, если бы тот же объект находился на расстоянии 100 м.
Отсюда следует, что согласованному фильтру труднее увидеть более отдаленные объекты, и, в конечном итоге, когда объект расположен достаточно далеко, он становится невидимым для LIDAR-системы. Рис. 3 демонстрирует это: амплитуда сигнала, отраженного от автомобиля, резко падает с увеличением расстояния, и на дальности 220 м сигнал практически неотличим от шума и не регистрируется системой.
Мы могли бы попытаться обойти эту проблему, установив низкий порог обнаружения. Но, очевидно, что, с учетом известного отношения сигнал / шум, мы также обнаружим много помеховых сигналов. В полном 3D-кадре данных появится несколько вспышек, некоторые из которых соответствуют объекту, а некоторые – шуму. В качестве примера на рис. 4 показаны все обнаруженные вспышки (после пост-пороговой обработки) только в одном вертикальном срезе (то есть под фиксированным вертикальным углом) LIDAR-кадра. Большинство вспышек – это шум, но некоторые действительно соответствуют реальному объекту. Как можно различить, что есть что? Это сложно сделать только с одним кадром, но становится реальным после того, как мы изучим несколько кадров.
Метод слежения («светлячок»)
Чтобы понять, почему это возможно, смоделируем появление вспышек следующим образом: предположим, что вокруг коробки летает светлячок, и мы видим вспышку от светлячка через равные промежутки времени. К сожалению, мы также видим случайные вспышки из окружающей среды, и они могут возникнуть где угодно. Еще хуже, что мы иногда пропускаем вспышки от светлячка и измеряем положение светлячка не очень точно.
Возникает вопрос: исходит ли вся последовательность вспышек от светлячка или нет, учитывая, что все вспышки расположены на одном кадре? Информация, которой мы обладаем для ответа на этот вопрос, заключается в том, что кадры поступают 10 раз в секунду (для частоты кадров 10 кадров в секунду), и светлячок может двигаться за это время только допустимым с точки зрения физики образом. Например, светлячок не может переместиться на длину коробки в кадре, поскольку это нереальная скорость. И он не может изменить направление в двух кадрах, так как это было бы нереальным ускорением.
Другими словами, информация, которую мы можем использовать для решения, состоит в том, что путь, по которому следует светлячок, должен быть путем, который действительно мог бы пройти физический объект. Использование этих условий позволяет нам отличать их от треков, созданных шумом. Аппарат проверки гипотез позволяет нам определить и применить математическую форму таких ограничений для треков любой длины. Для вспышек из двух и трех последовательных кадров, эти условия просто ограничивают скорость и ускорение. Для более длинных треков ограничения не так просты в интерпретации, но оказываются довольно простыми в применении.
Полученные результаты
Рис. 5 демонстрирует эффективность такого подхода для двух простых примеров. Изображения слева – это реальная карта того, что находится в кадре, на котором показана дорога (для упрощения вырезана из общей сцены). Изображение посередине показывает, что мы получили бы при обычной обработке с приемлемым порогом, а справа – после обработки методом «светлячка». Такой подход позволяет обнаружить объекты на расстоянии около 300 м. Ультрасовременные LIDAR-системы имеют дальность действия около 150 м.
В табл. 1 представлено количество обнаружений объектов (в %) и количество ложных срабатываний (на кадр), полученных методом слежения и в результате обычной обработки.
Порог обнаружения был установлен таким образом, чтобы на основе предварительно собранной статистики с уверенностью 99,9% можно было утверждать, что конкретный пик сигнала соответствует объекту. Однако следует отметить, что скорость обнаружения была очень низкой. Немного помогает использование ограничений на треки.
Заключение
Метод слежения, или метод «светлячка», очерчивает линию, по которой могут перемещаться объекты, то есть устанавливает ограничения не на детектор или сигнальную цепь, а на объект. Способность этого метода повысить скорость обнаружения объекта говорит о том, что характеристики традиционных методов и сигнальной цепи зачастую можно значительно улучшить, используя методы, основанные на внешних по отношению к проектируемой системе факторах. Следует использовать эти подходы при разработке все более умных и сложных решений.
По вопросам поставки продукции Analog Devices обращайтесь в компанию ЭЛТЕХ по электронной почте analog@eltech.spb.ru.
ЛИТЕРАТУРА
Tang J., Yellepeddi A., Demirtas S., Barber C. Tracking to Improve Detection Quality in LIDAR for Autonomous Driving. – IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). May 2020.
Отзывы читателей
