CES 2021: Amnon Shashua 교수와 함께하는 Under the Hood (재생 및 라이브 블로그)

 

의 발 뒤꿈치에  월요일 인텔 기자 회견 교수 암논 샤 수아는 자동 운전 기술에 대한 회사의 최신 발전에 깊은 및 기술적 다이빙을합니다.

그는 Mobileye Roadbook™에 대해 알아보고 데이터 수집 방법부터 지도를 자동화하는 최첨단 알고리즘에 이르기까지 기존의 고화질 지도와 크게 다른 확장 가능한 자율 차량 지도를 Mobileye에서 구축하고 있습니다. 창조. 그는 또한 회사의 라이더 야망, RSS 진행 상황 및 Mobileye의 가장 진보된 핸즈프리 운전 시스템인 SuperVision™의 최근 발표에 대해서도 설명합니다.

• Under the Hood 프레젠테이션 슬라이드

라이브 블로그: 이 가상 이벤트의 실시간 업데이트를 보려면 아래를 따르십시오.

오전 10시: 안녕하세요! 환영합니다! 저는 Intel의 커뮤니케이션 관리자인 Jeremy Schultz입니다. Amnon Shashua 교수의 1시간짜리 마스터 클래스에 참여해 주셔서 감사합니다. Mobileye의 독특하고 매혹적인 접근 방식을 통해 자율 주행 차량(AV)을 세상에 선보일 수 있습니다.

개인적으로든 가상으로든 Amnon의 CES 프레젠테이션은 지난 몇 년 동안 큰 쇼에서 내가 가장 좋아하는 시간 중 하나였습니다. 2021년을 향해 달려보자!

예루살렘에 있는 Mobileye HQ에서 연단에 오르는 것은 Mobileye CEO와 Intel 수석 부사장 Amnon Shashua입니다.

 

Amnon은 어제 기자 회견에서 몇 가지 큰 뉴스를 공유 했습니다. 뉴스 릴리스를 따라잡기 위해 오늘 Amnon은 "깊이 알아볼 주제 또는 두 가지"를 약속합니다.

그러나 먼저 빠른 비즈니스 업데이트가 필요합니다.

오전 10:01 : Mobileye의 비즈니스는 세 가지 혼합 기둥을 기반으로 합니다.

1. 운전 보조 , "단순한 전면 카메라에서 최대 360도, 매우 고급 기능을 갖춘 다중 카메라 설정으로 이동"
2. " 크라우드소싱을 통해 수집한 데이터 " — 이제 하루에 수백만 마일 — "지도뿐만 아니라 새로운 데이터 비즈니스 창출"에 힘을 실어줍니다.
3. 풀스택 자율주행 시스템 : 컴퓨팅, 알고리즘, 인식, 주행 정책, 안전, 하드웨어, 서비스로서의 이동성까지.

오전 10:02 : '2020년은 쉬지 않고 돌아다녔습니다. 우리는 EyeQ 칩 출하량이 전년 대비 10% 성장하여 2020년을 마감했습니다.'라고 Amnon은 말합니다. 자동차 생산 시설의."

Mobileye는 49개의 실행 중인 생산 프로그램에 합류하여 37개의 새로운 디자인 우승을 얻었습니다. 🏎💨

오전 10:04 : Mobileye의 제품 포트폴리오가 확장되었다고 Amnon은 다음을 포함한다고 설명합니다. EyeQ 칩 및 관련 소프트웨어; 새 도메인 컨트롤러; 풀 하이엔드 운전 지원 보드(PCB); 하드웨어와 센서를 갖춘 풀스택 자율주행 시스템; 그리고 마지막으로 모빌아이 가 2020년에 인수한 무빗과 함께 "서비스로서의 모빌리티의 고객 대면 부분"입니다.

오전 10:05 : "이 슬라이드, 제 생각에는 이 프레젠테이션에서 가장 중요한 슬라이드 중 하나입니다."

"우리는 이것을 우리 접근 방식의 삼위일체라고 부르며, Mobileye가 이 세상을 보는 방식에 매우 고유한 세 가지 구성 요소입니다." 오, 영리한 이중 의미를 사랑합니다.

첫째, Mobileye는 기능이나 성능 측면에서 주행 보조와 자율 주행의 차이를 보지 않고 오히려 평균 고장 간격을 봅니다.

동일한 시스템이 두 가지 기능을 모두 수행할 수 있지만 "경험에서 운전자를 제거하면 평균 고장 시간이 운전자가 있을 때 평균 고장 간격보다 천문학적으로 더 높아야 합니다."

오전 10시 6분 : "실패 사이의 천문학적 수준에 도달하기 위해 중복성을 구축합니다."

이는 개별적인 카메라와 라이더-레이더 하위 시스템을 통해 달성됩니다. ( Predator 👾 와 같이 눈의 원시 센서 입력에 대해 대체 및 병렬 알고리즘을 원하는 만큼 실행할 수 있다고 상상해 보세요. — Mobileye의 컴퓨터는 할 수 있고 할 수 있습니다.)

오전 10:07 : Trinity 구성 요소 2: "AV 맵이라고 하는 고화질 맵". 다른 회사가 데이터를 수집하기 위해 특수 차량을 운전하는 동안 Mobileye는 도로에 있는 현재 차량에서 데이터를 크라우드소싱합니다. Amnon은 “매우 매우 어려운 작업입니다.

"오늘 우리는 그 모든 개발이 우리 비즈니스에 매우 유용하게 되는 임계점을 통과했습니다." 그 메모를 표시하십시오.

오전 10:08 : 삼위일체 구성요소 3: 안전.

자동차의 "운전 정책"이 자동차의 결정을 좌우합니다. "조심스럽게 운전한다는 것이 무엇을 의미하는지 수학적으로 어떻게 정의합니까?" Mobileye는 RSS에 답을 가지고 있습니다. "우리는 규제 기관, 전 세계의 업계 관계자를 통해 매우 큰 성공을 거두고 있습니다."

10:09 am : 그렇다면 몇 대의 일반적인 8백만 화소 카메라만 가지고 AV를 구축하려면 어떻게 해야 할까요? (작은 카메라 상식: 8MP에 도달한 최초의 iPhone 카메라는 2011년 4S로 거슬러 올라갑니다 .)

👀 보기 드문 내부 모습.

2개의 EyeQ5 칩으로 시작하여 다양한 시야를 가진 7개의 장거리 카메라와 4개의 주차 카메라를 추가하십시오. 이것은 "우리에게 장거리 및 단거리 시력 인식, 레이더, 라이더 없음을 제공합니다."

Amnon은 첫 번째 라이딩 🚕에서 예루살렘, 뮌헨, 디트로이트에서의 자율 테스트 클립을 보여줍니다. 모빌아이가 모터 시티에 있습니다!

"여기에 보이는 것은 깊은 도시 환경에서 복잡한 운전을 하는 것이며 이 모든 것이 카메라 하위 시스템에 의해 수행됩니다."

오전 10:10 : Mobileye는 이 다중 카메라 시스템을 시각적 라이더를 위한 "vidar"라고 부릅니다. 즉각적인 3D 지도를 만든 다음 라이더와 같은 알고리즘을 사용하여 도로 사용자를 감지합니다.

그런 다음 Mobileye는 이 스트림을 복제하여 다른 알고리즘 기능을 병렬로 수행합니다(시스템의 "내부 중복성"의 예).

오전 10:12 : 이 카메라 전용 자율주행 시스템은 미래의 AV에만 적용되는 것이 아닙니다. Mobileye는 현재 SuperVision으로 운전 보조 기능을 제공하고 있습니다. "단순한 차선 유지 지원보다 훨씬 더 많은 일을 할 수 있습니다."

Amnon은 2021년 4분기 에 출시하면서 "첫 번째 제품화는 Geely와 함께 할 것 입니다. 우리는 정말로 미래 지향적인 것에 대해 이야기하는 것이 아니라 정말로 코앞에 와 있습니다."라고 말했습니다.

오전 10:14 : 새로운 국가로의 테스트 및 확장과 관련하여 "팬데믹은 실제로 우리를 훨씬 더 효율적으로 만들었습니다." 우자트?

뮌헨에서는 엔지니어가 아닌 현장 지원 직원 2명이 원격 지원을 통해 단 몇 주 만에 작업을 시작하고 실행했습니다(일반적으로 수십 명의 엔지니어가 수행). "훨씬 더 빠르게 확장할 수 있다는 자신감을 얻었습니다."

Mobileye 고객은 그 이후로 뮌헨에서 300회 이상의 시승(승차)을 했으며 이제 Mobileye는 테스트를 디트로이트, 🗼도쿄, 상하이, 파리 및 현지 규정이 허용하는 대로 뉴욕시로 확장하고 있습니다.

Amnon은 "뉴욕시는 매우 흥미로운 지리, 운전 문화, 테스트해야 할 복잡성"이라고 말합니다. "더 어려운 곳에서 시험해보고 싶다." 🗽

오전 10시 16분 : 두 번째 하위 시스템(또 다른 유명한 이스라엘 교수인 Daniel Kahneman의 조언)은 라이더와 레이더만 사용합니다.

대부분의 다른 AV 회사는 카메라와 라이더의 조합에 의존하지만 "이 하위 시스템에서 카메라를 제외했습니다." 이것은 "인생을 조금 더 어렵게 만듭니다."

그러나 그 결과 드라이버를 제거하는 데 필요한 실패 사이의 평균 시간이 훨씬 더 길어졌습니다. "모든 것이 우리가 보여드린 카메라 하위 시스템과 동일한 성능 수준에서 수행되며 여기에는 카메라가 전혀 없습니다."

오전 10시 18분 : 첫 번째 심층 다이빙 시간: 지도.

간략한 역사: 2015년 Mobileye는 크라우드소싱 매핑을 발표했습니다. 2018년에 BMW, Nissan 및 Volkswagen의 자동차가 데이터를 전송하기 시작했습니다. 이미지가 아니라 킬로미터당 최대 10킬로바이트만 추가되는 개인 정보를 보호하는 "스니펫, 차선, 랜드마크"입니다.

오전 10시 20분 : 이 매우 상세한 지도가 필요한 이유는 무엇입니까? Amnon은 "AI의 현재 상태는 도로 사용자를 사람의 인식에 가깝게 정확하게 감지할 수 있습니다."라고 말합니다. 그러나 그렇게 하고 차선, 횡단보도, 신호, 표지판, 커브, 우회전, 회전 등 운전 환경의 많은 복잡성을 이해하십시오. "지금은 현실적이지 않습니다."

AV 지도 구축의 가장 큰 과제는 규모입니다. 한두 도시를 커버하는 것은 "괜찮습니다." 하지만 운전 지원 기능으로 수백만 대의 자동차를 지원한다는 것은 "어디서나 운전해야 함"을 의미합니다.

오전 10시 22분 : 테스트가 진행됩니다. Amnon은 "자율주행 시스템이 소비자용 자동차의 성능과 비용 수준에 도달할 수 있는 2025년"이 될 것이라고 예측합니다. 그에 따라 달력을 조정하십시오.

오전 10:24 : 지도도 새로워야 합니다. 오늘날 Mobileye의 지도는 매월 업데이트되지만 최종 목표는 "몇 분 안에"입니다.

그리고 지도에는 "센티미터 수준의 정확도"가 필요합니다.

오전 10시 25분 : 거대한 360도 라이다 센서와 카메라가 장착된 특수 자동차를 운전하여 만든 지도가 문제인가? 정밀도가 과도하고 의미가 없습니다.

의미론? "우리는 의미론을 주행 가능한 경로, 차선 우선 순위, 신호등과 횡단보도와 차선 연결 사이의 연결, 정지 및 양보 지점 및 공통 속도의 5가지 계층으로 나눕니다."

공통 속도는 "교통을 방해하지 않는 방식으로 운전하기 위해" 모든 사람이 얼마나 빨리 가고 있는지입니다. 또는 사람들을 미치게 만듭니다.

10:26 am .: “이제 이러한 의미 계층은 자동화하기가 매우 매우 어렵습니다. 이것이 고화질 지도 구축의 비확장성 대부분이 발생하는 곳입니다.”

오전 10시 27분 : 간단히 말해서: "밖은 동물원입니다."

오전 10:29 : 이것이 바로 "고화질 지도"가 아닌 "AV 지도"가 필요한 이유입니다. 로컬 정확도와 자세한 의미 기능이 포함된 것입니다.

오전 10:30 : AV 지도를 구축하는 단계는 Mobileye가 "도로 분할 데이터"라고 부르는 "수확"으로 시작됩니다. "지난 5년 동안 작업한 자동 지도 생성"을 위해 클라우드로 전송됩니다. (이것은 Amnon이 더 일찍 드럼롤을 시작한 이정표입니다.)

마지막으로 현지화가 있습니다. 현재 지도에서 자동차는 어디에 있습니까?

오전 10:31 : Amnon이 수백 또는 수천 대의 자동차 데이터를 결합하여 주행 가능한 경로, 표지판 및 랜드마크를 식별하는 방법을 안내합니다.

10:33 am : 차선 표시가 없으면 어떻게 합니까? 크라우드소싱된 데이터는 다중 경로 표시가 없는 차선 및 중요한 도로 가장자리와 같은 세부 정보를 보여줍니다.

오전 10시 34분 : 횡단보도가 여러 개 있는 크고 복잡한 원형 교차로? 땀이 나지만 충분한 데이터가 있으면 Mobileye가 "완벽에 매우 가깝습니다"라고 Amnon은 확신합니다.

10:35 am : 어느 레인에 어떤 불빛이 어울릴 까?! 🚥😳 그래도 문제 없습니다.

오전 10시 37분 : Amnon은 예상 운전 행동이 표지판이나 표시가 아니라 "군중에서 추론할 수 있는" 것으로 설정되는 여러 시나리오를 순항하고 있습니다. 🤯 정확하고 맙소사, Mobileye 엔지니어의 시간을 몇 년이나 절약했을 것입니다.

오전 10시 38분 : 나는 AV가 "Driving Miss Daisy"에서 "Bullitt"에 이르기까지 승객이 선택하는 운전 모드를 가져야 한다고 농담을 했습니다. 그러나 Mobileye 지도의 장점은 사람들이 일반적으로 모든 지역 도로에서 얼마나 빨리 가는지를 포함하고 있다는 것입니다. "좋고 부드러운 운전 경험을 만드는 데 매우 중요합니다."

오전 10시 39분 : 숫자는 엉망입니다. "매일 약 800만 킬로미터의 도로가 전송됩니다."

"2024년에는 매일 10억 킬로미터의 도로가 전송될 것이므로 우리는 실제로 지구 전체의 지도를 작성하는 중입니다."

오전 10시 40분 : 딥다이빙 2부! 레이더와 라이더.

“레이더와 라이더 개발에 뛰어들 필요가 있다고 생각하는 이유는 무엇입니까? 먼저 설명하겠습니다.”

Amnon은 2022년에 높은 ​​MTBF(MTB에 대해 말하면 Amnon은 산악 자전거와 오토바이를 즐깁니다. 그는 모든 모양과 크기의 바퀴 팬).

10:41 am : 그러나 2025년에 Mobileye는 "이 수준의 소비자 AV"에 도달하기 위해 더 낮은 비용과 "수준 5에 더 가까운" 더 많은 기능을 원합니다(여기에 6개 수준의 편리한 그래픽이 있습니다). “상반된다.”

목표는 양방향 이중화가 아니라 레이더와 라이더가 각각 카메라와 같은 독립형 시스템으로 기능할 수 있는 3가지 이중화입니다. 그러나 "오늘날 레이더에는 해상도나 동적 범위가 없습니다."

오전 10시 42분 : 우리는 레이더가 단독으로 존재할 수 있는 "이미징 레이더"로 진화해야 한다고 생각합니다. Amnon은 말합니다. "이것은 매우 대담한 생각입니다."

10:43 am : 레이더는 라이다보다 10배 저렴합니다. (참고: 라이더 센서가 탑재된 첫 번째 iPhone은 2020년 4분기에 방금 출시된 12 Pro입니다.)

그래서 우리는 라이더의 비용을 대폭 줄이고 "레이더로 한계를 훨씬 더 넓히고자 합니다." 편리하게도 "인텔은 최첨단 레이더 및 라이더를 구축하는 노하우를 가지고 있습니다."

오전 10:44 : 레이더에 대한 간단한 세미나 시간입니다. 나는 공학을 공부했지만, 레이더와 라이더 모두 물체를 식별하는 데 사용된다는 알림을 파헤치는 것이 여전히 편리했습니다. 레이더는 전파를 사용하여 이를 수행하고 라이더는 레이저의 적외선을 사용합니다. 박쥐와 돌고래는 소리를 사용합니다. 이것이 소나입니다.

자동차가 사용하는 것은 "소프트웨어 정의 이미징 레이더"입니다. 물체로부터 수신하는 신호는 카메라나 라이더에서와 같은 일련의 딱딱한 점이 아니라 "모든 곳에서"입니다. 실제 물체에서 노이즈를 분리하는 것은 "매우, 매우 까다롭습니다."

에코 또는 반사된 신호에는 "사이드 로브"라는 노이즈가 포함되어 있습니다. 더 나은 레이더는 더 높은 해상도(작은 물체를 감지할 수 있음)와 더 높은 "사이드 로브 수준"(더 높은 정확도, 증가된 "탐지 가능성"을 통해)을 통해 더 많은 동적 범위를 모두 가져야 합니다. 따라서 라이다나 카메라만큼 유용한 이미지를 생성해야 합니다.

네, 테스트 중입니다. 서리가 내린 상태를 유지하십시오!

오전 10:45 : 현재 레이더에는 12 x 16 송신기 및 수신기 덕분에 192개의 가상 채널이 있습니다. 목표는 "훨씬 더 방대한" 것입니다. 48 x 48 송신기 및 수신기를 기반으로 하는 2,304개의 가상 채널입니다. 이로 인해 "중요한 과제… 계산 복잡성이 크게 증가합니다."

오전 10:46 : 다이내믹 레인지의 경우 사이드 로브 레벨이 25dBc에서 40으로 높아야 합니다. 스케일은 "대수이므로 기본적으로 밤낮으로" 점프해야 합니다.

10:47 am : 더 나은 레이더가 무엇을 할 수 있습니까? 그들이 무엇을 볼 수 있는지 봅시다.

오토바이 라이더로서 이 예는 헬멧 아래에 미소를 짓게 합니다.

"우리 레이더가 이 오토바이를 포착할 수 있기를 원합니다. 비록 훨씬 더 높은 RCS 신호를 가진 훨씬 더 강력한 표적이 있더라도 말입니다." RCS는 "레이더 단면"입니다.

10:48 am : 감도가 높다는 것은 처리해야 할 데이터가 더 많다는 것을 의미하며 "무차별적이고 순진한 방법"에는 적합하지 않습니다. 그러나 고급 디지털 필터는 "아날로그 영역에서 수행할 수 있는 것보다 더 정확하고 강력"할 수 있습니다.

오전 10:49 : 또 다른 예에서 더 나은 레이더는 "시각적으로는 거의 볼 수 없는" 장면에서 보행자를 식별할 수 있습니다.

오전 10시 50분 : 여기 레이더가 140m 떨어진 도로에서 오래된 타이어를 감지합니다. "우리는 레이더가 위험 요소도 감지할 수 있기를 원하며 위험 요소는 낮고 작으며 멀리 있을 수 있습니다."

오전 10시 51분 : 이 레이더의 타임라인? “2024년, 2025년 표준 생산.”

오전 10시 52분 : 센서 세미나 두 번째: 라이더.

현재의 라이더는 "비행 시간"이라는 방법을 사용하여 3D 데이터(물체의 크기, 모양 및 거리)를 제공합니다(이 기본 Wikipedia 그래픽은 물체가 "보는" 방법을 보여줍니다).

그러나 새로운 종류의 라이더(주파수 변조 간섭파 또는 FMCW)는 "차세대"입니다.

오전 10:53 : 많은 세부 사항을 압축하기 위해 FMCW 라이다에는 많은 장점이 있으며 4D이기도 합니다. 물체의 속도를 캡처할 수 있습니다.

오전 10:54 : Amnon이 FMCW 라이더가 속도를 캡처하고 더 긴 범위를 가지며 더 탄력적인 방법을 보여줍니다.

10:55 am : 인텔은 라이더에 무엇을 제공합니까? 실리콘 포토닉스. 인텔은 "칩에 능동 및 수동 레이저 요소를 넣을 수 있으며 이는 정말 판도를 바꿀 것입니다."

Amnon은 "184개의 수직선이 있는 광자 집적 회로를 보여주고 있으며, 그 수직선은 광학 장치를 통해 이동합니다."

이러한 종류의 칩을 제조하는 능력은 "매우 드물다"고 Amnon은 말합니다. "이는 인텔이 이러한 라이더를 구축하는 데 상당한 이점을 제공합니다."

오전 10:56 : "이제 업데이트 모드로 돌아가겠습니다."

오전 10:57 : RSS 안전 모델이 전 세계적으로 추진력을 얻고 있습니다. IEEE, ISO, 미국 교통부 및 영국 법률 위원회의 표준에 적용되고 영향을 미치고 있습니다.

오전 10시 58분 : Mobileye는 차량 및 RaaS(Ride-as-a-Service)뿐만 아니라 MAAS(Mobility-as-a-Service)도 구축하고 있습니다. 그 때 무빗이 등장합니다.

오전 10시 59분 : 무빗은 112개국 3,400개 도시에서 9억 5천만 명의 사용자가 활동하는 "최대 여행 플래너"입니다. 텔레 옵스, 차량 최적화, 중앙 제어, 모빌리티 인텔리전스, 사용자 경험 및 결제를 추가하여 MAAS를 가능하게 합니다.

오전 11:00 : 거의 다 왔어요. 아직 짐을 싸지 마세요!

첫 번째 배포는 2022년 이스라엘에 있을 예정입니다. 다음 달에 테스트가 시작되는 프랑스가 닫힙니다. 대한민국 대구시에서 올해 중순에 테스트가 시작됩니다. 그리고 일본의 Willer Group과 협력하여 2023년 오사카에서 출시하는 것이 목표입니다.

“그리고 우리는 더 확장할 것입니다.”