그리고 자율주행 시스템의 안전성에 대하여 [Tech] 블랙스완, 설계 실패

2014년 SAE(Society of Auto motive Engineers)는 J3016으로 알려진 6가지 차량 자동화 수준을 제시하며 현재 업계 전반에서 표준으로 널리 인정받고 있습니다. 이 분류는 안전 요건이 아니며, 자동 시스템과 인간 운전자 사이의 운전 과제의 구분에 근거합니다. Level 3 시스템이 시장에 도입되는 시점에서 비상 동작(emergency man euvers)이 필요할 때 안전을 보장하는 시스템 설계의 최소 요건을 명시해야 합니다. 자동 운전 기술의 급속한 발전은 산업 전체를 위험에 빠뜨리지 않기 위해 합의된 최소 요건을 필요로 합니다. 우리는 그러한 최소한의 요구사항을 설정하기 위한 방법론을 제안하고 싶습니다.

우선 SAEJ 3016에서 가져온 몇 가지 기본적인 기술 정의와 용어로 시작합니다. 공공도로에서 자동차를 운전하는 것을 ‘동적 주행 과제(Dynamic Driving Task, DDT)’라고 하는데 이는 인지 시스템(차량 주변 환경 이해), 주행 정책 시스템(다음에 어떤 조치를 취해야 할지 결정), 차량 제어로 구성되어 있습니다. 다음으로 유용한 용어는 시스템을 작동시킬 수 있는 시나리오인 시스템 작동범위를 설정하는 운행설계영역(Operational Design Domain, ODD)입니다. ODD에는 시스템을 작동할 수 있는 도로형태(고속도로, 시골, 동맥, 도시), 허용된 동작타입(접점직진, 보호받지 않는 회전 등), 허용속도(예: 60km/h를 넘지 않음), 타 도로사용자 제한(예: 선도차량이 있어야 함), 기상조건 등이 있습니다.

SAEJ3016 문서는 지금까지의 용어를 바탕으로 자율주행작업을 완전히 수행할 수 있는 시스템과 일부 자율주행기능이 있는 차량을 구분합니다.

시스템은 DDT 전체를 ODD 내에서 수행할 수 있는 경우를 자율주행시스템(Automated Driving System, ADSL)이라고 합니다. “특히 Level 3-5는 ADSL로, Level 0-2는 그렇지 않습니다”

즉, Level 0-2에서는 시스템이 DDT를 완전히 수행할 수 없으므로 ADSL로 간주되지 않으므로 운전자가 즉시 제어권을 가질 준비가 되어 있어야 합니다. Level 3-5에서 차량은 비상제동이나 조향조작과 같은 즉시 대응이 요구되는 상황을 자율적으로 처리하는 것을 포함하여 전체 DDT를 수행할 책임이 있습니다. Level 3과 Level 4-5 사이의 유일한 차이는 몇 초 후 (현실적으로 “eye-off”운전자는 상황을 이해하고 반응하는 데 5~10초 걸립니다.) 시스템이 인간 운전자에게 제어권을 부여하여 J3016이 “DDT fallback”이라고 부를 수 있는 반면 Level 4-5에서는 시스템이 “DDT fallback”이라고 할 수 있어야 합니다. 즉 L3의 경우 인간드라이버는 ADSL이 더 이상 완전한 DDT를 수행할 수 없을 경우 기본적으로 대응수단인 반면 시스템은 L4-5에 대한 독자적인 대응수단인 것입니다.

DDT fallback의 정확한 정의는 J3016 문서에서 찾을 수 있습니다. 본 문서의 목적상 중요한 요소는 “DDT fallback” 그 자체가 아닌 비상사태에 대한 즉각적인 반응의 정의입니다. Level 3에서 인간 운전자의 인수는 순간적이지 않으므로 필요한 비상 동작의 관점에서 Level 3-5는 모두 동일합니다. 즉, 우리가 하는 첫 번째 관점은 시스템 설계의 관점에서 Level 3은 L4-5와 동일한 성능수준에서 차량의 즉각적인 반응을 자율적으로 처리해야 합니다. 이는 실제로 인간 운전자에게 수초의 반응 시간을 주는 인수 요청이 실제로 시스템 설계를 단순화하는 것은 아니기 때문입니다. 왜냐하면 그 몇 초 동안 어떤 일이든 일어날 수 있기 때문입니다.

제2의 관점은 ADSL의 시스템 설계의 복잡성이 반드시 ODD의 복잡성과 관계되는 것은 아니라는 것입니다. 즉 단순한 ODD가 반드시 단순한 ADSL 시스템 설계로 변환되는 것은 아닙니다. 현장의 많은 실무자들은 Level 3을 Level 4보다 더 “쉬운” 문제로 보고, 시스템 설계의 복잡성과 ODD 사이의 단조로운 관계를 가정합니다.

다음 예시는 두 가지 관점과 관련이 있습니다. 매우 간단한 ODD로 운영되는 ADSL를 생각해 보십시오. ODD가 차선 변경 동작을 배제하고 고속도로에 국한된 고속도로로 ‘차선 유지(Stay in Lane)’라고 합니다. 물론, ADSL가 지정된 ODD를 떠나야 할 비상 동작이 있는 것입니다. 예를 들어 아래 그림에서 carc_r(light blue)는 carc_f(dark blue)를 따르고 있는데, 갑자기 c_f가 정지한 차량(red)을 피하기 위해 마지막 순간 방향을 전환합니다. 차량 c_r에는 제동으로 충돌을 피할 수 있는 충분한 거리가 없기 때문에 차선 변경으로 사람이 할 수 있는 것과 비슷한 회피 동작을 해야 합니다.

만약 c_r가 ADSL라면 분명히 그것은 지정된 ODD 밖에서 움직여야 합니다. 그렇지 않을 것(지정된 ODD를 고수할 것)은 ADSL의 “설계에 의한 실패(failure by design)”의 한 예입니다. 왜냐하면 ADSL는 충돌을 피하지 않았을 가능성이 있기 때문이다. 게다가 ADSL는 DDT를 인간 운전자로 전송하기 위한 몇 초의 유예시간을 가지고 있지 않습니다. 상술한 바와 같이, 수초 이내에 모든 일이 일어날 수 있습니다.

이 예에서는 운전자가 차량의 즉각적인 반응에 책임을 지지 않으면 시스템 설계가 완전한 OOD가 있는 ADSL만큼 복잡해야 한다는 개념을 강조합니다. 바꿔 말하면, 시스템 설계의 관점에서 우리는 차선을 유지하는 ODD와 차선 변경을 하는 ODD에서 동일한 시스템 복잡성을 예상해야 합니다. 현재 시장에 출시되고 있는 L3 시스템은 그렇지 않습니다.

다음으로 ADSL이 위의 통찰력을 가지고 즉시 대응하는 Level 3-5를 담당할 때, ODD의 함수로서 시스템 설계에 대한 최소 요구사항을 설정하기 위한 원칙적인 방법론을 제안한다.

자율주행차의 안전요건 설정에 관한 방법론

자율 주행 시스템의 엔지니어링 프로세스에는 인지 시스템(차량 주변 환경 이해)과 주행 정책 시스템(다음에 어떤 조치를 취해야 할지 결정)이 포함됩니다. 지난 몇 년간 우리는 운전정책 시스템을 다루는 Mobileye의 RSS(Responsibility Sensitive-Safety) 모델을 도입했습니다. 따라서 이 문서에서는 인지시스템의 오류로 인한 실패에 초점을 맞춥니다. 우리는 다음 두 가지 오류 원인을 구별합니다.

• 설계에 따른 실패 “Failure by design” : 이는 인지시스템이 특정 ODD를 가지고 있으며 인지시스템 외부에서 고장이 발생할 수 있음을 의미합니다. 예를 들어, 차선 변경을 할 수 없는 상태에서 차량을 현재의 차선으로 유지하도록 설계된 시스템의 예를 생각해 보십시오. 이러한 시스템은 전방 지향 센서만 포함하여 혼잡한 교통에서 차선 변경을 지원할 수 있는 해상도가 충분한 주변 센서를 포함하지 않는다고 가정해 봅시다. ODD가 이 센서 구성을 통해 기술적으로 지원하지만, 이러한 시스템은 인간 운전자의 숙련도 수준에서 다른 차선으로 조향하는 비상 상황에서 회피 동작을 수행할 수 없습니다. 결과적으로 비상동작을 실시하지 않는 것은 ‘설계에 의한 실패’로 간주됩니다.

• “Black Swans” : 인지는 ODD 경계 내에서 실수를 할 수 있습니다. 예를 들어 차량을 감지하도록 설계된 시스템은 가끔 차량을 놓칠 수 있습니다. 시스템 설계자는 특정 차량이 시스템에 의해 누출될 수 있다는 것을 미리 알지 못합니다. 그들은 실패 사례에 대해서만 통계적인 보증을 할 수 있습니다. 우리는 “Black Swans” 장애없이 시스템이 작동되는 평균 시간 MTBF(Mean-Time-Between-Failures) 라는 용어를 사용합니다. MTBF는 고장 확률의 역수입니다.

우리의 제안은 다음과 같습니다:J3016(Level 3-5)에 의해 정의된 ADSL은 즉각적인 대응을 요구하는 상황을 자율적으로 처리해야 합니다. 따라서 ADSL는 다음과 같이 감각 구성과 기능 검증을 갖추어야 합니다.

  1. ODD 내에서 작동하는 동안 인간 충돌 통계 또는 그 이상으로 “Black Swan” 이벤트의 MTBF가 필요합니다.

2. 즉시 대응할 때마다 시스템은 ‘설계에 의한 실패’가 없어야 합니다. 즉, 인간 수준의 능력 또는 그 이상의 수준으로 시스템을 ODD 외부로 이동시키는 회피 동작 등 안전에 중요한 사건에 적절히 대응할 수 있어야 합니다.

첫 번째 요건은 인적 충돌 통계가 알려져 있으므로, 시스템이 충분히 높은 MTBF를 갖도록 통계적으로 검증되어야 합니다. 설계별로 고장을 검증하지 않을 경우 충돌유형학 연구 또는 RSS 공식 모델을 사용하여 해결할 수 있습니다.(예:RSS를 준수하는 회피 동작에 대한 적절한 대응은 논문의 정의 12에서 확인할 수 있습니다.)

요약하면, 우리는 자동화 수준, ODD 및 시스템 설계 간의 결합이 다음 원칙을 따를 것을 제안합니다.

  1. 안전성의 관점에서 운전자의 주의 레벨은 2가지입니다. 즉, 운전자가 즉각적인 반응을 보일 책임이 있거나 로봇 운전자가 즉각적인 반응을 보일 책임이 있습니다. J3016 분류에서 Level3의 책임 “hand-shake”는 시스템 설계의 안전요소와 실제 관계가 없는 것이 중요합니다.

2. ODD 중심은 즉시 대응을 담당하는 누군가와 무관합니다.

3. ODD에 관계없이, (로봇 드라이버의) 즉시 반응은 최소한 인간 차원에서 충돌 회피 기술을 다루어야 합니다. 그렇지 않으면 ‘설계에 의한 실패’가 됩니다.

4. 센서 구성, 시스템 설계 및 기능 검증은 설계에 의한 실패가 없어야 하며, 최소한 인적 충돌 통계 수준의 BlackSwan의 MTBF에 도달해야 합니다.

이러한 원칙에 동의하지 않으면, 보다 안전한 도로를 정말 장려하지 않는 시스템을 배치할 위험이 있습니다. 모든 레벨의 자동화 차량 설계에서 이러한 원칙을 준수함으로써 업계의 실무자는 정의에 따라 보다 안전하고 업계 전체를 촉진하는 시스템을 구축하여 배포할 수 있습니다.

인터럽트 오늘의 뉴스는 Mobileye를 표시했습니다만, 카테고리 분류는 「Technology」로 했습니다. 이번 글의 저자가 Mobileye의 CEO Amnon Shashua에 이어서 Mobileye 로고를 사용했는데, 실제 내용은 기술적 제안에 대한 것이라 그렇게 결정했습니다.

우리는자주자율주행차를언급할때가장많이듣는용어가아마레벨이지않나생각합니다. 이는 미국의 SAE에서 자동차 자동화 분류를 할 때 결정했던 내용이 지금은 거의 세계 표준처럼 사용되고 있기 때문입니다. 물론기술적구분을위해사용된용어가일반인을위해서사용되고오해가생기기도합니다. 하지만 지금은 수정해서 사용하기에 너무 넓게 벌어져 있어요. 이런문제에서아직몇학자와단체들은일반분류를위한제안을하고있어요. SAE에서도 일반적인 이해를 돕기 위한 자료를 공개하기도 했습니다.

그리고 자율주행차에 대해 조금 더 깊이 관심을 가지고 기술적으로 접근하다 보면 꼭 읽어야 할 문서가 SAE의 J3016입니다. 이 문서에서 사용되는 용어는 다양한 장소에서 활용되고 있기 때문에 필요합니다. 아무래도 자동화를 구분하는 기준이 해당 문서에서 출발했기 때문입니다.

ODD, DDT, OEDR(Object Event Detection and Response), DDTfallback 등 다양한 용어의 정의와 활용에 대한 설명이 포함되어 있습니다. 저도 가끔 ODD에 대해서는 글을 쓰면서 인용하곤 합니다. 저는 ODD를 ‘운행설계영역’으로 번역합니다만, 번역을 하면 더 이해하기 어려운 것 같기도 합니다. 이와 같은 이유로 일본에서는 ‘특정 영역’, ‘정해진 구역’, ‘운행 가능 영역’ 등으로 해석되고 있습니다. 영어 단어 자체의 의미보다 실제로 이해하기 쉽게 번역해도 문제가 되지 않는다고 생각합니다. 그래도 각각의 용어가 가지고 있는 의미를 이해하는 것은 그 후의 관련 일을 하기 위해서는 필요합니다. 국제적으로 통용되기 때문입니다.

어쨌든 이번 글은 최근 부상하고 있는 Level3 자율주행 기술에 대한 Amnon Shashua의 제안을 담고 있습니다. 뭐 Mobileye가 생각하는 내용으로 봐도 될 것 같습니다. 그럼 왜 Amnon Shashua는 이러한 제안을 했을까요? SAE의 Level 3의 애매한 기준 때문입니다. Level3는 DDT fallback 부분에서 로봇이 사람에게 상황처리를 권한을 넘겨주는 구조로 되어있기 때문입니다. 이 과정에서 적어도 10초 이내의 시간이 필요합니다. 이러한 이유로 앞서 소개한 예와 같은 예외 상황에서의 처리를 어떻게 안전하게 할 수 있는지에 대한 논쟁이 끊임없이 일어나고 있습니다. Level 3가 등장할 수 없다고 주장하는 사람들도 있습니다. 자동차 회사들이 판매하는 ADAS 기술과 스타트업을 중심으로 개발 중인 Level4 기술이 자율주행 기술개발의 대세였습니다.

2021년을 시작으로 Level 3 기술들을 자동차 회사들이 소개하고 있습니다. 한국의 경우 2020년 세계 최초로 Level 3 자율주행차 상용화를 위한 안전지침을 마련하여 법적 기반을 마련하고 있습니다. 아마 2022년에는 Level3 자율주행기술이 적용된 차량을 볼 수 있지 않을까 싶습니다. 이를 위해 법적, 사회적 기반을 위한 다양한 정책들이 지속적으로 발표되고 있습니다. Level 3 까지의 길은 그렇게 쉽지 않습니다.

최근 Level 3 기술 적용을 위해 자동차 회사들은 LiDAR 기술과 DMS (Driver Monitoring System)를 사용하여 보다 안전하고 정확한 인지 능력을 위해 추가하기 위해 노력하고 있습니다. 하지만 현재 이러한 노력의 공통된 기준이 없다는 것이 문제입니다. SAE의 J3016은 기능적 정의 수준에 머무르기 때문에 구체적으로 운전자가 운전대를 로봇에게 인계 받은 후의 상황에 대해서는 정의하지 않습니다. 이러한 이유로 기능을 실현하기 위해서는 실무 엔지니어링 분야에서는 자신들의 자의적 판단이 필요합니다. 이는 각자가 가지고 있는 기술적 역량과도 연결이 됩니다.

물론 이러한 문제 때문에 여러 기관과 단체에서 표준과 규제 등을 제시하고 있습니다. 대표적인 것이 UNECE에서 2020년에 발표한 Automated Lanekeeping System (ALKS)에 대한 규정이 있습니다. 이런 규정들이 등장하면서 관련 기업들은 최소한 가이드라인을 갖게 된 것입니다. 그리고 이 기준을 검증할 수 있는 상품도 공개되어 있습니다.

이번 Amnon Shashua의 제안은 현재 진행 중인 Level 3 기술을 실제로 적용하기 위해 보다 신중하고 보편적 합의를 도출하는 방안을 모색해 보자는 의견으로 사료됩니다. 이러한 고민은 개별 기업 스스로 하기에는 한계가 있기 때문에 보다 광범위한 의견 수렴을 요구하는 것으로 해석됩니다. 물론 이미 많은 분야에서 고민하고 대안을 제시하고 있지만 이해당사자가 처한 상황이 달라 쉽지는 않을 것 같습니다. 현재 Level 3에 대한 고민은 이전에 비해 많이 언급되고 있습니다.

어쨌든 이번 뉴스는 관련 업계에 없다고 크게 울린 이야기는 아닙니다. 하지만사실우리가자율주행기술에대해서관심을가지고접하는다양한뉴스중에기술적인접근과정에서필요한내용들이포함되어있고,앞으로우리생활에서접하는기술에대한실무적인고민중의하나가아닌가생각됩니다. 결코 자율주행차가 도로 위를 자유롭게 돌아다니는 것은 쉽지 않다는 것을 다시 한 번 생각해 봅니다.

PS: 검색에 들어가서 원하는 내용을 찾을 수 없다면 태그 또는 검색을 하면 더 많은 자료를 찾을 수 있습니다. 그래도 원하시는 내용이 없으시면 저한테 연락주시면 제가 아는 범위 내에서 도와드리겠습니다. 부담 갖지 않으셔도 됩니다

Over the Vehicle !!!

참고자료 Prof. Shai Shalev-Shwartz, CTO of Mobileye and Prof. Amnon Shashua, President & CEO of Mobileye, an Intel companyamnon-shashua.medium.com

error: Content is protected !!