Chapter 8: 범용성을 어떻게 믿을 것인가 — 평가, 오염, 실패, 안전과 운영

개요

“범용 로봇”이라는 말은 시험표의 칸을 지웁니다. 같은 로봇과 같은 조립 과제에서 부품 위치만 바꾼 시험, 처음 보는 지시와 물체를 함께 바꾼 시험, 다른 팔과 그리퍼로 옮긴 시험, 여러 기술을 오래 이어야 하는 시험은 서로 다른 주장입니다. 이 결과를 하나의 성공률로 합치면 무엇이 전이됐고 무엇이 암기됐으며 어디서 사람이 구했는지 알 수 없습니다. 이 장에서 일반화(generalization) 는 모델의 속성이 아니라, 고정한 것과 바꾼 것, 노출 이력, 분모, 실패, 증거 단계를 적은 평가 계약입니다.

S11에서 물려받는 것은 물리 셀, 센서·시계·좌표계·보정 세대, 제어기, 충돌·힘 한계, 감시 장치, 보호 정지, 비상 정지와 사람 책임자입니다. S12에서 물려받는 것은 버전형 과제와 기술 API, proposal → projected → sent → accepted/executed 계보, 실행 가능성 투영(feasibility projection), 고전·학습 기준선, 독립 평가기와 전체 되돌리기(rollback) 튜플입니다. 제7장은 계획·메모리·도구·기술 호출의 권한과 복구 상태를 추가했습니다. 이 장은 어느 것도 다시 발명하지 않고, 무엇을 어떤 분모에서 믿을 수 있는지 판정하는 독립 원장을 만듭니다.

새 질문은 세 가지입니다. 첫째, 같은 로봇·과제, 새 장면·물체·지시, 서로 다른 로봇 형태, 긴 지평선이라는 체제를 어떻게 섞지 않을 것인가? 둘째, 성공 외에 개입, 안전하지 않은 제안, 실행 가능성 거부, 지연, 복구, 보정 표류, 분포 변화(distribution shift)와 비용을 어떻게 함께 기록할 것인가? 셋째, 모델·평가기(evaluator)·안전 감독기(safety supervisor)가 같은 자료, 서비스, 시계와 표현을 공유해 동시에 틀리는 일을 어떻게 막을 것인가?

이 장을 읽고 나면... - 같은 로봇·과제, 새 장면·물체·지시, 서로 다른 로봇 형태 간 전이(cross-embodiment transfer), 긴 지평선 평가를 별도 주장으로 설계할 수 있습니다. - 성공률과 함께 개입·거부·꼬리 지연(tail latency)·복구·보정 표류·분포 변화·비용을 같은 분모와 계보로 기록할 수 있습니다. - 훈련·평가 중복, 자료 오염(contamination), 선택 보고, 시뮬레이션(simulation) 전용 결과와 실제 로봇 근거를 구별할 수 있습니다. - 불확실성 보정(calibration), 분포 밖 입력(out-of-distribution input, OOD), 선택적 예측(selective prediction), 적합 예측(conformal prediction)을 안전 승인과 분리할 수 있습니다. - 독립 평가 카드, 실패 분류표, 운영 중단·되돌리기 계약을 탁상형 조립 셀에 적용할 수 있습니다.

실험 질문은 다음과 같습니다. 과제 성공 정의, 초기 상태 분포, 관측·행동 의미, 기술·제어기·안전 한계와 평가기를 고정했을 때, 기반 정책 또는 에이전트가 각 새 일반화 체제에서 고전 기준선과 S12 학습 기준선을 실제로 능가하는가? 그 이득이 개입·거부·위험 제안·지연·복구 실패·운영 비용을 숨긴 결과는 아닌가?

1. 정신 모형: 평균 하나가 아니라 증거의 격자

평가 결과를 model → success rate로 그리면 과제 노출, 로봇 형태, 시간, 실행 관문과 운영 상태가 사라집니다. 이 장의 정신 모형은 체제 × 증거 단계 × 실행 계보 × 실패 계층의 격자입니다. 한 칸의 근거는 다른 칸을 자동으로 채우지 않습니다.

버전형 모델·자료·과제·로봇·평가기·안전 계약
                    ↓ 노출·중복·분할 감사
  같은 로봇/과제 | 새 장면 | 새 물체 | 새 지시 | 새 형태 | 긴 지평선
                    ↓ 각 체제의 고정축·변경축 확인
 재생 → 오프라인 → 시뮬레이션 → 그림자 실행 → 제한된 실제 시험
                    ↓ 모든 시도에서 계보 분리
 proposal → projected/rejected → sent → accepted → executed → evaluated
                    ↓ 성공과 함께 실패·시간·비용 기록
 개입 | 위험 제안 | 투영 거부 | 지연 | 복구 | 표류 | 중단 | 사람 인계

독립 횡단 계층: 센서 기반 평가기 · 충돌/힘 감시 · watchdog · 보호/E-stop
모델과 독립된 권한: 물리 승인 · 서비스 격리 · 최종 되돌리기

가로축은 “무엇이 새로웠는가”를 말합니다. 세로축은 근거가 실제 로봇에 얼마나 가까운지를 말합니다. 실행 계보는 성공 이전에 얼마나 많은 후보가 거부되거나 수정됐는지를 보여 줍니다. 실패 계층은 잘못된 지시 이해와 물리적 힘 사건을 하나의 failure로 뭉개지 않게 합니다. 평가 카드는 이 네 축을 한 줄로 연결해야 합니다.

평가기는 목표 상태를 센서 근거로 판정하지만 안전 감독기는 동작 중 충돌·힘·속도·공간·마감 한계를 강제합니다. 둘을 합치면 과제 성공 판정의 오류가 안전 판정까지 전파됩니다. 모델이 만든 장면 표현이나 같은 원격 시각 서비스에 둘 다 의존해도 공통 원인 실패가 생깁니다. 평가기는 정책 설명을 정답으로 쓰지 않고, 안전 감독기는 모델의 불확실성 값을 정지 해제 신호로 쓰지 않아야 합니다.

2. 일반화 주장을 여섯 체제로 분리한다

같은 분포 안, 새 장면, 새 물체, 새 지시, 새 로봇 형태의 결과는 각각 다른 주장입니다 ^{[21] [25] [1]}. 여러 로봇 자료의 양의 전이나 열린 환경 사례는 중요한 근거지만, 각 원출처의 과제·자료·적응·분모와 중복 가능성에 한정됩니다. 따라서 한 체제의 새로움이나 자료 비중을 다른 체제에 추정해 넣지 않습니다.

이 책의 관통 조립 과제에는 긴 지평선을 별도 여섯째 체제로 둡니다. 단일 기술을 새로운 물체에서 실행하는 것과 찾기 → 파지 → 운반 → 접촉 전 정지 → 삽입 → 검사 → 복구를 끝까지 구성하는 것은 실패 노출이 다릅니다. 후자는 앞 기술의 작은 오류가 다음 기술의 초기 상태를 바꾸고, 메모리·도구·원격 서비스와 재계획이 새로운 의존성을 만듭니다.

2.1 같은 이름의 “새 물체”도 다르다

평가 물체가 훈련 영상에는 없지만 인터넷 사전학습에는 있었는지, 동일 CAD에서 색만 바뀐 것인지, 같은 가정의 중복 에피소드가 다른 파일명으로 들어갔는지에 따라 주장이 달라집니다. 자료셋 특유의 단서를 학습한 분류기가 원 자료셋은 잘 맞히면서 다른 자료셋에서 약해지는 현상은 정적 영상에서도 오래 관찰됐습니다 ^[1]. 순차 로봇 로그에서는 카메라 위치, 치구 흠집, 작업자 손, 초기화 순서와 제어기 소리가 더 강한 누출 단서가 될 수 있지만, 정적 영상 연구가 그 크기를 직접 정량화하지는 않습니다.

따라서 평가 단위는 파일이 아니라 사건 계보입니다. 원 에피소드, 잘라낸 구간, 증강본, 다시 인코딩한 영상, 언어 재표현, 합성 장면과 검색 메모리가 어떤 평가 항목에 닿았는지 추적합니다. 정확한 노출 여부를 알 수 없으면 clean이 아니라 unknown_exposure입니다. 새 물체를 선언할 때는 범주·개체·형상 계보·시각 자산·사전학습·미세조정·검색 노출을 각각 표시합니다.

2.2 서로 다른 로봇 형태는 성공률 이전에 호환성 시험이다

Open X-Embodiment는 여러 기관과 로봇의 자료를 공통 형식으로 결합하고 형태 간 전이를 연구할 수 있는 중요한 기반을 제공합니다 ^[21]. 그러나 자료 수준 정규화가 제어 모드, 접촉 순응, 힘·촉각, 그리퍼 의미, 시간 지연과 안전 한계를 보존한다는 뜻은 아닙니다. 새 로봇 평가의 첫 출력은 성공률이 아니라 compatible, adapted, incompatible, not_exercised 형태의 감사 결과여야 합니다.

기본 단일 팔+평행 그리퍼에서 다른 팔로 옮길 때는 카메라 외부 매개변수, 작업 공간, 관절·말단 좌표, 행동 주기, 그리퍼 열림 의미, 속도·힘 한계와 접촉 제어기를 다시 식별합니다. 변환기가 같은 상위 기술 호출을 받아도 하위 궤적과 접촉은 다릅니다. 적응 자료와 실물 노출 비용도 성능의 일부로 기록합니다. “제로샷”이라는 이름은 숨은 보정, 사람 선택, 프롬프트 조정이나 실패한 시도를 지우지 않습니다.

3. 동일 축 비교표와 기반 정책 평가 카드

모델 순위표보다 먼저 평가 단위를 맞춥니다. 정책 A는 새 물체 20개, 정책 B는 익숙한 물체 50개, 정책 C는 시뮬레이션 장면 1,000개에서 시험했다면 세 성공률은 같은 열에 둘 수 없습니다. 아래 표의 한 행이 비어 있으면 비교 셀은 not comparable입니다.

기반 정책 평가 카드는 모델 카드의 요약판이 아니라 실행별 영수증의 색인입니다. 최소 머리글은 다음과 같습니다.

| 평가 카드 묶음 | 기록할 필드 | 비교에서 지키는 경계 |
|---|---|---|
| 카드·대상 | `s13.foundation-policy-eval/v1`; 모델, 체크포인트, 어댑터, 프롬프트, 디코더, 정책 머리 | 평가 대상을 한 실행 튜플로 식별 |
| 하위 계약 | 과제, 로봇, 관측·행동, 기술 API, 제어기, 평가기, 안전 | 상위 모델 비교 중 실행·안전 계약을 고정 |
| 일반화 체제 | 같은 로봇·과제, 새 장면·물체·지시, 다른 형태, 긴 지평선 | 서로 다른 새로움 축을 한 성공률로 합치지 않음 |
| 노출 | 훈련, 적응, 검색, 메모리, 근접 중복, 인터넷 사전학습, 판정 | `clean`, `known_overlap`, `unknown`을 항목별로 남김 |
| 시행 분모 | 계획, 초기화, 제안, 투영, 송신, 수락, 실행, 평가 가능 수 | 거부·미송신·평가 불가 시행을 분모에서 숨기지 않음 |
| 근거 단계 | 재생, 오프라인, 시뮬레이션, 그림자, 제한 실물 | 각 단계의 결과와 권한을 별도 영수증으로 유지 |
| 결과 | 성공, 부분 성공, 실패, 불명, 개입, 사람 보조 | 사람 보조를 자율 성공으로 합치지 않음 |
| 제안 안전 | 위험, 실행 불가 거부, 오래된 제안 거부, 스키마 거부 | 위험 후보가 실행 전 차단됐는지 별도 측정 |
| 시간 | 관측 나이, 추론 p50/p95/p99, 대기열, 투영, 마감 초과 | 평균이 꼬리 지연과 오래된 명령을 가리지 못하게 함 |
| 복구 | 탐지, 중단, 후퇴, 재시도, 재계획, 인계, 회복 | 실패부터 사람 인계까지의 분모를 연결 |
| 분포 변화 | 탐지기, 보정 버전, 사전 등록 축, 표류 사건 | 사후에 유리한 변화 축만 고르지 못하게 함 |
| 운영 | 원격 장애, 로컬 대체, 로봇군 범위, 개인정보, 저작권, 비용 | 서비스·거버넌스·비용 실패도 출시 근거에 포함 |
| 되돌리기 | 모델, 자료, 프롬프트, 기술, 제어기, 평가기, 보정, 서비스 버전 | 체크포인트가 아니라 전체 호환 튜플로 복귀 |

분모 사슬은 특히 중요합니다. executed만 분모로 쓰면 실행 불가능하거나 위험해 투영 단계에서 거부된 제안이 사라집니다. 반대로 거부를 모두 실패로 합치면 안전 관문이 제대로 작동한 정책을 과도하게 벌할 수 있습니다. 따라서 제안 품질과 실행 결과를 별도 비율로 보고하고, 둘을 같은 proposal_id로 연결합니다.

4. 증거 단계를 승격하되 서로 대체하지 않는다

재생은 미래 정보를 차단한 채 기록된 사건에서 제안과 거부를 다시 계산합니다. 오프라인 평가는 지시 연결, 물체 인식, 행동 예측, 불확실성 같은 부분 능력을 측정합니다. 시뮬레이션은 장면·물리 변수를 통제하고 실패를 반복하기 좋습니다. 그림자 실행은 실시간 센서와 원격 서비스, 대기열을 쓰되 로봇 명령을 송신하지 않습니다. 제한된 실제 시험만이 현재 셀의 마찰, 케이블, 보정, 지연과 접촉을 포함합니다.

SIMPLER는 시뮬레이션 결과를 실제 조작 정책 평가의 대리 지표로 연구하고 분포 변화에 대한 관계를 조사하지만, 이는 제한된 하드웨어 근거를 대신하지 않습니다 ^[22]. 관계의 강도는 과제, 자산, 정책과 시뮬레이터에 조건부이며, 원출처가 다루지 않은 연성 물체·접촉·센서·제어기·운영 장애로 확장할 수 없습니다. 시뮬레이션과 실제 결과는 같은 카드의 다른 evidence_stage에 둡니다.

도메인 무작위화는 시각이나 동역학 변화를 넓혀 현실 전이를 돕는 실제 사례를 제공하지만, 무작위화 범위 밖의 접촉과 동역학은 남습니다 ^{[11] [15]}. 실제 경험으로 무작위화 분포를 조정하는 방식도 실물 노출과 선택한 궤적에 의존합니다 ^[16]. 그러므로 시뮬레이션 관문 통과는 eligible_for_shadow이지 safe_for_hardware가 아닙니다.

각 승격 단계는 이전 단계가 찾은 반례를 보존합니다. 시뮬레이션에서만 실패한 장면을 “현실적이지 않음”으로 삭제하려면 사전 정의된 제외 규칙과 근거가 필요합니다. 그림자 실행에서 마감 시간을 넘긴 출력은 명령을 보내지 않았어도 운영 실패입니다. 실제 시험에서 사람이 부품을 바로잡으면 그 시도는 자율 성공이 아니라 human_assisted입니다.

4.1 긴 지평선은 단계별 조건부 성공으로 읽는다

VLABench는 언어 조건 장기 조작과 보지 못한 물체·지시의 어려움을 드러내는 기준 시험(benchmark)이지만, 그 결과는 기준 시험별 시뮬레이션 근거이며 하드웨어 출시 영수증이 아닙니다 ^[24]. 해당 MuJoCo/dm_control 환경의 과제·워크플로·물체·평가 정의에 한정해 해석해야 하고, 이 책의 탁상형 셀에서 접촉·지연·정지·복구가 검증됐다고 옮겨 적을 수 없습니다.

긴 과제는 최종 성공 하나와 단계 벡터를 함께 냅니다. recognize, grasp, transport, precontact, insert, verify, recover별 진입·완료·실패·체류 시간을 기록하고, 첫 실패 뒤 실행된 동작을 연결합니다. 최종 실패가 삽입에서 드러났더라도 원인은 앞선 파지 자세나 오래된 장면 관측일 수 있습니다. 무조건 단계 성공률을 곱하는 것도 틀립니다. 실패가 독립이 아니고 복구가 상태 분포를 바꾸기 때문입니다.

한 번의 긴 실행을 여러 짧은 성공 시도로 잘라 보고해서도 안 됩니다. episode_id와 attempt_family_id를 유지하고, 재시도 예산을 넘긴 뒤 사람이 완료한 결과를 별도 상태로 둡니다. 에이전트가 같은 기술 이름을 바꿔 무한 반복하지 못하도록 실패 계층에 예산을 부여합니다.

5. 오염·중복·선택 보고를 평가 전 처리한다

오염 감사는 “훈련 파일에 평가 파일명이 있는가”보다 넓습니다. 같은 원 영상의 다른 압축본, 인접 프레임, 잘라낸 하위 궤적, 증강 이미지, 언어 재표현, 동일 장면의 합성본, 검색 색인과 메모리 요약을 포함합니다. 시각·언어 사전학습의 전체 목록을 알 수 없다면 깨끗하다고 선언하지 않고 노출을 unknown으로 둡니다.

감사 절차는 네 겹입니다. 첫째, DOI·자료셋 ID·에피소드·자산·원 영상 해시로 정확 중복을 찾습니다. 둘째, 지각 해시와 시간 정렬로 근접 중복을 찾습니다. 셋째, 물체·배경·카메라·작업자·치구·문장 의미를 묶어 집단 분할합니다. 넷째, 검색·메모리·사람 시연이 평가 중 들어온 시각을 기록합니다. 중복 검사는 자동 판정만으로 끝내지 않고 표본을 사람이 확인하며, 임계값과 오탐·누락을 남깁니다.

선택 보고는 실패를 지우는 또 다른 경로입니다. 시드, 체크포인트, 프롬프트, 카메라, 물체, 초기화, 허용 재시도와 제외 규칙을 결과를 본 뒤 고르면 평균은 좋아질 수 있습니다. 소수 실행의 점 추정치가 순위를 불안정하게 만들 수 있다는 근거는 심층 강화학습 비교에서 분명하며, 로봇 실물 시험의 작고 비독립적인 분모는 더 조심해야 합니다 ^{[13] [18]}. 사전 등록한 평가 행렬, 모든 시도 계보, 구간 추정, 성능 분포와 악화 사례를 함께 냅니다.

평가 보고서에는 다음 네 수가 같이 있어야 합니다: 계획한 시도, 실제 초기화한 시도, 제외한 시도, 판정 가능한 시도. 제외 이유는 hardware_fault_predeclared, operator_abort_safety, logging_corrupt, posthoc_exclusion_forbidden처럼 기계적으로 분류합니다. 실패 영상이 없거나 원 로그가 누락되면 결과는 0회 사건이 아니라 증거 불완전입니다.

6. 보정과 분포 변화를 안전 권한에서 분리한다

불확실성 값은 질문을 만드는 신호일 수 있지만 안전 인증서는 아닙니다. 신뢰도, 앙상블 분산, 선택적 거부와 적합 집합은 서로 다른 가정과 목표를 갖습니다. 정적 분류 정확도에 맞춘 점수가 연속 행동, 접촉 위험, 긴 지평선 실패 확률까지 보정됐다고 간주할 수 없습니다.

온도 조정, 심층 앙상블, 선택적 예측과 적합 예측은 보정·오류-적용 범위·주변부 포함 범위를 다루지만 로봇 동작을 승인할 권한은 없고 분포 변화에서 성능이 약해질 수 있습니다 ^{[7] [9] [17] [19]}. 특히 주변부 포함 보장은 위험한 하위 집단이나 상태의 실패를 숨길 수 있습니다. 교환 가능성, 보정 자료, 출력 구조와 위험 함수가 실제 순차 조작에 맞는지 별도 확인해야 합니다.

최대 소프트맥스 확률은 분포 밖 탐지의 유용한 기준선이지만 자료 쌍에 따라 탐지 성능이 달라지고, 멀리 떨어진 입력에도 높은 점수를 줄 수 있습니다 ^[8]. 선택적 분류는 적용 범위를 줄이면 오류를 낮추는 설계를 제공하지만, 거부 뒤 로봇이 무엇을 해야 하는지는 정하지 않습니다 ^[6]. 조립 셀의 거부는 hold_last_command가 아니라 승인된 stop_before_contact, retreat_to_precontact, request_human 중 현재 물리 상태에서 실행 가능한 동작으로 연결돼야 합니다.

보정 카드는 체제별로 따로 만듭니다. 같은 로봇·과제에서 맞춘 임계값을 새 조명, 새 물체, 새 카메라나 다른 로봇 형태에 그대로 쓰지 않습니다. 기대 보정 오차 하나 대신 신뢰도 도표, 오류-적용 범위 곡선, 음의 로그 우도·Brier 점수, 거부 후 결과, 하위 집단별 실패와 시간에 따른 표류를 봅니다. 정책·장면 인코더·보정기·임계값 버전을 함께 되돌립니다.

6.1 진단 순서: 점수가 낮아지기 전에도 실패는 온다

1. 센서·시간: 프레임 누락, 관측 나이, 시계 역행, 카메라·힘 센서 상태를 확인합니다.
2. 보정·기하: 좌표계, 외부 매개변수, 치구·그리퍼 기준과 잔차 추세를 확인합니다.
3. 노출·분포: 새 자산·배경·지시·작업자·서비스 버전과 알려진 평가 집단을 비교합니다.
4. 정책 출력: 불확실성, 앙상블 불일치, 행동 급변, 기술 전제 조건 위반을 봅니다.
5. 실행 관문: 투영 거부, 충돌·힘 한계, 오래된 명령, 대기열과 제어기 수락을 봅니다.
6. 평가기·안전: 독립 센서 근거, 판정 불명, 감시 장치·보호 정지 사건을 확인합니다.

모델 점수가 정상이어도 보정이 틀어졌거나 공통 원인으로 센서·평가기까지 오염될 수 있습니다. 따라서 분포 변화 경보가 없어도 힘 사건, 투영 거부, 꼬리 지연, 복구 실패 또는 보정 잔차가 임계값을 넘으면 중단합니다. 반대로 경보 하나만으로 위험 동작을 만들지 말고 안전 상태로 전환합니다.

7. 적대 시험과 실패 분류표

레드팀(red team)은 이미지에 잡음을 더하는 시험만이 아닙니다. 모호한 지시, 부정 명령, 가짜 도구 응답, 오염된 메모리, 오래된 관측, 중복 호출, 원격 시간 초과, 평가기 속이기, 좌표·단위 혼동, 센서 고착과 안전 서비스 단절을 포함합니다. 공격은 정책만 겨냥하지 않고 전체 제안·검사·실행·평가 사슬을 겨냥해야 합니다.

한 VLA 적대 연구는 자체 시뮬레이션 과제 모음과 공격·모델 설정에서 과제 성공률이 최대 100% 감소했다고 보고합니다 ^[23]. 이 수치는 공격 방식, 모델, 행동 이산화, 과제와 시뮬레이션 분모에 묶이며 보편적인 실물 로봇 실패율이 아닙니다. 그 결과는 “모든 VLA가 같은 비율로 실패한다”가 아니라 적대 입력을 별도 평가 체제로 두고 실제 하위 관문이 위험 제안을 차단하는지 시험하라는 근거입니다.

적대 시험은 위험한 물리 동작을 실제로 만들어야 성공하는 것이 아닙니다. 재생과 그림자 실행에서 위험 제안을 생성하고 투영·안전 관문이 이를 거부하는지 확인할 수 있습니다. 실물에서 필요한 시험은 승인된 저에너지 범위, 물리 차단물, 명시적 중단 기준과 사람 감독 아래 수행합니다. 비상 정지 작동 자체를 공격 목표로 삼아 반복 노출하지 않습니다.

반례 묶음은 한 번 발견하고 버리는 자료가 아닙니다. 모델·프롬프트·자료·도구·보정·평가기·안전 감독기 버전이 바뀔 때마다 재생합니다. 공격이 더는 모델을 속이지 않아도 대기열이나 복구 관리자를 속이면 실패입니다. 탐지율만 보고하지 말고 위험 후보가 어느 관문에서 차단됐고, 차단 지연과 잘못된 거부가 무엇이었는지 기록합니다.

8. 개인정보·저작권·자료 거버넌스도 운영 지표다

탁상 셀의 영상에는 작업자 얼굴, 음성, 손, 명찰, 화면과 주변 문서가 들어갈 수 있습니다. 개인정보(privacy)는 나중에 흐림 처리를 하는 항목이 아니라 수집 목적, 최소 수집, 동의·철회, 접근 통제, 보존 기간, 지역과 삭제 증거의 계약입니다. 원격 서비스로 프레임이나 지시를 보내면 전송 범위, 보관·재학습 여부, 하청 처리, 지역, 암호화와 장애 시 동작을 평가 카드에 넣습니다.

저작권(copyright)과 자료 거버넌스(data governance)는 논문 접근 권한과 모델·자료·영상 재사용 권리를 구별해야 합니다. 공개 논문을 읽을 수 있다는 사실이 그 그림, 코드, 가중치, 데이터셋과 작업자 영상을 재배포할 권리를 주지 않습니다. 여러 자료셋을 섞은 모델은 각 구성 자료의 라이선스, 동의, 출처와 삭제 요청을 독립적으로 검토합니다. 권리가 불명확한 자산은 unknown_license로 두고 외부 전송·학습·공개를 막습니다.

거버넌스 실패는 성공률에 나타나지 않아도 출시를 막습니다. 삭제 요청 뒤 파생 자료, 임베딩, 캐시, 메모리와 체크포인트에서 어느 범위가 제거됐는지 증명할 수 없으면 되돌리기 불완전입니다. 로그 보존과 개인정보 최소화가 충돌할 때는 원 영상 접근을 좁히고 사건·해시·파생 지표를 분리 보존하는 식으로 설계하되, 규제 적합성을 이 장이 보증한다고 주장하지 않습니다. 적용 지역과 조직의 법무·보안 책임자가 승인해야 합니다.

9. 원격 추론과 로봇군 운영의 실패를 시험한다

원격 추론(remote inference)은 계산 자원을 늘리지만 네트워크 왕복, 서비스 대기열, 재시도, 모델 무통보 변경과 인증 장애를 새 제어 경로에 넣습니다. 로봇군 운영(fleet operations)은 한 체크포인트가 여러 셀에 동시에 퍼지고, 한 관측 이상이나 잘못된 캐시가 공통 실패가 될 수 있게 합니다. 평균 지연과 평균 성공률은 이런 꼬리를 숨깁니다.

관측 사건 시각, 서비스 도착 시각, 추론 시작·종료, 정책 사용 시각, 투영·송신·수락 시각을 같은 추적 ID로 기록합니다. p50뿐 아니라 p95·p99, 시간 초과, 취소, 늦게 도착한 응답 폐기, 재연결 뒤 대기열 의미와 중복 호출을 봅니다. 마감 뒤 도착한 “좋은” 행동은 실패이며 보내지 않습니다. 서비스가 끊기면 현재 접촉 상태에 맞는 로컬 대체가 있어야 합니다. 자유 공간에서는 감속 정지, 접촉 직전에는 정지, 접촉 중에는 검증된 힘/임피던스 제어와 안전한 후퇴 또는 유지가 필요할 수 있으므로 하나의 전역 기본 동작으로 덮지 않습니다.

출시 근거는 안전하지 않은 제안, 실행 가능성 투영 거부, 개입, 힘 사건, 꼬리 지연, 오래된 명령, 서비스 중단, 복구, 비용과 되돌리기를 함께 기록해야 합니다 ^{[26] [20]}. 런타임 감시와 안전 제어 전환 연구는 모델 밖의 검출·대체 계층이 필요함을 뒷받침하지만, 해당 탐지 범주와 유계 동역학·시간 가정에 조건부입니다. 보고되지 않은 운영 필드는 0이 아니라 not reported입니다.

로봇군 승격은 전 셀 동시 배포가 아니라 작은 카나리 집단에서 시작합니다. 셀별 로봇·카메라·보정·제어기·네트워크 분포를 계층화하고, 공통 모델 업데이트와 지역 자산 변경을 동시에 하지 않습니다. 카나리에서 이상이 나면 새 요청을 막고 진행 중 접촉을 안전 상태로 넘긴 뒤 정확한 이전 튜플로 복귀합니다. 캐시와 서버만 되돌리고 로컬 어댑터나 보정기를 남기는 부분 되돌리기는 같은 시스템으로 돌아간 것이 아닙니다.

10. 독립성과 공통 원인 실패를 설계한다

“별도 프로세스”만으로 독립성이 생기지 않습니다. 정책과 평가기가 같은 시각 인코더, 훈련 자료, 장면 그래프와 원격 서비스에 의존하면 같은 물체를 같이 잘못 볼 수 있습니다. 안전 감독기가 같은 운영체제, GPU, 시계, 네트워크와 전원에 묶이면 정책 서비스 장애가 정지 판단까지 막을 수 있습니다.

최소 독립성 표는 다음과 같습니다.

불일치는 오류가 아니라 정보입니다. 평가기는 성공, 안전 감독기는 힘 한계 접근을 보고할 수 있습니다. 이때 성공을 지우지도, 안전 사건을 성공으로 덮지도 않습니다. 둘 다 같은 시도에 기록하고 승격을 중단합니다. 한 구성요소가 다른 구성요소의 상태를 요약해 줄 수는 있어도 판정을 대신 쓰거나 정지를 해제하지 못합니다.

Black-Box Simplex는 고성능 제어기와 기준 제어기를 블랙박스로 두면서 런타임 도달 가능성 검사로 전환하는 구조를 제시합니다 ^[20]. 그러나 탁상 접촉의 동역학·시간 경계를 충분히 모델링했다는 근거는 별도로 필요합니다. 이 구조의 교훈은 특정 증명 결과를 그대로 이식하는 것이 아니라, 모델의 제안을 독립 전환·대체 경로보다 위에 두지 않는 것입니다.

11. 탁상 조립 평가 작업 흐름과 관문

평가는 성공 영상을 모으는 마지막 단계가 아니라 개발을 시작하기 전에 분모와 중단 조건을 고정하는 절차입니다.

1. 계약 동결: 과제·초기 분포·성공 술어·금지·로봇·보정·기술·제어기·평가기·안전·사람 책임자 버전을 고정합니다.
2. 노출 감사: 훈련·적응·검색·메모리와 평가 항목의 정확·근접·집단 중복을 조사하고 clean/known_overlap/unknown을 냅니다.
3. 평가 행렬 등록: 여섯 체제, 변화 축, 분모, 시드·체크포인트·프롬프트, 제외 규칙, 통계 계획과 비용 한도를 사전 기록합니다.
4. 재생·오프라인: 미래 누출 없이 지시·제안·거부·불확실성·평가기 판정을 재생하고 실패 묶음을 만듭니다.
5. 시뮬레이션·적대 시험: 분포 변화와 위험 제안을 주입하고 관문별 거부·오탐·지연을 기록합니다.
6. 그림자 실행: 실제 센서·원격 서비스·대기열을 쓰되 sent_count=0을 검증합니다.
7. 제한된 실제 시험: 한 체제와 한 변화만 열고 저에너지 범위·사람 승인·즉시 중단을 적용합니다.
8. 독립 검토: 정책 소유자가 아닌 평가·안전·운영 책임자가 원 로그, 제외, 비용, 반례와 되돌리기를 확인합니다.
9. 승격 또는 축소: 모든 문턱을 넘을 때만 범위를 한 단계 넓히고, 아니면 정확한 이전 튜플로 돌아가 실패 묶음을 추가합니다.

각 관문은 pass/fail 외에 missing, not_measured, not_exercised, incompatible을 반환할 수 있습니다. 이 네 상태는 실물 관문을 닫습니다. 예를 들어 새 로봇에서 힘 센서가 없으면 힘 사건 0이 아니라 not_measured입니다. 원격 장애를 시험하지 않았으면 서비스 신뢰성이 통과한 것이 아니라 not_exercised입니다.

11.1 조립 시나리오 한 건을 끝까지 추적한다

지시는 “새 회색 브래킷을 오른쪽 치구에 끼우고, 맞지 않으면 한 번만 후퇴한 뒤 사람을 불러라”입니다. 평가는 같은 로봇·과제 체제부터 시작하고, 새 물체만 바꾼 체제, 표현만 바꾼 새 지시 체제, 둘을 함께 바꾼 결합 체제를 각각 별도 카드로 만듭니다. 결합 체제 결과를 단일축 새 물체·새 지시 결과에 섞지 않습니다.

정책은 grasp → transport → precontact → insert를 제안합니다. 투영기가 브래킷 자세 때문에 첫 삽입을 거부하면 proposed=1, projected_rejected=1, sent=0입니다. 정책이 재관측 뒤 새 후보를 내고 실행되면 두 제안은 한 시도 계보에 남습니다. 삽입은 성공했지만 사람이 가림막을 옮겼다면 human_assisted=1이고 자율 성공 분모에서는 분리합니다.

삽입 후 평가기가 장착을 성공으로 보지만 힘 감독기가 임계 접근 사건을 내면 과제 결과와 안전 결과를 둘 다 보존하고 승격을 멈춥니다. 이후 진단은 부품 공차, 보정 표류, 접촉 제어기, 정책 자세와 평가기 임계값을 분리합니다. 단지 성공 영상이 있다는 이유로 힘 사건을 제외하지 않습니다.

12. 운영 중단·되돌리기 계약

중단은 모델을 끄는 한 명령이 아닙니다. 새 제안 차단, 대기열 폐기, 진행 중 동작의 안전 전환, 접촉 상태 확인, 사람 인계, 증거 봉인, 이전 튜플 복원의 순서가 필요합니다. 비상 정지와 보호 정지는 장치·안전 계층의 권한이며 모델이나 원격 운영자가 해제하지 않습니다.

12.1 즉시 중단 조건

• 충돌·힘·속도·공간 한계 초과 또는 감시 장치·보호 정지 사건
• 평가기와 안전 감독기의 반복 불일치, 센서 고착 또는 공통 원인 의심
• 오래된 명령 송신, 마감 뒤 실행, 대기열·재연결 의미 불명
• 승인되지 않은 기술·도구·코드·자료 접근 또는 개인정보·권리 경계 위반
• 위험 제안·투영 거부·개입·복구 실패·꼬리 지연이 사전 문턱 초과
• 보정 세대·좌표계·로봇·제어기·평가기 버전 불일치
• 원 로그·분모·되돌리기 튜플 손실 또는 평가 오염 발견

12.2 중단 순서

1. 새 proposal과 원격 작업을 받지 않습니다.
2. 송신 전 대기열을 폐기하고 늦은 응답을 무효화합니다.
3. 현재 물리 상태를 안전 감독기가 분류합니다: 자유 공간, 접촉 전, 접촉 중, 불명.
4. 승인된 로컬 제어로 감속 정지·안전 유지·후퇴 중 하나를 실행하거나 사람에게 넘깁니다.
5. 보호·비상 정지가 작동했다면 사람이 원인을 확인하기 전 해제하지 않습니다.
6. 모델·자료·서비스·기술·제어기·평가기·보정·승인·로그 버전을 봉인합니다.
7. 최근 정상 튜플을 복원하고 재생·그림자 검증 전 실물 재개를 막습니다.

되돌리기 튜플은 최소한 model/checkpoint, adapter, prompt/system policy, decoder, dataset manifest, retrieval index, memory snapshot, skill registry, projection, controller, evaluator, safety supervisor, calibration, robot firmware, remote service, feature flags와 승인 ID를 포함합니다. 일부만 이전으로 돌리면 새 조합이므로 새 평가 대상입니다.

12.3 재개 조건

원인이 분류되고, 반례가 재현되며, 수정 버전이 실패 묶음과 고정 기준선에서 다시 평가되고, 독립 평가·안전 책임자가 승인해야 합니다. 서비스 복구나 모델 점수 회복만으로 재개하지 않습니다. 접촉 사건이나 보호 정지가 있었다면 물리 검사와 보정 확인을 추가합니다. 재개는 전체 로봇군이 아니라 작은 범위의 그림자 실행과 카나리 셀에서 시작합니다.

13. 반증 근거와 남는 한계

이 장의 방법도 완전한 안전 보증은 아닙니다. 영상 분류에서 발전한 보정·분포 변화 연구는 순차 접촉과 운영 지연을 직접 포괄하지 않습니다 ^{[7] [17]}. 적합 예측의 주변부 보장은 교환 가능성이 깨지는 적응형 운영과 위험 하위 상태에서 부족할 수 있습니다 ^[19]. 앙상블 구성원은 같은 자료와 구조를 공유해 함께 틀릴 수 있습니다 ^[9].

시뮬레이션 대리 평가는 반복성과 통제력을 주지만 자산·물리·센서가 맞지 않으면 상관관계가 바뀝니다 ^[22]. 적대 연구의 큰 저하는 특정 시뮬레이션 범위에 한정됩니다 ^[23]. 긴 지평선 기준 시험은 언어·구성 난점을 드러내지만 실물 접촉과 운영 영수증은 아닙니다 ^[24]. 런타임 보증은 경계가 정확하고 계산이 마감 안에 끝난다는 가정에 의존합니다 ^[20].

독립 평가기도 센서 고장, 잘못된 성공 술어와 보정 오류에 취약합니다. 안전 감독기는 정의된 한계를 지킬 뿐 과제의 모든 위험을 발견하지 않습니다. 개인정보·저작권·자료 거버넌스 요구는 지역과 계약에 따라 달라지며 이 장의 기술 절차가 법률 자문을 대신하지 않습니다. 가장 중요한 미해결점은 이 책의 전체 탁상 조립 스택을 한 원출처가 검증하지 않았다는 사실입니다. 장별 근거를 합친다고 전체 시스템 보증이 자동으로 생기지 않습니다.

따라서 평가 카드의 목적은 불확실성을 지우는 것이 아니라 어디까지 시험했고 무엇이 아직 불명인지 손실 없이 남기는 것입니다. 정량 필드가 비어 있으면 추정하지 않습니다. not reported와 0, unknown과 실패, not exercised와 통과를 구별하는 것이 과장된 범용성 주장보다 더 유용합니다.

14. 기록할 지표와 산출물

• 일반화: 체제별 계획·실행·판정 분모, 성공·부분·실패·불명, 기준선 차이와 구간, 결합 변화 체제.
• 노출·오염: 정확/근접/집단 중복, 훈련·적응·검색·메모리 노출, 알려지지 않은 인터넷 사전학습, 제외 원장.
• 제안·실행: 안전하지 않은 제안, 스키마·오래됨·실행 가능성 거부, 투영 변화량, 송신·수락·실행 계보.
• 시간: 관측 나이, 추론·대기열·투영·전체 p50/p95/p99, 마감 초과, 늦은 응답 폐기, 처리량.
• 복구: 실패 탐지, 정지, 후퇴, 재관측, 재시도, 재계획, 사람 인계, 복구 성공·유해 복구와 시간.
• 물리·안전: 충돌·힘·속도 사건, 감시 장치·보호·비상 정지, 평가기-안전 불일치, 센서·보정 표류.
• 운영·비용: 원격 중단, 로컬 대체, 로봇군 범위, 사람 시간, 초기화, 컴퓨팅, 네트워크, 실물 노출·손상.
• 거버넌스: 동의·접근·보존·삭제, 개인정보 전송, 라이선스·출처·재배포, 모델·자료 변경 승인.

필수 산출물은 evaluation_matrix, exposure_manifest, duplicate_audit, trial_registry, execution_lineage, evaluator_receipt, safety_receipt, calibration_report, shift_report, red_team_bundle, failure_taxonomy, operations_log, cost_ledger, governance_card, stop_receipt, rollback_tuple, resume_approval입니다. 모두 버전, 해시, 시각, 책임자와 원 근거 위치를 가집니다. 성공 영상과 모델 설명은 보조 자료일 뿐 이 산출물을 대신하지 않습니다.

15. 범위가 제한된 Codex 구현 지시문

목표
- 기록된 탁상 조립 자료에서 여섯 일반화 체제의 독립 평가 카드를 만든다.
- 정책/에이전트와 고전·S12 기준선을 같은 과제·분모·실행 계약에서 비교한다.
- 실패 분류표, 적대 시험 묶음, 운영 중단·완전 되돌리기 영수증을 만든다.

맥락
- S11의 로봇·센서·시계·좌표계·보정·제어기·안전 식별자를 읽는다.
- S12의 과제/기술 API, proposal→projected→sent→accepted/executed,
  독립 평가기, 근거 단계와 rollback tuple을 보존한다.
- Ch7의 계획·메모리·검색·도구·복구 영수증은 읽기 전용 입력이다.

제약 조건
- 물리 명령을 보내지 말고 shadow_hardware_command_count=0을 단언한다.
- 여섯 체제, 증거 단계, 사람 보조와 자율 결과를 합치지 않는다.
- 미래 사건을 재생 입력에 노출하지 않는다.
- 중복·노출이 불명확하면 clean으로 표시하지 않는다.
- 모델 점수·불확실성·자기 평가로 충돌/힘/watchdog/보호/E-stop/사람 권한을 우회하지 않는다.
- missing/not measured/not exercised/incompatible를 0이나 통과로 채우지 않는다.
- 개인정보·권리가 불명확한 자료를 외부 서비스로 보내거나 새 학습에 쓰지 않는다.

작업
1. 과제·로봇·자료·평가기·안전·되돌리기 계약을 검증하고 누락 시 중단한다.
2. 정확·근접·집단 중복과 훈련/적응/검색/메모리 노출 원장을 만든다.
3. 여섯 체제별 고정축·변경축·분모·제외·실패 주입을 등록한다.
4. 기준선과 후보를 동일한 사건 시각·입력·평가기에서 재생한다.
5. proposal/projected/rejected/sent/accepted/executed/evaluated를 별도 집계한다.
6. 모호한 지시, 새 자산, 오래된 관측, 도구·원격 중단, 중복 호출,
   보정 표류, 평가기 속임, 힘 사건을 주입한다.
7. 성공, 개입, 위험 제안, 거부, p50/p95/p99, 복구, 비용과 거버넌스를 보고한다.
8. 사전 중단 문턱을 적용하고 전체 rollback tuple의 복원 가능성을 재생한다.

완료 조건
- 각 결과가 체제·노출·분모·증거 단계·실행 계보·실패와 연결된다.
- 평가기와 안전 감독기의 별도 버전·센서·권한·실패 시험이 있다.
- 개선 축과 악화 축, 반례, 제외, 미측정 필드와 비용이 함께 보고된다.
- 시뮬레이션 결과는 실제 로봇 출시 근거로 표현되지 않는다.
- 실물 시험이 필요하면 별도 사람 승인 카드 요청과 함께 멈춘다.

안전
- 출력은 평가·거부·복구 후보와 영수증이며 실행 권한이 아니다.
- 보호/E-stop 해제와 최종 재개 승인은 지정된 사람과 장치에 남는다.
- 서비스 장애 시 현재 접촉 상태에 맞는 검증된 로컬 대체만 사용한다.

제조 셀 적용 체크포인트

과제·자료: 성공 술어, 초기 상태, 여섯 체제, 훈련·적응·검색·메모리 노출과 중복 감사가 버전으로 고정됐습니까? 실행·기록: proposal → projected/rejected → sent → accepted/executed → evaluated 분모와 사건·도착·사용 시각이 남습니까? 지표: 성공뿐 아니라 개입, 위험 제안, 거부, 꼬리 지연, 복구, 보정 표류, 분포 변화와 사람·컴퓨팅·실물 비용을 보고합니까? 안전: 평가기와 안전 감독기가 정책과 실패 독립적이며 모델 점수가 정지 해제나 물리 승인을 소유하지 않습니까? 운영: 개인정보·권리·원격 장애·로봇군 카나리·완전 되돌리기와 재개 책임자가 정해졌습니까?

하나라도 missing, not measured, not exercised, incompatible이면 실제 로봇 승격을 닫습니다. 같은 로봇 성공률, 시뮬레이션 상관, 낮은 불확실성, 깨끗해 보이는 평가 이름, 성공 영상과 원격 서비스 정상 상태는 그 빈칸을 채우지 못합니다.

기존 서베이와의 연결

이 장은 S11의 안전 셀이나 S12의 고전·학습 혼합 실행 스택을 다시 설명하지 않습니다. 그 계약을 평가 대상의 하위 경계로 고정합니다. VLA와 힘 인지 평가 맥락은 ForceVLA, π0, DexForce, Octo, 장기 에이전트 운영 맥락은 Coding Agents for Manipulation과 RoboClaw에서 더 읽을 수 있습니다. 이 링크들은 독자용 연결이며 이 장의 주장 근거가 아닙니다.

16. 제9장으로 넘길 것: 시연이 아니라 출시 가능한 증거 묶음

제9장은 세 권의 전체 시스템을 한 탁상 조립 셀에서 완성합니다. 이 장이 넘길 것은 최고 성공률이 아니라 evaluation_card, 여섯 체제의 고정축·변경축, 노출·중복 감사, 기준선과 후보의 분모, 실행 계보, 평가·안전 영수증, 실패·적대 묶음, 지연·복구·비용·거버넌스 원장, 정확한 중단·되돌리기·재개 계약입니다.

제9장은 고전 기술 기준선, S12 학습 정책, VLA 기술 제안, 선택적 세계 모델, 에이전트 구성을 비교할 때 이 카드의 축을 바꾸지 않아야 합니다. 구성요소를 하나 올릴 때 나머지 과제·제어·평가·안전 계약은 고정합니다. 후보가 기준선을 이기지 못하거나 위험 제안·지연·개입·비용을 악화시키거나 독립 재생이 안 되면 복잡성을 승격하지 않습니다.

다음에 배울 것

제9장에서는 명세된 과제 → 고전 기술 기준선 → S12 학습 정책 → VLA 기술 제안 → 선택적 세계 모델 → 에이전트 기술 구성을 같은 셀과 같은 평가 카드 위에 한 단계씩 올립니다. 이 장의 중단·되돌리기 계약은 마지막 장의 부록이 아니라 각 승격 단계의 입구입니다. 다음 장의 완성 기준은 성공 영상이 아니라 세 권의 버전 계보, 실패 근거, 제한된 실제 시험, 사람 승인과 유지보수 영수증이 서로 연결되는 것입니다.

보충 근거 지도

다음 묶음은 독립 S13 원장에서 이 장과 연결된 검증 원 자료다. 기존 주장과 분모를 바꾸지 않고 탐색 범위만 명시한다.

• 물리 추론·촉각: LLMPhy: Parameter-Identifiable Physical Reasoning Combining Large Language Models and Physics Engines, Leveraging Tactile Sensing to Render both Haptic Feedback and Virtual Reality 3D Object Reconstruction in Robotic Telemanipulation, InterPreT: Interactive Predicate Learning from Language Feedback for Generalizable Task Planning, The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 장기 계획: CoPa: General Robotic Manipulation through Spatial Constraints of Parts with Foundation Models, Fourier Transporter: Bi-Equivariant Robotic Manipulation in 3D, Subgoal Diffuser: Coarse-to-fine Subgoal Generation to Guide Model Predictive Control for Robot Manipulation — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 전이·제약 생성: HACMan++: Spatially-Grounded Motion Primitives for Manipulation, RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation, Open-World Task and Motion Planning via Vision-Language Model Generated Constraints — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.

참고문헌

1. Torralba, A., & Efros, A. A. (2011). Unbiased Look at Dataset Bias. CVPR. DOI:10.1109/CVPR.2011.5995347.
2. Deisenroth, M. P., & Rasmussen, C. E. (2011). PILCO: A Model-Based and Data-Efficient Approach to Policy Search. Artificial Intelligence. DOI:10.1016/j.artint.2011.02.004.
3. Finn, C., Goodfellow, I., & Levine, S. (2016). Unsupervised Learning for Physical Interaction through Video Prediction. NeurIPS. arXiv:1605.07157.
4. Pinto, L., & Gupta, A. (2016). Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours. IEEE ICRA. arXiv:1509.06825.
5. Finn, C., & Levine, S. (2017). Deep Visual Foresight for Planning Robot Motion. IEEE ICRA. arXiv:1610.00527.
6. Geifman, Y., & El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NeurIPS. arXiv:1705.08500.
7. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML. arXiv:1706.04599.
8. Hendrycks, D., & Gimpel, K. (2017). A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks. ICLR. arXiv:1610.02136.
9. Lakshminarayanan, B., Pritzel, A., & Blundell, C. (2017). Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles. NeurIPS. arXiv:1612.01474.
10. Paull, L., et al. (2017). Duckietown: An Open, Inexpensive and Flexible Platform for Autonomy Education and Research. IEEE ICRA. arXiv:1711.05438.
11. Tobin, J., et al. (2017). Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World. IEEE/RSJ IROS. arXiv:1703.06907.
12. Williams, G., Aldrich, A., & Theodorou, E. (2017). Information-Theoretic Model Predictive Control: Theory and Applications to Autonomous Driving. IEEE Transactions on Robotics. DOI:10.1109/TRO.2017.2769099.
13. Henderson, P., et al. (2018). Deep Reinforcement Learning that Matters. AAAI. arXiv:1709.06560.
14. Nagabandi, A., Kahn, G., Fearing, R., & Levine, S. (2018). Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning. IEEE ICRA. arXiv:1708.02596.
15. Peng, X. B., Andrychowicz, M., Zaremba, W., & Abbeel, P. (2018). Sim-to-Real Transfer of Robotic Control with Dynamics Randomization. IEEE ICRA. arXiv:1710.06537.
16. Chebotar, Y., et al. (2019). Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience. IEEE ICRA. arXiv:1811.11758.
17. Ovadia, Y., et al. (2019). Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. NeurIPS. arXiv:1906.02530.
18. Agarwal, R., Schwarzer, M., Castro, P. S., Courville, A., & Bellemare, M. (2021). Deep Reinforcement Learning at the Edge of the Statistical Precipice. NeurIPS. arXiv:2108.13264.
19. Angelopoulos, A. N., & Bates, S. (2021). A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. arXiv:2107.07511.
20. Mehmood, U., Sheikhi, S., Bak, S., Smolka, S. A., & Stoller, S. D. (2022). The Black-Box Simplex Architecture for Runtime Assurance of Autonomous CPS. NASA Formal Methods. DOI: 10.1007/978-3-031-06773-0_12. arXiv:2102.12981.
21. Open X-Embodiment Collaboration (2024). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. IEEE ICRA. arXiv:2310.08864v9.
22. Li, X., et al. (2024). Evaluating Real-World Robot Manipulation Policies in Simulation. arXiv:2405.05941v1.
23. Wang, T., et al. (2024). Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics. arXiv:2411.13587v4.
24. Zhang, S., et al. (2024). VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks. arXiv:2412.18194v1.
25. Physical Intelligence, Black, K., et al. (2025). $π_{0.5}$: a Vision-Language-Action Model with Open-World Generalization. arXiv:2504.16054v1.
26. Agia, C. (2026). Deployment-Time Reliability of Learned Robot Policies. arXiv:2603.11400v1.
27. Cherian, A., et al. (2024). LLMPhy: Parameter-Identifiable Physical Reasoning Combining Large Language Models and Physics Engines. arXiv primary preprint (2024-11-12). arXiv:2411.08027.
28. Giudici, G., et al. (2024). Leveraging Tactile Sensing to Render both Haptic Feedback and Virtual Reality 3D Object Reconstruction in Robotic Telemanipulation. arXiv primary preprint (2024-12-03). arXiv:2412.02644.
29. Han, M., et al. (2024). InterPreT: Interactive Predicate Learning from Language Feedback for Generalizable Task Planning. arXiv primary preprint (2024-05-30). arXiv:2405.19758.
30. Hartz, J. O. v., et al. (2024). The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations. arXiv primary preprint (2024-07-18). arXiv:2407.13432.
31. Huang, H., et al. (2024). CoPa: General Robotic Manipulation through Spatial Constraints of Parts with Foundation Models. arXiv primary preprint (2024-03-13). arXiv:2403.08248.
32. Huang, H., et al. (2024). Fourier Transporter: Bi-Equivariant Robotic Manipulation in 3D. arXiv primary preprint (2024-01-22). arXiv:2401.12046.
33. Huang, Z., et al. (2024). Subgoal Diffuser: Coarse-to-fine Subgoal Generation to Guide Model Predictive Control for Robot Manipulation. arXiv primary preprint (2024-03-19). arXiv:2403.13085.
34. Jiang, B., et al. (2024). HACMan++: Spatially-Grounded Motion Primitives for Manipulation. arXiv primary preprint (2024-07-11). arXiv:2407.08585.
35. Kuang, Y., et al. (2024). RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation. arXiv primary preprint (2024-07-05). arXiv:2407.04689.
36. Kumar, N., et al. (2024). Open-World Task and Motion Planning via Vision-Language Model Generated Constraints. arXiv primary preprint (2024-11-13). arXiv:2411.08253.