Chapter 1: 상위 지능은 어디에 연결되는가 — 세 권을 잇는 과제·기술·제어 계약

개요

이 책의 시각-언어-행동 모델(vision-language-action model, VLA), 세계 모델(world model), 에이전트(agent)는 로봇의 모든 계층을 대신하는 단일 두뇌가 아닙니다. 이들은 자연어 의도와 장면에서 범위가 제한된 과제·기술·행동 후보를 제안하는 상위 계층입니다. 제안 아래에는 버전이 지정된 기술 응용 프로그래밍 인터페이스(skill application programming interface, skill API), 실행 가능성 투영(feasibility projection), 실시간 제어기, 독립 평가기, 충돌·힘 관문, 감시 장치, 보호 정지, 비상 정지와 사람의 승인 권한이 그대로 남습니다.

S11은 물리 셀과 첫 동작의 계약을 만들었고, S12는 고전 계획·학습 정책에서 실제 제어까지 이어지는 실행 척추를 만들었습니다. S13은 그 두 권을 다시 가르치지 않고, 같은 척추 위에 더 넓은 데이터, 언어 연결, 예측과 장기 과제 구성을 얹습니다. 이 장의 산출물은 특정 모델 추천이 아니라 3부작 전체 책임 지도, S13 입력 준비도 점검표, 그리고 탁상형 조립 과제의 제안→투영→실행→평가 영수증입니다.

학습 목표와 관통 질문

이 장을 읽고 나면... 다음을 할 수 있어야 합니다.

1. 자연어 의도에서 구동기까지 각 층의 입력·출력·주기·시계·권한·실패 상태를 설명합니다.
2. VLA, 세계 모델, 에이전트가 제안하는 대상과 직접 소유하지 않는 권한을 구분합니다.
3. S11·S12에서 물려받을 산출물의 실제 버전을 확인하고, 누락을 추측하지 않는 닫힌 관문을 만듭니다.
4. 하나의 탁상형 조립 과제를 고전 기준선과 상위 지능 제안으로 실행하되 하위 계약은 고정합니다.
5. 실패를 모델·계획·제어·시간·안전·운영 원인으로 분리하고 정확한 되돌리기 단위를 기록합니다.

관통 질문: “파란 부품을 집어 새 위치의 치구에 끼우고, 막히면 한 번 후퇴한 뒤 사람에게 요청하라”는 지시가 들어왔을 때, 어느 구성요소가 무엇을 제안하고 누가 실행을 허가하며 어떤 증거가 있어야 다음 단계로 승격할 수 있습니까?

1.1 세 권을 한 책임 지도에 놓는다

1.1.1 명령은 아래로 좁아지고, 근거와 실패는 위로 올라온다

사람 의도·과제 명세
        ↓
VLA · 세계 모델 · 에이전트 · 메모리/도구 계층             ← S13
        ↓ 범위가 제한된 과제·기술 제안
버전 기술 API · 유한 상태 기계 · 행동/과제 계획기         ← S12 계약
        ↓ 범위가 제한된 행동·궤적 제안
역기구학 · 동작 계획 · 제약 투영                           ← S11/S12
        ↓ 실행 가능한 제어기 기준값
임피던스 · 힘 · 궤적 · 공급사 제어기                       ← S11/S12
        ↓
로봇 · 그리퍼/손 · 센서                                   ← S11

독립 평가기 · 감시 장치 · 충돌/힘 관문 · 보호 정지 ·
비상 정지 · 사람 책임자는 모든 층을 가로지르며 모델에 상속되지 않는다.

계층형 구조와 행동 트리(behavior tree)는 각 출력의 소유자와 대체 동작 경계를 드러내지만, 그 중재 논리 자체가 조립 작업의 시간 조건이나 물리 안전을 성립시키지는 않습니다. Brooks의 실제 이동 로봇 계층화, 행동 트리의 형식적 실행 의미, CoSTAR의 실제 산업용 팔 작업은 구조와 대체 경로의 근거이지 보편적인 조작 안전 결과가 아닙니다(Brooks, 1986; Colledanchise & Ögren, 2018; Paxton et al., 2017). 특히 이동 로봇의 억제 구조, 틱 의미, 사람이 만든 작업 트리는 새 접촉 작업의 힘 한계나 최악 지연 시간을 대신 증명하지 못합니다.

이 지도에서 화살표는 단순한 메시지 전달이 아닙니다. “끼워 넣으라”는 의도는 pick_part@2.1, move_to_precontact@1.4, insert_bounded@3.0 같은 기술 호출로 좁아집니다. 기술의 목표 자세는 로봇 모델과 장면 기하에 대해 검사되고, 궤적 또는 제한된 접촉 기준값으로 변환된 뒤에야 제어기로 갑니다. 반대로 관절 상태, 접촉 사건, 평가 결과, 거부 이유와 정지 상태는 위로 올라옵니다. 과제·동작 계획(task and motion planning)은 상징적 선택과 기하학적 실행 가능성을 함께 다룰 수 있지만, 모델링하지 않은 물체 상태나 접촉을 자동으로 채워 주지는 않습니다(Kaelbling & Lozano-Pérez, 2011; Garrett et al., 2018).

1.1.2 전체 책임·권한 표

한 프로세스가 여러 칸을 계산할 수는 있어도 권한까지 합쳐졌다고 기록해서는 안 됩니다. 예를 들어 에이전트가 계획과 기술 선택을 모두 생성하더라도 정지 해제 권한은 사람과 검증된 안전 경로에 남습니다. 공통 플랫폼과 로그가 재현성을 높일 수 있지만, 하드웨어 균일성이 보정·네트워크·운영 표류를 없애지는 않습니다(Paull et al., 2017).

1.2 상위 지능의 출력은 무엇인가

VLA가 내는 것은 과제, 기술, 행동 토큰, 행동 묶음 또는 궤적 제안이며, 이 출력은 충돌 검사, 힘 제한, 보호 정지, 비상 정지 또는 사람의 권한을 상속하지 않습니다. 이 구분의 직접 근거는 \pi_0와 OpenVLA가 정의한 모델 입력·행동 출력 및 평가 범위와, 별도 실행 보증 구조가 세운 권한 경계입니다(Black et al., 2024; Kim et al., 2024; Mehmood et al., 2022). 다만 이 주장은 해당 모델과 시뮬레이션 보증 연구를 연결한 S13의 책임 합성이지, 하나의 논문이 보고한 종단 간 탁상 조립 시스템이 아닙니다.

세 상위 구성요소는 같은 자리에 놓이지 않습니다.

언어 모델이 로봇 기술의 가능성을 점수화하는 SayCan이나 코드로 정책을 구성하는 Code as Policies는 상위 의미와 실제 기능을 연결하는 유용한 사례입니다(Ahn et al., 2022; Liang et al., 2023). 그러나 가능성 점수는 충돌 검사나 접촉 안정성을 의미하지 않고, 생성된 코드는 호출 가능한 각 함수의 숨은 부작용을 그대로 물려받습니다. 따라서 “어떤 모델이 더 똑똑한가”보다 “어떤 종류의 후보를 어느 인터페이스로 내며, 어느 관문이 거부할 수 있는가”를 먼저 비교해야 합니다.

1.3 기술 API가 제안을 실행 계약으로 바꾼다

생성된 계획과 코드는 버전이 지정된 기술의 전제 조건, 완료·실패 상태, 시간 제한과 대체 동작을 거쳐야 합니다. 이 전체 필드 집합은 S13의 배포 종합 규칙입니다. CoSTAR는 실제 로봇의 행동 트리 실행과 상태 반환을, Code as Policies는 선별된 함수/API 공간과 코드·API 오류를, AutoTAMP는 언어→형식 명세 번역과 구문·의미 검사를 각각 보여 줍니다(Paxton et al., 2017; Liang et al., 2023; Chen et al., 2023). 어느 출처도 version/timeout/fallback 계약 전체를 하나의 검증된 시스템으로 보고하지 않습니다. 사람이 선별한 API도 안전하지 않은 부작용이나 관측하지 못한 물리 상태를 빠뜨릴 수 있으므로 API 목록 자체를 안전 보증으로 취급하지 않습니다.

탁상 조립의 삽입 기술은 최소한 다음 계약을 가져야 합니다.

| 계약 항목 | 고정 값 | 실행 전 확인할 의미 |
|---|---|---|
| 기술·버전 | `insert_bounded@3.0.2` | 기술 레지스트리와 구현 다이제스트가 일치해야 함 |
| 입력 | `part_id`, `fixture_id`, `approach_frame`, `max_depth` | 장면 객체 버전, 보정 프레임·세대, SI 단위와 검증 한계 참조를 요구 |
| 전제 조건 | `part_grasp_verified`, `scene_state_fresh`, `controller_mode == validated_contact_mode`, `collision_force_watchdog_ready` | 하나라도 거짓이거나 미측정이면 호출을 거부 |
| 완료 조건 | `independent_evaluator == seated_within_tolerance` | 모델 자기 판정이 아니라 독립 평가기 결과를 사용 |
| 실패 상태 | `stale_state`, `infeasible`, `contact_limit`, `no_progress`, `evaluator_unknown` | 실패 원인을 성공·시간 초과와 분리해 기록 |
| 시간 제한 | 셀에서 검증된 지속시간 참조 | 모델이 임의의 제한 시간을 만들지 못함 |
| 대체 동작 | `retreat_bounded@1.6`, `request_human@1.1` | 버전형 후퇴 또는 사람 인계만 허용 |
| 제안 가능 권한 | `approach`, `contact_search`, `bounded_advance`, `retreat` | 상위 계층의 출력 범위를 기술 후보로 제한 |
| 제안 금지 권한 | `change_force_limit`, `clear_protective_stop`, `bypass_evaluator` | 힘 한계·보호 정지·평가기 권한은 모델에 주지 않음 |

숫자 한계는 모델이나 이 장이 만들어내지 않습니다. S11의 위험성 평가와 셀 검증 영수증을 실제 버전으로 참조합니다. 작업 실행기는 requested → preconditions_checked → projected → sent → accepted → executing → evaluated를 분리하고, 중간 단계가 없으면 성공으로 축약하지 않습니다. AutoTAMP처럼 형식 검사를 추가해도 인코딩하지 않은 제약은 검사할 수 없으므로, 물체 고정 불량이나 케이블 걸림처럼 모델 밖 위험을 별도 시험에 포함합니다.

1.4 처리량은 제어 마감시간이 아니다

모델 처리량은 제어기 마감시간이 아닙니다. 관측 경과 시간, 대기열 상태, 꼬리 지연(tail latency), 오래된 명령의 거부와 실패 시 동작을 종단 간으로 측정해야 합니다. 이는 Agia(2026)가 보고한 결과가 아니라 S13의 운영 규칙입니다. Agia의 원문 근거는 행동 묶음의 시간 일관성과 과제 진행을 감시하는 배포 시점 실행 감시(그리고 VLM 감시기의 지연 측정)에 한정되며, 완전한 시계·대기열·오래된 명령 계약이나 이 셀에 옮겨 쓸 제어 마감시간은 제시하지 않습니다(Agia, 2026). 실제 한계는 현재 장비와 부하에서 정합니다.

각 행동 제안에는 적어도 다음 시간이 필요합니다.

• t_event: 관측이 물리적으로 발생한 시각
• t_arrival: 관측이 모델 입력 과정에 도착한 시각
• t_infer_start, t_infer_end: 추론 구간
• t_queue_in, t_queue_out: 실행 대기열 체류 구간
• t_sent, t_accepted, t_executed: 하위 계층의 송신·수락·실행 시각
• valid_until: 이 제안을 사용할 수 있는 마지막 시각
• clock_domain, sync_epoch, uncertainty: 시계 변환의 식별 정보

평균 추론 시간이 짧아도 드문 긴 지연이 행동 구간을 넘거나, 빠른 모델이 낡은 관측을 계속 소비하면 폐루프는 실패합니다. 행동 묶음을 새 묶음으로 바꿀 때는 남은 큐를 비울지, 겹친 구간을 어떻게 합칠지, 연결이 끊기면 어떤 검증된 유지·후퇴 상태로 갈지를 명시합니다. stale 제안은 다음 제안이 더 좋아 보인다는 이유로 실행하지 않고, 별도 거부 코드와 원시 출력을 남깁니다.

1.5 관통 예제: 탁상형 조립 한 회를 추적한다

기본 셀은 6/7축 단일 팔, 평행 그리퍼, 손목·장면 카메라를 사용합니다. 과제는 부품·치구 인식, 파지, 충돌 없는 운반, 접촉 전 정지, 제한된 배치·삽입, 실패 감지, 후퇴·재시도·사람 요청·중단으로 고정합니다. S13은 여기에 다른 표현의 지시, 새 물체·배치·가림, 여러 기술의 순차 구성과 실패 복구를 추가합니다.

단계 1 — 지시를 과제 명세로 바꾼다

에이전트는 “파란 부품을 오른쪽 치구에 끼우라”를 목표 물체, 치구, 최종 상태, 금지 영역, 허용된 복구 횟수로 구조화합니다. “오른쪽”의 기준 프레임이 없거나 파란 부품이 둘이면 ambiguous로 거부하고 사람에게 묻습니다. 이 장에서는 언어 연결 방법을 깊게 다루지 않으며 제5장에서 열린 어휘와 공간 관계를 검증합니다.

단계 2 — 기술을 제안한다

VLA 또는 에이전트는 locate → grasp → transport → stop_precontact → insert_bounded → verify를 제안합니다. 세계 모델을 사용한다면 두 접근 후보의 미래를 순위화할 수 있지만, 예측 영상이 좋은 후보도 실행 권한을 얻지 않습니다. 과제 실행기는 모든 기술 ID와 버전이 허용 목록에 있는지, 전제·종료·시간 제한이 완전한지 확인합니다.

단계 3 — S12 실행 척추가 후보를 투영한다

파지와 접근 자세는 현재 장면 세대에 대해 IK와 충돌 인식 계획을 통과합니다. 계획 실패를 모델 실패로 기록하지 않습니다. 접촉 전 정지까지는 고전 궤적 기준선을 유지하고, 삽입에서는 검증된 접촉 제어 모드로 전환합니다. 정보 이론적 모델 예측 제어 같은 후보 생성법도 모델·비용·표본화와 계산 시간의 조건을 가지며 고속 서보 보증으로 자동 승격되지 않습니다(Williams et al., 2017).

단계 4 — 제안·투영·송신·수락/실행을 분리한다

원시 VLA 출력 proposal, 제약 뒤의 projected, 제어기로 보낸 sent, 제어기가 받은 accepted, 실제 상태로 확인한 executed를 각각 저장합니다. 서로 같지 않으면 변환 이유와 손실을 기록합니다. 이 분리가 없으면 “모델이 실패했다”와 “좋은 제안이 낡아 거부됐다”를 구별할 수 없습니다.

단계 5 — 독립 평가와 복구가 닫힌 고리를 만든다

삽입 완료는 모델의 언어 응답이 아니라 자세·깊이·접촉·시각 상태를 읽는 독립 평가기로 판정합니다. contact_limit이면 즉시 검증된 후퇴를 수행하고, no_progress면 허용 횟수 안에서만 재시도합니다. 평가기가 가림 때문에 unknown이면 성공으로 간주하지 않고 사람에게 넘깁니다. AutoRT처럼 여러 로봇 과제를 상위 모델로 조율하는 연구도 대규모 운영의 가능성을 보여 주지만, 해당 논문의 감독·과제·로봇 조건을 이 셀의 안전 영수증으로 대신할 수 없습니다(Ahn et al., 2024).

단계 6 — 고정한 것과 바꾼 것을 영수증에 남긴다

비교에서 바꾸는 것은 proposal_source 하나부터 시작합니다. 고전 기술 순서, S12 학습 정책, VLA 기술 제안을 비교할 때 로봇·보정·장면·기술 API·투영기·제어기·평가기·안전 설정·초기 분포를 가능한 한 고정합니다. 바뀐 항목이 둘 이상이면 요인 분리가 불가능하다고 표시합니다.

1.6 독립 안전은 모델 밖에 남는다

심플렉스(Simplex) 구조, 제어 장벽 함수(control barrier function), 예측 안전 필터(predictive safety filter)는 명시한 플랜트, 상태, 제약, 시간 조건과 회복 가능성 가정 안에서만 적용됩니다(Mehmood et al., 2022; Ames et al., 2017; Wabersich & Zeilinger, 2021). 이 연구들의 정리와 시뮬레이션 결과는 후보를 제한하거나 안전 제어기로 전환하는 원리를 뒷받침하지만, 탁상 셀의 완전한 위험성 평가나 인증을 제공하지 않습니다.

따라서 독립성은 “안전 모듈이라는 이름이 있다”가 아니라 다음 시험으로 확인합니다.

1. 모델 과정이 멈추거나 네트워크가 끊겨도 감시 장치가 검증된 유지·후퇴·정지로 전환합니다.
2. NaN, 범위 밖, 잘못된 프레임, 틀린 버전, 오래된 제안은 제어기 전에 거부됩니다.
3. 충돌·힘·작업 공간 한계와 보호 정지 사건은 모델 로그와 별도 경로에 기록됩니다.
4. 안전 제어기 전환은 회복 가능 집합을 잃기 전에 끝나며, 최악 감지·계산·전환 지연을 포함합니다.
5. 보호 정지와 비상 정지의 초기화는 승인된 사람이 수행하며 모델이 우회하거나 자동 승인할 수 없습니다.
6. 독립 평가기는 모델과 같은 출력이나 같은 실패하기 쉬운 표현 하나에만 의존하지 않습니다.

SOTER는 고성능 제어기와 검증된 안전 제어기를 전환하는 실행 보증(runtime assurance) 구조를 제시하지만 보증은 감시 모델과 회복 가능 영역에 의존하고, 전환은 과제 성능을 낮출 수 있습니다(Desai et al., 2019). 안전 관문이 자주 작동한다면 “관문 때문에 성능이 낮다”고 제거하지 말고, 상위 제안의 분포·투영기·상태 추정·관문 설정을 각각 진단합니다.

1.7 S13 입력 준비도 점검표와 승격 관문

프레임, 보정, 제어기, 평가기 또는 되돌리기 산출물이 없거나 호환되지 않으면 승격 관문을 닫고 모델이 빈칸을 추측하지 못하게 해야 합니다(Desai et al., 2019; Mehmood et al., 2022). 이는 두 실행 보증 연구를 S13의 배포 계약으로 종합한 닫힌 관문 규칙이지, 원 논문이 그대로 보고한 탁상 조립 절차는 아닙니다.

각 칸에는 ready 대신 먼저 다음 상태 중 하나를 기록합니다.

• missing: 필요한 파일·장치·책임자가 없습니다.
• not measured: 존재하지만 현재 구성에서 수치가 측정되지 않았습니다.
• not exercised: 구성은 되었지만 고장·복구 시험을 수행하지 않았습니다.
• incompatible: 버전·단위·프레임·모드·시계가 맞지 않습니다.
• verified: 식별 가능한 근거와 책임자가 있습니다.

승격 순서는 정적 스키마 검사 → 기록 재생 → 오프라인 평가 → 시뮬레이션 → 그림자 실행 → 사람이 검토한 제한 시험입니다. 앞 단계 통과는 뒷 단계의 증거가 아닙니다. 실제 하드웨어 결과도 사람 노출, 힘 사건, 중단과 복구 분모가 없으면 “실제 적용 준비”로 부르지 않습니다.

1.8 실패를 진단하는 공통 표

최소 성능 지표는 성공률 하나가 아닙니다. 과제·초기 분포별 시도와 성공, 제안 거부율, 실행 가능성 거부율, 사람 개입률, 힘/충돌/정지 사건, 관측 경과 시간과 종단 지연의 중앙값·상위 분위수, 큐 폐기율, 복구 시도·성공·중단 분모, 평가 불가율, 한 회 비용과 정확한 되돌리기 시간을 함께 기록합니다. 범용성은 같은 로봇의 새 지시, 새 장면·물체, 새 과제, 새 로봇 형태, 장기 구성의 다섯 축으로 나눕니다.

회차별 영수증에는 다음 산출물이 있어야 합니다.

• 과제 카드와 초기화·제외 규칙
• 로봇·센서·보정·제어기·안전 설정의 버전 튜플
• 원시 관측과 proposal → projected → sent → accepted/executed 로그
• 기술 상태 전이, 평가 결과, 실패·개입·복구 사건
• 모델·자료·코드·기술 API 해시와 추론 환경
• 증거 단계, 일반화 축, 사람 노출과 비용
• 승인자, 배포 시각, 이전 승인 튜플과 복원 시험 결과

1.9 경계가 있는 Codex 구현 지시문

아래 지시문은 저장소 안의 오프라인 계약 검사기를 만들기 위한 것입니다. 실제 로봇을 움직이거나 네트워크·장치에 연결할 권한은 포함하지 않습니다.

목표: tabletop assembly의 S13 proposal receipt와 readiness report를 검증하는
읽기 전용 CLI를 구현하라.

허용 범위:
- 저장소의 schemas/, fixtures/, tests/와 새 validator 소스만 읽고 수정한다.
- 실제 로봇, ROS 그래프, 공급사 제어기, 카메라, 네트워크 서비스에 연결하지 않는다.
- 힘/속도/작업 공간/시간 한계를 새로 만들지 않는다. 입력 영수증의 검증된 참조만 확인한다.

필수 입력:
- task_card, system_tuple, skill_manifest, proposal_receipt, evaluator_receipt,
  safety_receipt, rollback_tuple

필수 검사:
1. 모든 스키마와 version/hash/frame/unit/clock_domain 필드를 검사한다.
2. proposal, projected, sent, accepted, executed를 별도 사건으로 요구한다.
3. missing/not_measured/not_exercised/incompatible가 하나라도 있으면
   exit code 2와 정확한 gate ID로 닫는다.
4. stale, NaN, 범위 밖, 알 수 없는 skill/version, 잘못된 frame을 거부한다.
5. safety authority나 E-stop reset을 모델/agent가 소유한 입력을 거부한다.
6. 로그의 원시 값은 보존하고 파생 판단에는 validator version을 붙인다.

시험:
- 정상 fixture 1개와 위 실패 유형별 fixture를 만든다.
- 결정론적 단위 시험만 실행한다. 하드웨어 시험을 성공했다고 표기하지 않는다.

출력:
- readiness_report.json: gate별 status, evidence path, owner, checked_at
- validation_summary.md: 변경 파일, 실행한 시험, 통과/실패와 미해결 항목
- 실패 시 자동 완화나 우회 없이 중단한다.

이 프롬프트의 핵심은 Codex도 권한 지도 안에 넣는 것입니다. 코드는 검사기를 제안하고 시험할 수 있지만, 현장 한계를 추정하거나 안전 권한을 획득하거나 실패한 관문을 스스로 열 수 없습니다. 생성 코드가 기술을 호출하는 경우에는 같은 스키마 검사, 허용 목록, 샌드박스, 결정론적 재생과 사람 검토를 적용합니다.

1.10 비교의 한계와 제2장으로 가는 다리

이 장의 지도는 설계 규율이지 완성된 한 시스템의 성능 보고가 아닙니다. 계층화는 소유권을 보이게 하지만 큰 행동 트리의 버전·상태 감사를 어렵게 만들 수 있습니다. 계획기는 모델링된 기하와 기술 밖의 위험을 모릅니다. 안전 필터는 상태 추정·모델·해결 시간·회복 가능성 가정이 깨지면 보증을 잃습니다. 최근 VLA와 배포 신뢰성 사전 논문은 독립 재현과 장기 운영 근거가 더 필요합니다. 무엇보다 이 장의 자료 중 어느 것도 전체 S13 탁상 조립 스택을 검증하거나 모델에 최종 명령·안전 권한을 넘겨주지 않습니다.

그러므로 이 책은 모델 크기나 시연 영상에서 시작하지 않습니다. 제2장은 이 책임 지도에 들어갈 데이터와 행동 표현을 검사합니다. 로봇 에피소드, 영상·언어·합성 자료가 무엇을 공유할 수 있는지, 서로 다른 로봇의 자유도·좌표계·제어 모드를 어떻게 보존할지, 연속 행동·묶음·토큰·잠재 행동·기술 호출이 어느 인터페이스에 연결되는지를 다룹니다. 제1장의 준비도 관문이 닫혀 있다면 제2장의 자료 혼합도 시작하지 않습니다.

더 읽을 거리

• 코드 생성 에이전트와 조작 인터페이스의 연구 맥락은 Terry의 Coding Agents for Manipulation에서 이어 읽을 수 있습니다. 이 링크는 독자용 교차 참조이며 이 장의 주장 근거가 아닙니다.
• 접촉이 있는 전역 계획의 맥락은 Global Planning for Contact-Rich Manipulation에서 볼 수 있습니다. 이 역시 주장 근거가 아닌 독자용 연결입니다.

보충 근거 지도

다음 묶음은 독립 S13 원장에서 이 장과 연결된 검증 원 자료다. 기존 주장과 분모를 바꾸지 않고 탐색 범위만 명시한다.

• 구조·행동 인터페이스: See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models, World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy, Large Video Planner Enables Generalizable Robot Control, RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 상태·보상·실패 추적: Reward Machine Inference for Robotic Manipulation, Lost & Found: Tracking Changes from Egocentric Observations in 3D Dynamic Scene Graphs, A Survey on Vision-Language-Action Models for Embodied AI — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 생성·복구 계보: Towards Synergistic, Generalized, and Efficient Dual-System for Robotic Manipulation, GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation, Automating Robot Failure Recovery Using Vision-Language Models With Optimized Prompts — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.

참고문헌

1. Brooks, R. A. (1986). A Robust Layered Control System for a Mobile Robot. IEEE Journal on Robotics and Automation.
2. Colledanchise, M., & Ögren, P. (2018). Behavior Trees in Robotics and AI: An Introduction. CRC Press.
3. Paxton, C., Hundt, A., Jonathan, F., Guerin, K., & Hager, G. D. (2017). CoSTAR: Instructing Collaborative Robots with Behavior Trees and Vision. IEEE ICRA.
4. Kaelbling, L. P., & Lozano-Pérez, T. (2011). Hierarchical Task and Motion Planning in the Now. IEEE ICRA.
5. Garrett, C. R., Lozano-Pérez, T., & Kaelbling, L. P. (2018). FFRob: Leveraging Symbolic Planning for Efficient Task and Motion Planning. The International Journal of Robotics Research.
6. Desai, A., Ghosh, S., Seshia, S. A., Shankar, N., & Tiwari, A. (2019). SOTER: A Runtime Assurance Framework for Programming Safe Robotics Systems. IEEE/IFIP DSN. DOI: 10.1109/DSN.2019.00027.
7. Mehmood, U., Sheikhi, S., Bak, S., Smolka, S. A., & Stoller, S. D. (2022). The Black-Box Simplex Architecture for Runtime Assurance of Autonomous CPS. NASA Formal Methods. DOI: 10.1007/978-3-031-06773-0_12.
8. Ames, A. D., Xu, X., Grizzle, J. W., & Tabuada, P. (2017). Control Barrier Function Based Quadratic Programs for Safety Critical Systems. IEEE Transactions on Automatic Control.
9. Wabersich, K. P., & Zeilinger, M. N. (2021). A Predictive Safety Filter for Learning-Based Control of Constrained Nonlinear Dynamical Systems. Automatica.
10. Liang, J., Huang, W., Xia, F., Xu, P., Hausman, K., Ichter, B., Florence, P., & Zeng, A. (2023). Code as Policies: Language Model Programs for Embodied Control. IEEE ICRA.
11. Chen, Y., Ding, Y., Branicky, M. S., & Zhang, Z. (2023). AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers. IEEE ICRA.
12. Black, K., Brown, N., Driess, D., et al. (2024). $\pi_0$: A Vision-Language-Action Flow Model for General Robot Control. arXiv:2410.24164.
13. Kim, M. J., Pertsch, K., Karamcheti, S., et al. (2024). OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246.
14. Ahn, M., Dwibedi, D., Finn, C., et al. (2024). AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents. arXiv:2401.12963.
15. Agia, C. (2026). Deployment-Time Reliability of Learned Robot Policies. arXiv:2603.11400v1.
16. Paull, L., Tani, J., Ahn, H., et al. (2017). Duckietown: An Open, Inexpensive and Flexible Platform for Autonomy Education and Research. IEEE ICRA.
17. Williams, G., Aldrich, A., & Theodorou, E. (2017). Information-Theoretic Model Predictive Control: Theory and Applications to Autonomous Driving. IEEE Transactions on Robotics.
18. Ahn, M., Brohan, A., Brown, N., et al. (2022). Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. CoRL.
19. Lee, B., et al. (2026). See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models. arXiv primary preprint (2026-07-13). arXiv:2607.11498.
20. Liu, X., et al. (2026). World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy. arXiv primary preprint (2026-02-06). arXiv:2602.06508.
21. Chen, B., et al. (2025). Large Video Planner Enables Generalizable Robot Control. arXiv primary preprint (2025-12-17). arXiv:2512.15840.
22. Liu, S., et al. (2024). RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation. arXiv primary preprint (2024-10-10). arXiv:2410.07864.
23. Baert, M., et al. (2024). Reward Machine Inference for Robotic Manipulation. arXiv primary preprint (2024-12-13). arXiv:2412.10096.
24. Behrens, T., et al. (2024). Lost & Found: Tracking Changes from Egocentric Observations in 3D Dynamic Scene Graphs. arXiv primary preprint (2024-11-28). arXiv:2411.19162.
25. Ma, Y., et al. (2024). A Survey on Vision-Language-Action Models for Embodied AI. IEEE Transactions on Neural Networks and Learning Systems (Early Access), 2026. arXiv:2405.14093.
26. Bu, Q., et al. (2024). Towards Synergistic, Generalized, and Efficient Dual-System for Robotic Manipulation. arXiv primary preprint (2024-10-10). arXiv:2410.08001.
27. Cheang, C., et al. (2024). GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation. arXiv primary preprint (2024-10-08). arXiv:2410.06158.
28. Chen, H., et al. (2024). Automating Robot Failure Recovery Using Vision-Language Models With Optimized Prompts. arXiv primary preprint (2024-09-06). arXiv:2409.03966.