Chapter 7: 로봇 에이전트는 무엇을 맡는가 — 계획, 메모리, 도구와 기술 API
개요
로봇 에이전트(robot agent)의 가치는 자연어로 멋진 계획을 쓰는 데 있지 않습니다. 긴 과제를 짧고 검증 가능한 단계로 나누고, 버전이 지정된 기술 API(skill API)만 호출하며, 실행 결과가 예상과 다르면 멈추거나 다시 관측하고 재계획하는 데 있습니다. 여기서 에이전트는 토크를 내는 제어기도, 충돌을 판정하는 안전 장치도 아닙니다. 에이전트의 산출물은 실행 후보이며, 실제 명령이 되려면 기존 실행 계약을 통과해야 합니다.
S11에서 물려받는 것은 로봇·그리퍼·센서의 식별 정보, 시계와 좌표계, 보정 세대, 제어기, 충돌·힘 한계, 감시 장치, 보호 정지, 비상 정지와 사람 책임자입니다. S12에서 물려받는 것은 버전형 과제·기술 계약, 실행 가능성 투영(feasibility projection), IK·동작 계획·접촉 제어, proposal → projected → sent → accepted/executed 계보, 독립 평가기, 증거 단계와 전체 되돌리기 튜플입니다. 이 장은 그 위에 계획·메모리·검색·도구·코드 생성·복구·사람 승인 각각의 권한과 기록을 추가합니다.
제6장의 세계 모델은 후보별 예상 결과, 불확실성, 잔차와 거부 이유를 넘겼습니다. 이 장의 새 질문은 다음과 같습니다. 누가 그 후보를 여러 기술로 구성할 수 있고, 어떤 관문이 생성된 계획을 재현 가능한 기술 호출로 바꾸며, 실패 뒤 무엇을 자동으로 복구하고 언제 사람에게 넘겨야 하는가? 답의 핵심은 능력보다 경계입니다. 메모리가 계획을 승인하지 않고, 검색 문서가 도구 권한을 부여하지 않으며, 생성 코드가 새 로봇 명령을 만들지 못하게 해야 합니다.
이 장을 읽고 나면... - 긴 탁상형 조립 지시를 전제 조건·완료 조건·실패 상태가 있는 기술 그래프로 분해할 수 있습니다. - 행동 트리(behavior tree, BT), 유한 상태 기계(finite-state machine, FSM), 과제-동작 계획(task and motion planning, TAMP), 거대 언어 모델(large language model, LLM)·시각-언어 모델(vision-language model, VLM) 계획기를 같은 축에서 선택할 수 있습니다. - 계획, 메모리, 검색, 도구, 코드, 기술 실행, 복구와 사람 승인을 서로 다른 권한으로 설계할 수 있습니다. - 생성된 계획·텍스트·코드를 스키마, 허용 목록(allowlist), 샌드박스(sandbox), 결정론적 재생(deterministic replay)과 하위 안전 관문으로 검증할 수 있습니다. - 실패·복구 상태 기계와 영수증을 만들어 자동 재시도, 후퇴, 사람 인계와 중단을 구분할 수 있습니다.
실험 질문은 다음과 같습니다. 같은 조립 과제, 초기 상태 분포, 기술 버전, 제어기, 평가기, 안전 한계와 분모를 고정했을 때, 에이전트가 고정된 기준 계획보다 미완료 기술과 사람 개입을 줄이는가? 그 이득을 얻으면서 허용되지 않은 호출, 오래된 계획, 반복 실패, 힘 사건과 재현 불가능한 복구를 늘리지 않는가?
1. 정신 모형: 생각하는 계층이 아니라 제안과 영수증의 계층
에이전트를 하나의 상자로 그리면 계획기, 메모리, 검색기, 코드 실행기와 안전 감독기의 책임이 섞입니다. 대신 각 변환을 입력·출력·권한·만료 시간으로 나눕니다. 자연어 지시는 버전형 과제 명세로 변환되고, 과제 명세는 허용된 기술 그래프로 변환됩니다. 기술 호출은 전제 조건과 최신 관측을 검사한 뒤 하위 계획·투영 계층으로 내려갑니다. 실행 결과는 원 계획을 확인하거나 반증하는 사건으로 돌아옵니다.
사람 지시 + 과제 계약 + 최신 장면 영수증
↓ 의미·금지·완료 조건 검사
계획 후보 + 근거 + 가정 + 만료 시각
↓ 스키마·허용 기술·버전 검사
기술 호출 후보의 순서/그래프
↓ 전제 조건·상태·중복 실행 검사
TAMP/IK/동작 계획/제약 투영/접촉 제어
↓ 충돌·힘·마감·사람 승인
sent → accepted/executed
↓ 독립 평가기 결과·실패 사건
계속 | 재관측 | 후퇴 | 대체 | 사람 | 중단
항상 독립: 감시 장치 · 보호 정지 · 비상 정지 · 최종 사람 권한
이 지도에서 LLM이나 VLM은 목표를 구조화하고 기술 순서를 제안하거나 결과를 요약할 수 있습니다. 그러나 기술 구현을 바꾸거나 안전 한계를 낮추거나 보호 정지를 해제할 수 없습니다. 세계 모델도 후보의 예상 결과를 제공할 뿐 실행 승인자가 아닙니다. 에이전트가 낸 계획은 plan_id, 모델·프롬프트·도구·메모리 버전, 입력 사건 시각, 만료 시각과 가정을 포함해야 합니다. 이 중 하나가 없으면 상태는 성공이 아니라 missing이고 실제 관문은 닫힙니다.
좋은 정신 모형은 “생각→행동”이 아니라 제안→검사→투영→실행→독립 판정→복구입니다. 추론문이 그럴듯한지보다 동일한 입력과 버전에서 같은 호출 그래프를 재생할 수 있는지가 중요합니다. 자연어 설명과 물리 결과가 충돌하면 독립 평가기와 센서 사건이 우선합니다.
2. 계획기 선택: 같은 축에서 비교한다
행동 트리, FSM, 고전적 과제 계획과 모델 기반 계획기는 대체 관계만은 아닙니다. TAMP가 실행 가능한 조작 순서를 찾고, 행동 트리가 실행 상태와 대체 경로를 관리하며, 모델이 모호한 지시를 구조화하는 조합도 가능합니다. 비교할 때 “유연함”이나 “추론 능력” 같은 인상 대신 상태 표현, 실행 가능성, 실패 노출, 재현성, 변경 비용과 권한을 맞춥니다.
| 방식 | 상태·전제 조건 표현 | 실행 가능성 처리 | 실패·복구 | 재현성과 감사 | 알맞은 위치 |
|---|---|---|---|---|---|
| FSM | 열거된 상태와 사건, 명시적 전이 | 각 전이의 검사를 사람이 연결 | 예상 실패에 강함; 상태 폭증 가능 | 높음; 버전·사건 로그 필요 | 짧고 규제가 강한 조립 절차 |
| 행동 트리 | 성공·실패·실행 중 상태를 반환하는 노드와 합성 | 조건·행동 노드에서 하위 계획기 호출 | 대체·재시도 구조가 읽기 쉬움 | 높음; 틱·메모리·노드 버전 기록 | 반응형 실행 감독과 복구 |
| 고전적 과제 계획 | 술어, 연산자, 전제·효과, 목표 | 상징 계획만으로는 부족; 기하 검사 연결 | 재계획 가능; 모델 누락에 취약 | 입력 모델이 고정되면 높음 | 알려진 물체·기술의 순서 결정 |
| TAMP | 상징 연산자와 연속 자세·경로·기하 | 탐색 중 동작 가능성을 함께 검사 | 실패 제약을 추가해 다시 탐색 | 표본·해결기·시간 예산도 기록 | 파지·운반·배치의 물리 조합 |
| LLM/VLM 계획 | 언어·영상 맥락에서 생성한 계획·코드·호출 | 자체 점수는 부족; 별도 스키마·TAMP·투영 필요 | 미관측 사례를 제안할 수 있으나 반복·환각 가능 | 온도만으로 부족; 입력·모델·도구·출력 고정 | 모호한 지시 구조화와 후보 생성 |
FSM은 어떤 상태에서 어떤 사건이 전이를 일으키는지 명확하지만, 물체와 오류 조합이 늘면 상태 수가 커집니다. 행동 트리는 success, failure, running의 반환 계약으로 대체 경로를 조합하기 쉽지만, 틱 주기와 노드 내부 상태가 기록되지 않으면 같은 트리도 다르게 움직입니다 [4]. CoSTAR는 시각과 행동 트리를 결합한 협동 로봇 지시의 실제 사례를 제공하지만, 사람이 만든 과제 구조와 플랫폼별 인식·조작 실패가 남습니다 [3].
고전적 계획은 언어 유창성보다 명시된 술어와 효과의 일관성을 우선합니다. TAMP는 상징 계획의 pick(part)가 실제 파지 자세와 충돌 없는 경로를 갖는지 함께 다룹니다. 현재 필요한 연속 상태만 구체화하는 계층적 접근은 미래 전체를 미리 열거하는 비용을 줄이지만, 모델과 기하가 누락한 접촉을 발견하지는 못합니다 [2]. 통합 TAMP 문헌의 폭넓은 분류는 설계 지도를 주지만 그 자체가 새 조립 셀의 정량 근거는 아닙니다 [6].
TAMP와 행동 트리는 전제 조건, 동작 가능성, 실행 상태와 대체 경로를 드러내므로 모델 기반 에이전트를 감사할 때 유용한 기준선입니다 [2] [6] [4]. 다만 상징, 기하 모델과 트리 자체가 불완전할 수 있으므로 이 구조를 사용했다는 사실이 물리 안전이나 과제 완전성을 보증하지는 않습니다. 시뮬레이션·실제 사례·종합 문헌이라는 서로 다른 근거 단계도 분리해 읽어야 합니다.
LLM/VLM 계획기는 허용된 기술 어휘에서 자연어 목표를 후보 순서로 바꾸는 데 유용합니다. SayCan은 언어 가능도와 학습된 기술 가치를 결합해 기술을 고르는 실제 로봇 사례를 제시했습니다 [8]. 그 결과는 해당 기술 라이브러리와 로봇, 지시 분포와 분모에 조건부입니다. 곱셈 점수는 보정된 안전 확률이 아니며, 새 조립 셀의 성공률로 옮길 수 없습니다. 모델 계획기는 고전 구조를 없애는 계층이 아니라 미리 정의된 기술과 검사기 사이의 후보 공급자가 되어야 합니다.
3. 에이전트 권한표: 읽기, 제안, 실행, 승인 분리
에이전트 시스템에서 가장 위험한 설계는 하나의 서비스 계정이 메모리를 쓰고, 문서를 검색하고, 코드를 실행하고, 로봇 기술을 호출하고, 자신의 성공을 판정하는 것입니다. 오류의 원인과 권한 상승을 분리할 수 없기 때문입니다. 다음 표는 각 구성요소가 소유하는 것과 소유하지 않는 것을 고정합니다.
| 구성요소 | 읽을 수 있는 것 | 만들 수 있는 것 | 금지된 권한 | 필수 영수증·관문 |
|---|---|---|---|---|
| 계획기 | 과제 계약, 최신 장면, 기술 목록, 결과 사건 | 기술 그래프 후보, 가정, 질문 | 로봇 명령 송신, 안전 한계 변경 | plan_id, 입력·모델·프롬프트·만료, 스키마 검사 |
| 메모리 저장소 | 승인된 사건과 평가 결과 | 불변 사건, 파생 요약, 유효 기간 | 성공 판정 수정, 원 로그 삭제 | 원 사건 해시, 작성자, 계보, 오염 표시 |
| 검색기 | 접근 허가된 문서 색인 | 출처가 붙은 문서 묶음 | 문서 내용을 명령으로 승격 | 질의·색인 버전, 문서 ID, 시간·신뢰 범위 |
| 도구 중개기 | 호출 후보와 주체 권한 | 허용 도구의 입력 검증·결과 | 임의 셸·망·파일·로봇 접근 | 도구 버전, 인자 해시, 부작용 등급, 시간 제한 |
| 코드 생성기 | 읽기 전용 스키마·예제 | 격리된 순수 변환 코드 후보 | 드라이버·제어기·안전 입출력 접근 | 정적 검사, 샌드박스, 시험, 재생, 서명된 승격 |
| 기술 중개기 | 허용 기술과 전제 조건, 최신 상태 | 버전형 기술 호출 후보 | 미등록 기술·매개변수·단위 허용 | 스키마, 버전, 중복 키, 마감, 전제 조건 |
| 실행 계층 | 검증된 호출과 로봇 상태 | 투영 결과와 제어기 기준값 | 상위 설명을 명령으로 해석 | IK·계획·제약·충돌·힘·대기열 검사 |
| 독립 평가기 | 센서·과제 성공 정의 | 완료·실패·불명 판정 | 계획기 설명을 정답으로 채택 | 평가기 버전, 분모, 원 센서 근거 |
| 복구 관리자 | 실패 유형과 안전 상태 | 후퇴·재관측·대체·인계 후보 | 정지 해제, 무제한 재시도 | 재시도 예산, 비가역성 등급, 사람 승인 |
| 사람 책임자 | 전체 영수증과 위험 카드 | 승인·거부·중단·범위 축소 | 장치상 비상 정지의 대체 불가 | 신원, 승인 범위·시각·만료·근거 |
계획, 메모리, 도구, 코드, 기술, 복구와 승인은 별도의 식별자·로그·허용 목록·재생 절차와 하위 안전 관문을 가져야 합니다 [18] [20] [7]. AutoRT는 대규모 실제 로봇 오케스트레이션에서 상위 모델과 사람 감독을 결합했지만 환각·새 환경 일반화·모션 블러가 실패를 전파할 수 있다고 명시합니다. Black-Box Simplex는 검증되지 않은 상위 제안과 안전 제어를 분리하는 런타임 보증(runtime assurance)의 근거를 주지만, 유계 동역학·시간 가정과 비접촉 사례에 조건부입니다. 저장소 오염과 비가역 도구 효과에 대한 완전한 보증은 아직 입증되지 않았습니다.
4. 기술 호출 스키마: 자연어와 로봇 명령 사이의 방화벽
기술 호출은 함수 이름과 숫자 몇 개가 아닙니다. 과제·장면·보정·기술·제어기 버전, 입력 단위와 좌표계, 전제 조건, 완료·실패 조건, 시간 제한, 중복 실행 의미, 대체 동작과 승인 등급을 묶는 계약입니다. 아래 예시는 실행 코드가 아니라 스키마 설명입니다.
| 호출 계약 묶음 | 예시 값 | 중개기가 검사할 조건 |
|---|---|---|
| 스키마·계보 | `s13.skill-call/v1`, `call-0187`, `plan-0042`, `tabletop-assembly@7.1` | 호출·계획·과제 버전이 서로 연결돼야 함 |
| 기술 | `insert_part@2.3.1`, `implementation_digest=sha256:...` | 현재 레지스트리의 이름·버전·구현 해시와 일치 |
| 장면 영수증 | `obs-991`, 사건 시각, `max_age_ms=120`, `cell-tf@11`, `wrist-cam@8` | 관측 최신성, 프레임 트리와 보정 세대가 유효 |
| 대상 인자 | `part_id=bracket-A`, `fixture_id=jig-2` | 현재 장면 객체 ID와 과제 계약에 존재 |
| 목표 자세 | `frame=fixture`, `unit=m-rad`, 값 배열 | 좌표계·단위·차원과 허용 범위를 명시 |
| 접촉 한계 | `force_N=12`, `torque_Nm=1.2` | 승인된 셀 한계를 넘으면 숫자 형식이 맞아도 거부 |
| 전제 조건 | `part_grasp_verified`, `fixture_clear`, `precontact_pose_reached` | 모든 조건을 독립 상태 영수증으로 확인 |
| 완료 조건 | `insertion-eval@4`, `seated_and_force_released` | 독립 평가기 버전과 술어를 고정 |
| 실패 정책 | 재시도 1회, `contact_depth_2mm` 전까지 가역, `retreat_to_precontact` | 재시도·가역 경계·대체 동작을 호출 전에 승인 |
| 승인 | `risk_class=contact_bounded`, `approval-73` | 사람 승인이 위험 등급과 시간 범위를 덮어야 함 |
| 마감·중복 키 | `2026-07-16T10:22:32.000+09:00`, `task7-step5-attempt1` | 늦은 호출을 폐기하고 같은 키를 재실행하지 않음 |
스키마 검사는 필드 존재만 보지 않습니다. insert_part@2.3.1이 현재 기술 목록에 있는지, 인자가 선언 범위와 단위에 맞는지, 관측이 만료되지 않았는지, 좌표계와 보정 세대가 일치하는지, 사람 승인이 이 위험 등급과 시간 구간을 덮는지 확인합니다. force_N이 숫자여도 승인된 셀 한계를 넘으면 거부합니다. 같은 중복 키가 다시 오면 재실행하지 않고 이전 결과를 돌려줘야 합니다.
계획자는 이 스키마의 후보를 만들 수 있지만 implementation_digest나 승인 ID를 발명할 수 없습니다. 값은 레지스트리와 승인 서비스가 채웁니다. 스키마에 없는 필드는 묵시적으로 받아들이지 않고 unknown_field로 거부합니다. 이전 버전 호출을 새 기술에 자동 변환할 때도 명시적 변환기와 회귀 재생이 필요합니다.
4.1 코드 생성은 더 좁은 도구다
Code as Policies는 언어 모델이 사람이 준비한 함수 이름공간 위에서 계층적 프로그램을 생성하고 실제 로봇 과제를 구성할 수 있음을 보여줍니다 [12]. 이 접근의 장점은 중간 프로그램을 검사하고 함수 경계를 재사용할 수 있다는 점입니다. 동시에 생성 프로그램은 모든 함수의 숨은 가정, 단위, 부작용과 오류 처리를 상속합니다.
Code as Policies의 프로그램은 선별된 함수 위에서 생성되므로, 그 결과는 로봇 셀에서 임의 코드를 실행해도 된다는 근거가 아닙니다 [12] [3]. 해당 실제 로봇 근거도 사람 설계 함수와 인터페이스에 조건부이며, 일반적인 샌드박스 탈출이나 비가역 부작용을 시험하지 않았습니다. 따라서 생성 코드는 기본적으로 네트워크·셸·장치·비밀정보·쓰기 권한이 없는 격리 환경에서 순수한 계획 변환만 수행해야 합니다.
허용할 수 있는 첫 단계는 scene_receipt → typed_skill_calls 같은 순수 변환입니다. 출력은 스키마 검사, 정적 분석, 속성 기반 시험, 고정 자료 재생과 자원 한계를 통과합니다. 물리 호출은 생성 코드가 직접 하지 않고 기술 중개기가 재검증합니다. 실패했을 때 코드를 즉석 수정해 실물에 다시 보내지 말고, 새 버전으로 저장해 같은 보류 자료와 반례 묶음을 모두 재생합니다.
5. 번역·검사·실행 가능성을 세 관문으로 나눈다
자연어 지시를 계획 언어로 번역하는 문제, 논리 제약이 일관적인지 검사하는 문제, 실제 로봇이 움직일 수 있는지 검사하는 문제는 다릅니다. “빨간 브래킷을 끼우되 파란 케이블을 건드리지 말라”는 지시가 avoid(cable-blue)를 빠뜨리면 논리 해결기는 잘못된 명세를 충실히 만족할 수 있습니다. 논리 계획이 맞아도 파지 자세나 충돌 없는 경로가 없을 수 있습니다. 경로가 있어도 힘·속도·시간 한계는 별도입니다.
AutoTAMP는 LLM의 번역, 형식 검사를 거친 과제 계획, 동작 가능성 검사를 분리하는 구조를 제시하지만, 형식 검사는 부호화된 제약만 확인합니다 [13] [2]. 주된 근거가 시뮬레이션이고 장면 그래프·연산자·제약의 정확성을 전제하므로, 검사 통과는 실제 충돌·힘 검증이 아닙니다. 번역 누락, 논리 불일치, 기하 불가능, 제어 한계 위반을 서로 다른 거부 코드로 남겨야 합니다.
최소 흐름은 여섯 관문입니다.
- 의도 관문: 대상, 목표 상태, 금지 조건, 완료 정의, 모호성, 사람 확인 필요성을 검사합니다.
- 계획 관문: 허용 기술만 사용하고 각 기술의 전제·효과가 이어지는지 검사합니다.
- 상태 관문: 입력 관측의 나이, 물체 식별, 좌표계, 보정 세대와 숨은 상태를 검사합니다.
- 실행 가능성 관문: 파지, IK, 충돌 없는 경로, 제약 투영, 접촉 전 정지를 검사합니다.
- 운영 관문: 추론 지연, 마감, 대기열, 오래된 명령 거부, 중복 실행과 서비스 장애 대체를 검사합니다.
- 안전·승인 관문: 충돌·힘·속도 범위, 감시 장치, 보호 정지, 사람 승인과 되돌리기 대상을 확인합니다.
각 관문은 pass 외에 reject, unknown, stale, incompatible, not_measured를 반환합니다. unknown을 참으로 간주하거나, 시간 초과를 성공으로 간주하거나, 계획기의 설명으로 평가기 실패를 덮으면 안 됩니다. 관문 사이에 proposal_id, projection_id, command_id, execution_id를 연결해야 어느 변환에서 오류가 생겼는지 추적할 수 있습니다.
6. 탁상형 조립 관통 사례: 긴 지시를 기술로 구성한다
지시는 “가려진 선반에서 빨간 브래킷을 찾아 지그의 왼쪽 홈에 넣고, 안 들어가면 한 번만 다시 정렬한 뒤 나에게 물어봐”입니다. 과제는 부품·치구 인식, 파지, 충돌 없는 운반, 접촉 전 정지, 제한된 삽입, 실패 감지, 후퇴·재시도·사람 요청·중단으로 고정합니다. 에이전트가 추가하는 것은 기술 순서와 조건 분기뿐입니다.
6.1 계획 후보 만들기
먼저 목표를 seated(bracket-red, jig-left)로, 금지를 no_contact(cable-blue)로, 재시도 예산을 1로, 최종 실패 처리를 request_human으로 구조화합니다. “왼쪽”의 기준 좌표계가 없으면 계획하지 않고 질문합니다. 가림 때문에 물체 신뢰도가 낮으면 reobserve(viewpoint-2)를 첫 기술로 제안합니다. 검색된 과거 성공 계획은 참고 자료일 뿐 현재 장면의 사실이 아닙니다.
후보 그래프는 reobserve → localize → grasp → transport → precontact → insert → evaluate입니다. evaluate=success이면 완료하고, recoverable_alignment_failure이면 retreat → reobserve → realign → insert를 한 번만 실행합니다. 힘 초과, 물체 식별 충돌, 보정 불일치 또는 보호 정지는 재시도하지 않고 안전 상태에서 사람에게 넘깁니다. 같은 실패를 새 표현으로 반복 호출하지 못하도록 실패 계열별 예산을 둡니다.
6.2 기술마다 결과를 읽고 다시 계획하기
기술은 단순한 true/false가 아니라 구조화된 결과를 반환합니다.
| 결과 영수증 묶음 | 예시 값 | 다음 계획에 주는 의미 |
|---|---|---|
| 스키마·계보 | `s13.skill-result/v1`, `call-0187`, `exec-551` | 호출과 실제 실행을 같은 계보로 연결 |
| 상태·실패 분류 | `failed`, `recoverable_alignment` | 실패를 성공·거부와 분리하고 승인된 복구 후보만 열기 |
| 실행 시간·관측 | 시작·종료 시각, `obs-991`, `obs-1004` | 실패 전후의 상태와 관측 나이를 재현 |
| 제안 | 자세 후보와 `force_N=10` | 상위 구성요소가 처음 낸 값을 보존 |
| 투영 | 투영된 자세와 `force_N=10` | 제약 관문이 바꾼 값과 원 제안의 차이를 보존 |
| 송신 | `trajectory_id=traj-77` | 실제 제어 경로로 보낸 산출물을 식별 |
| 수락·실행 | 수락됨, 실행 접두 구간 340 ms | 제안 성공과 물리 실행 범위를 혼합하지 않음 |
| 독립 평가 | `insertion-eval@4`, `not_seated` | 영상 설명이 아닌 평가기 판정으로 미완료를 기록 |
| 안전 사건 | 빈 목록 | 시험한 안전 사건이 없었다는 뜻이며 안전 보증은 아님 |
| 잔차 | 횡오차 1.8 mm, 최대 힘 9.6 N | 재정렬 가능성과 접촉 상태를 진단하는 측정값 |
| 허용 복구 | `retreat_to_precontact`, `reobserve` | 다음 출력도 제한된 후퇴·재관측 후보만 가능 |
에이전트는 실패 분류와 허용 복구를 읽어 다음 후보를 냅니다. peak_force_N이 한계 이내였다는 사실은 재시도 가능성의 한 조건일 뿐 성공 판정이 아닙니다. 반대로 평가기가 unknown이면 에이전트가 영상 설명으로 success를 덮어쓰지 못합니다. 후퇴 기술 자체도 버전형 호출이며 충돌·힘·마감 검사를 다시 거칩니다.
6.3 그림자 실행에서 먼저 반증하기
실물 전에 보류 에피소드의 사건을 같은 순서로 재생합니다. 계획기는 각 시점까지만 볼 수 있고 미래 결과를 보지 못해야 합니다. 기준 FSM/행동 트리와 에이전트의 기술 선택, 잘못된 전제 조건, 거부율, 복구 선택과 지연을 비교합니다. 다음으로 시뮬레이션과 그림자 실행에서 실제 호출을 송신하지 않은 채 투영 결과와 예상 분기를 기록합니다. 그림자 실행의 hardware_command_count는 0이어야 합니다.
실제 제한 시험은 별도 사람 승인 카드가 있을 때만 엽니다. 첫 시험은 저속·낮은 힘·한 물체·한 치구·한 실패 분기로 제한합니다. 계획기가 좋아졌다는 이유로 제어기, 힘 한계, 평가기와 초기 분포를 함께 바꾸지 않습니다. 실행 뒤에는 성공 영상보다 실패·거부·개입과 정확한 되돌리기 튜플을 먼저 보존합니다.
7. 메모리, 검색, 도구, 코드는 서로 다른 능력이다
7.1 메모리는 사실 저장소가 아니라 계보가 있는 사건 저장소다
메모리는 세 층으로 나눕니다. 사건 메모리는 관측, 호출, 결과와 안전 사건의 불변 기록입니다. 의미 메모리는 승인된 기술 설명, 과제 규칙과 장면 개념입니다. 절차 메모리는 버전형 기술과 검증된 계획 틀입니다. 모델이 만든 실패 요약은 파생 항목이며 원 사건을 대신하지 않습니다. 요약에는 출처 사건, 생성 모델, 시간, 신뢰 범위와 만료를 붙입니다.
REFLECT는 로봇 경험을 요약해 실패 설명과 다음 시도 수정을 만듭니다 [15]. AI2THOR 시뮬레이션에서는 실행 실패와 계획 실패 모두에서 약 80%의 수정 계획 성공률을 보고합니다. 별도의 실제 UR5e 자료는 사람이 원격 조작해 수집한 30개 실패 시나리오이며 설명과 실패 시점 식별을 평가했을 뿐, 물리 재시도 완료를 측정하지 않았습니다.
그러나 성공한 재시도는 그 실패 설명이 인과적으로 옳았음을 증명하지 않습니다 [15]. 요약은 중요한 상태를 빼거나 존재하지 않은 원인을 만들 수 있습니다. 따라서 메모리의 설명과 독립 센서 사건, 실행 계보, 평가기 판정을 나란히 보존하고, 설명 정확도와 복구 성공을 별도 지표로 측정해야 합니다.
기억은 끝없이 누적하지 않습니다. BUMBLE은 이동 조작에서 과거 실패를 기억해 장기 과제를 지원하지만, 메모리가 커질수록 검색 비용이 감당하기 어려워질 수 있음을 한계로 듭니다 [19]. 메모리 압축은 저장 비용을 줄이지만 소수의 중요한 실패를 지울 수 있습니다. 보존 기간, 압축 규칙, 삭제 승인과 재현 가능한 색인 버전을 정해야 합니다.
BUMBLE은 70회 시험의 성공·실패 범주를 보고하지만, 건물 규모의 이동 플랫폼과 증가하는 메모리는 기본 탁상형 단일 팔이 아니라 고급 분기입니다 [19]. 해당 분모와 인터페이스는 플랫폼별이므로 결과를 이 셀의 조립 성공률과 직접 비교할 수 없습니다. 이 근거는 실패 범주와 메모리 운영을 기록해야 한다는 설계 단서이지, 탁상 조립의 성능 보증이 아닙니다.
7.2 검색은 자료를 가져오지만 권한을 가져오지 않는다
검색기는 승인된 기술 문서, 과제 계약, 이전 영수증을 출처와 함께 반환합니다. 검색 결과에는 문서 ID, 버전, 작성자, 유효 셀, 생성 시각과 신뢰 등급이 필요합니다. 다른 로봇의 “삽입 힘 20 N” 문서를 찾았다고 현재 셀의 한계가 바뀌지 않습니다. 외부 웹 문서와 사용자 메모는 명령이 아니라 신뢰되지 않은 자료로 표시합니다.
검색 오염 시험에는 악성 지시가 포함된 문서, 오래된 기술 버전, 다른 좌표계, 폐기된 보정, 성공만 남긴 기억을 넣습니다. 에이전트가 출처보다 본문을 우선하거나, 최신 계약과 충돌하는 문서를 실행 근거로 쓰면 관문을 닫습니다. 검색 품질은 정답 문서 회수율뿐 아니라 잘못 회수한 문서가 호출에 영향을 준 비율로 평가합니다.
7.3 도구는 부작용 등급을 가진다
읽기 전용 장면 질의와 로봇 이동 호출은 같은 “도구”가 아닙니다. 도구를 pure_read, bounded_write, physical_reversible, physical_irreversible, safety_critical로 분류하고, 주체별 허용 목록과 승인 요구를 둡니다. 달력이나 검색 API를 호출하도록 학습한 Toolformer의 결과는 도구 선택 가능성을 보이지만, 우도 개선이 도구의 정확성이나 권한을 보증하지는 않습니다 [11]. ReAct 역시 생각·행동·관측을 엮어 피드백 기반 갱신을 보여주지만 텍스트 환경은 물리 시간, 접촉과 비가역 행동을 생략합니다 [17].
도구 중개기는 인자를 정규화하고 시간 제한, 재시도 의미, 부작용, 중복 키와 결과 스키마를 검사합니다. 네트워크 장애를 빈 결과로 바꾸지 않고 tool_unavailable로 반환합니다. 쓰기·물리 도구는 자동 재시도하지 않습니다. 읽기 도구도 오래된 결과를 최신 관측처럼 사용하지 않도록 생성 시각과 최대 나이를 검사합니다.
7.4 생성 코드는 기술 라이브러리에 바로 들어가지 않는다
새 코드는 제안 저장소에만 씁니다. 정적 검사, 의존성 잠금, 샌드박스 시험, 자원 한계, 고정 입출력 재생, 속성 시험과 사람 코드 검토를 통과해야 승격 후보가 됩니다. 승격 뒤에도 skill_name@version + implementation_digest + schema_version으로 고정합니다. 즉석 패치는 새 버전이며 기존 승인과 되돌리기 대상도 갱신합니다. 임의 셸, 동적 패키지 설치, 외부 망, 드라이버 장치와 안전 입출력은 생성 코드에 열지 않습니다.
8. 실패·복구 상태 기계
복구는 “다시 해 봐”가 아닙니다. 실패가 가역인지, 관측을 더 얻으면 구분 가능한지, 접촉과 물체 상태가 변했는지, 재시도 예산과 사람 승인 범위가 남았는지 확인하는 상태 전이입니다.
RECEIVED
├─ 명세 누락/모호/금지 → NEEDS_CLARIFICATION → HUMAN_REVIEW
└─ 유효 → PLANNED
PLANNED
├─ 스키마/버전/허용 목록 실패 → REJECTED
├─ 관측 만료 → REOBSERVE → PLANNED
└─ 유효 → PROJECTED
PROJECTED
├─ IK/충돌/힘/마감 실패 → INFEASIBLE → REPLAN | HUMAN_REVIEW
├─ 승인 필요/없음 → AWAITING_APPROVAL
└─ 통과 → EXECUTING
EXECUTING
├─ 보호 정지/비상 정지/한계 초과 → SAFE_STOP → HUMAN_REVIEW
├─ 복구 가능 실패 → RETREATING → REOBSERVE → REPLAN
├─ 복구 불명/비가역 → HOLD_SAFE → HUMAN_REVIEW
└─ 기술 완료 → EVALUATING
EVALUATING
├─ success → NEXT_SKILL | COMPLETE
├─ failure + 예산 남음 → REPLAN
├─ unknown → REOBSERVE | HUMAN_REVIEW
└─ 예산 소진 → HOLD_SAFE → HUMAN_REVIEW
SAFE_STOP은 계획기가 해제할 수 없습니다. 비상 정지 뒤 재개는 장치 절차와 지정된 사람의 현장 확인을 요구합니다. RETREATING도 안전한 단일 기본 행동으로 가정하지 않습니다. 현재 접촉, 케이블과 주변 물체에 따라 후퇴가 더 위험할 수 있으므로 버전형 후퇴 기술과 별도 실행 가능성 검사가 필요합니다.
재시도 예산은 호출 수뿐 아니라 물리 노출, 누적 힘·시간, 물체 상태 변화와 사람 개입을 포함합니다. 실패 분류를 조금씩 바꿔 예산을 우회하지 못하도록 failure_family_id를 둡니다. 같은 상태에서 같은 계획이 다시 나오면 결정론적 반복을 탐지해 사람에게 넘깁니다. 복구 성공 뒤에도 처음 실패한 사건과 개입 비용을 분모에서 빼지 않습니다.
9. 실패 증상에서 원인까지: 진단 순서
| 증상 | 먼저 볼 기록 | 가능한 원인 | 허용되는 다음 행동 |
|---|---|---|---|
| 같은 기술을 반복 호출 | 계획 해시, 실패 계열, 재시도 예산 | 결과 미반영, 메모리 지연, 상태 루프 | 중단; 원 사건 재생; 사람 인계 |
| 계획은 맞지만 호출 거부 | 스키마·버전·인자·관측 나이 | 오래된 기술, 단위·좌표계 오류 | 최신 레지스트리 조회; 재계획 |
| 투영에서 계속 실패 | 원 후보와 투영 차이, IK·충돌 코드 | 언어 목표의 기하 불가능, 장면 오류 | 재관측; 대체 파지; 목표 확인 |
| 성공 설명과 평가기 불일치 | 센서 사건, 평가기 버전, 요약 계보 | 환각 요약, 낡은 영상, 평가 오류 | 완료 금지; 독립 재관측·검토 |
| 도구 결과가 실행마다 달라짐 | 도구 버전, 외부 응답, 난수·시간 | 비결정성, 원격 변경, 숨은 상태 | 결과 고정; 모의 도구로 재생 |
| 복구가 새 힘 사건을 만듦 | 후퇴 경로, 접촉 상태, 힘 시간선 | 후퇴 기술의 전제 누락 | 보호 정지; 자동 재시도 금지 |
| 사람이 승인했으나 만료됨 | 승인 범위·시각·위험 등급 | 지연, 계획 변경, 다른 기술 버전 | 새 승인 요청; 이전 승인 재사용 금지 |
진단은 계획기의 자연어 설명에서 시작하지 않습니다. 먼저 원 관측과 사건 시각, 호출·투영·송신·수락/실행 계보, 제어기와 평가기 결과, 안전 사건을 확인합니다. 다음으로 계획 입력과 도구 결과, 메모리 요약을 봅니다. 마지막에 모델 설명을 가설로 사용합니다. 이렇게 해야 “모델이 물체를 헷갈렸다”는 설명이 사실은 보정 세대 불일치나 오래된 대기열 때문인 경우를 찾을 수 있습니다.
결정론적 재생에는 모델 출력만 고정하는 것으로 부족합니다. 시스템 프롬프트, 모델·토크나이저, 샘플링, 도구 응답, 검색 색인, 메모리 스냅샷, 스키마·기술 레지스트리, 시간과 난수, 계획 예산을 묶습니다. 원격 모델이 같은 출력을 보장하지 못하면 원 응답을 보존해 결정 재생과 모델 재호출 시험을 분리합니다.
10. 근거, 반례와 아직 닫히지 않은 간극
근거 단계가 서로 다릅니다. TAMP와 행동 트리 문헌은 명시적 상태·전제·반환·대체 경로의 구조를 뒷받침합니다. SayCan, Code as Policies, Inner Monologue, CoSTAR와 SayPlan은 실제 로봇 또는 실제 로봇을 포함한 사례에서 언어 기반 기술 선택, 코드 구성, 피드백과 장면 그래프의 가능성을 보여줍니다 [8] [12] [9] [3] [16]. REFLECT의 수정 계획 실행 근거는 AI2THOR 시뮬레이션이며, 실제 UR5e 자료는 설명과 실패 시점 식별만 평가합니다 [15]. 로봇, 기술 목록, 장면, 사람 설계와 분모가 다르므로 성공률을 한 순위표로 합치지 않습니다.
AutoRT는 여러 건물과 다수 로봇에 걸친 장기간의 실제 오케스트레이션을 보고합니다 [18]. 이것은 규모 근거이지 기본 탁상 조립의 독립 안전·복구 근거가 아닙니다. BUMBLE의 분류도 이동 조작의 플랫폼별 결과입니다 [19]. 2026년의 에이전트 인지 연구는 과신, 과제 거부, 비효율적 도구 실패 복구와 모호한 지시 해석을 한계로 보고하지만 시뮬레이션 근거이며 독립 재현이 필요합니다 [20].
반례도 설계 재료입니다. 상징 모델은 실제 마찰·가림·변형을 빠뜨릴 수 있습니다. 행동 트리는 큰 규모에서 버전과 숨은 상태를 잃을 수 있습니다. 언어 계획은 존재하지 않는 물체·기술을 만들거나 부정 조건을 지울 수 있습니다. 장면 그래프는 잘못된 인식을 구조화해 전달할 수 있습니다. 메모리는 잘못된 성공 판정을 강화하고, 검색은 오래되거나 오염된 문서를 가져오며, 생성 코드는 허용 API의 숨은 부작용을 조합합니다. 사람 승인도 계획 변경과 만료를 추적하지 않으면 포괄적 면책표가 됩니다.
현재 어떤 단일 원출처도 이 장의 전체 탁상형 조립 스택을 검증하거나 모델에 로봇 명령·안전 권한을 넘기지 않습니다. 관측 나이, 꼬리 지연, 대기열과 오래된 명령 처리, 개입, 힘 사건, 복구 분모와 전체 되돌리기는 많은 논문에서 보고되지 않습니다. 보고되지 않은 값은 추정하지 않고 not reported로 남깁니다. 최근 사전 공개 논문은 설계 후보로 읽되, 실제 승격에는 독립 재현과 로컬 영수증이 필요합니다.
11. 기록할 지표와 산출물
성공률 하나로는 에이전트가 좋아졌는지 알 수 없습니다. 최소 기록 묶음은 다음과 같습니다.
- 계획: 목표·금지 조건 보존율, 실행 가능한 기술 그래프 비율, 미등록 기술 제안률, 전제 조건 누락률, 계획 깊이와 재계획 횟수.
- 시간: 관측 나이, 계획·검색·도구·투영 지연의 중앙값과 p95/p99, 마감 초과율, 오래된 출력 폐기율.
- 도구·코드: 호출 정확도, 스키마 거부율, 부작용 등급별 호출 수, 샌드박스 실패, 재생 일치율, 코드 승격·되돌리기 횟수.
- 메모리: 원 사건 연결률, 검색 적중·오염률, 오래된 항목 사용률, 요약-센서 모순률, 압축 뒤 실패 보존율.
- 실행:
proposal/projected/sent/accepted/executed별 수, 투영 변화량, 기술 완료·실패·불명 분모, 제어기 거부. - 복구: 실패 유형별 감지율, 후퇴·재관측·재계획 성공, 반복 실패, 사람 인계까지 시간, 성공 복구와 잘못된 복구의 분리.
- 안전·운영: 안전하지 않은 제안, 충돌·힘 사건, 보호 정지, 비상 정지, 사람 개입, 원격 서비스 장애, 하드웨어 노출과 비용.
산출물은 task_contract, agent_authority_table, skill_registry, skill_call_schema, plan_receipt, tool_receipt, memory_snapshot, projection_receipt, execution_receipt, evaluator_receipt, recovery_trace, approval_card, rollback_tuple입니다. 모든 항목은 버전·해시·시간·작성 주체를 가져야 합니다. 영상은 보조 근거이며 이 식별자를 대신하지 않습니다.
승격은 재생→오프라인 반례→시뮬레이션→그림자 실행→사람 검토 제한 시험 순서입니다. 각 단계의 분모와 실패를 별도 보존합니다. 기준 FSM/행동 트리나 고전 계획보다 좋아지지 않거나, 지연·거부·개입이 악화되거나, 재생이 안 되면 복잡한 에이전트를 승격하지 않습니다.
12. Codex용 제한 구현 지시문
목표
- 기록된 탁상 조립 에피소드에서 긴 지시를 버전형 기술 호출 그래프로 변환한다.
- 계획/메모리/검색/도구/코드/복구/승인 권한을 분리한 영수증을 만든다.
- 기준 FSM/행동 트리와 에이전트 후보를 재생·그림자 단계에서 비교한다.
맥락
- S11의 robot/sensor/clock/frame/calibration/controller/safety 식별자를 읽는다.
- S12의 task/skill API, projection, evaluator, evidence stage, rollback 계약을 유지한다.
- 입력은 보류 에피소드, 읽기 전용 장면 영수증, 승인된 skill registry뿐이다.
- 출력은 plan/skill-call/recovery 후보이며 실제 로봇 명령이 아니다.
제약 조건
- 허용 목록 밖 기술·도구·파일·망·셸·장치를 호출하지 않는다.
- 스키마에 없는 필드, 단위/프레임/버전 불일치, 오래된 관측은 거부한다.
- 생성 코드는 네트워크·쓰기·장치가 없는 샌드박스에서 순수 변환만 시험한다.
- 시스템 프롬프트, 모델, 샘플링, 도구 응답, 색인, 메모리 스냅샷을 고정한다.
- 평가기/충돌/힘/watchdog/보호 정지/E-stop/사람 권한을 우회하지 않는다.
- missing/not measured/not exercised/incompatible을 성공으로 채우지 않는다.
작업
1. task_contract와 skill registry를 스키마 검사하고 불완전하면 중단한다.
2. 각 지시에서 목표/금지/완료/모호성/재시도 예산을 구조화한다.
3. 기준 FSM/행동 트리와 에이전트 계획을 같은 시점 정보로 생성한다.
4. 호출별 plan_id/call_id/version/deadline/idempotency/precondition을 기록한다.
5. 과거 결과를 한 사건씩 공급하며 continue/reobserve/retreat/replan/human/stop을 기록한다.
6. 미래 누출, 오염 문서, 오래된 관측, 도구 장애, 반복 실패 반례를 실행한다.
7. schema rejection, feasibility rejection, latency, recovery, intervention을 고정 분모로 비교한다.
8. 실제 명령을 만들지 않고 shadow_hardware_command_count=0을 확인한다.
완료 조건
- 에이전트 권한표, 기술 호출/결과 스키마와 실패·복구 상태 기계가 있다.
- 모든 결정이 입력·버전·도구·메모리·출력·거부 이유까지 재생 가능하다.
- 여섯 관문과 proposal→projected→sent→accepted/executed 계보가 분리된다.
- 기준선보다 나은 축과 나빠진 축, 반례, 미측정값과 정확한 rollback tuple을 보고한다.
- 실제 시험이 필요하면 실행하지 않고 별도 사람 승인 카드 요청으로 끝낸다.
안전
- 모델 출력은 사람이 검토할 후보이며 실행 권한이 아니다.
- 자동 복구는 승인된 가역 기술과 예산 안에서만 허용한다.
- 보호 정지·비상 정지 해제와 최종 승인은 지정된 사람·장치에 남긴다.
제조 셀 적용 체크포인트
과제 스키마: 목표·금지·완료·초기 분포·재시도 예산·비가역 지점을 버전으로 고정했는가? 모호한 지시가 질문 상태로 가는가? 자료·기록: 사건·도착·사용 시각, 계획·도구·메모리 스냅샷과 호출 계보가 있는가? 지표: 기준선과 같은 분모에서 전제 조건 위반, 거부, 지연, 복구, 개입과 힘 사건을 비교하는가? 안전: 에이전트 계정이 제어기·충돌/힘 한계·감시 장치·보호 정지·비상 정지를 바꿀 수 없는가? 책임: 계획, 기술 레지스트리, 평가기, 코드 승격, 실제 시험 승인과 되돌리기의 이름 있는 소유자가 다른가?
하나라도 없으면 실제 실행 상태를 열지 않습니다. 특히 성공 영상, 언어 설명, 모델 확신과 형식 계획 통과는 사람 승인이나 물리 안전 영수증을 대신하지 않습니다. S11의 실제 셀 식별자와 S12의 기술·제어·평가 버전이 missing, not measured, not exercised, incompatible이면 에이전트가 추측하지 않고 관문을 닫습니다.
기존 서베이와의 연결
이 장은 S11의 안전한 셀과 S12의 고전·학습 혼합 실행 기반을 다시 가르치지 않습니다. 그 계약을 에이전트의 하위 경계로 호출합니다. 코딩 에이전트를 조작에 연결하는 별도 해설은 코딩 에이전트와 로봇 조작, 긴 지평선 에이전트 사례의 독자용 연결은 RoboClaw와 에이전트형 장기 과제에서 볼 수 있습니다. 두 링크는 맥락 자료이며 이 장의 주장 근거는 아닙니다.
13. 반례를 운영 계약으로 바꾸고 제8장으로 넘긴다
에이전트의 성능이 높아도 평가 집합이 훈련·메모리·검색에 들어 있었다면 일반화 근거가 약합니다. 실패를 기억한 시스템과 기억하지 않은 기준선을 비교할 때 평가 경험 노출을 같은 축으로 기록해야 합니다. 원격 모델이나 도구가 업데이트되면 결정론적 재생과 운영 지연이 달라집니다. 사람 개입이 성공을 만들었다면 자율 성공으로 합치지 않습니다.
제8장에 넘길 인터페이스는 자유 형식 대화 기록이 아닙니다. agent_version, 권한표, 기술·도구 허용 목록, 계획·메모리·검색·코드 버전, 과제·로봇·데이터 노출, 일반화 축, 계획/호출/거부/복구 분모, 지연 분포, 안전하지 않은 제안, 사람 개입, 힘·정지 사건, 오염 감사, 실패 묶음과 되돌리기 튜플을 넘깁니다. 평가자는 계획기와 독립된 센서·성공 정의로 이 기록을 확인해야 합니다.
다음에 배울 것
제8장은 “잘 작동하는 데모”를 “믿을 수 있는 일반성”과 분리합니다. 이 장의 권한표, 기술 호출 스키마, 실패·복구 상태 기계는 평가 대상이 됩니다. 다음 장에서는 같은 과제 안의 변화, 새 물체·장면·지시, 새 로봇 형태와 긴 지평선을 분리하고, 오염·개입·지연·복구·안전·운영 비용을 독립 평가 카드에 기록합니다.
보충 근거 지도
다음 묶음은 독립 S13 원장에서 이 장과 연결된 검증 원 자료다. 기존 주장과 분모를 바꾸지 않고 탐색 범위만 명시한다.
- 시범·증강: ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback, DeformPAM: Data-Efficient Learning for Long-horizon Deformable Object Manipulation via Preference-based Action Alignment, Semantically Controllable Augmentations for Generalizable Robot Learning, Learning Robotic Manipulation Policies from Point Clouds with Conditional Flow Matching — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
- 불확실성·회복: Interactive Multi-Robot Flocking with Gesture Responsiveness and Musical Accompaniment, Partially Observable Task and Motion Planning with Uncertainty and Risk Awareness, RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
- 장기 기술 구성: Local Policies Enable Zero-shot Long-horizon Manipulation, Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy, SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
참고문헌
- Brooks, R. A. (1986). A Robust Layered Control System for a Mobile Robot. IEEE Journal on Robotics and Automation. DOI:10.1109/JRA.1986.1087032.
- Kaelbling, L. P., & Lozano-Pérez, T. (2011). Hierarchical Task and Motion Planning in the Now. IEEE ICRA. arXiv:1011.0010.
- Paxton, C., Hundt, A., Jonathan, F., Guerin, K., & Hager, G. D. (2017). CoSTAR: Instructing Collaborative Robots with Behavior Trees and Vision. IEEE ICRA. arXiv:1611.06145.
- Colledanchise, M., & Ögren, P. (2018). Behavior Trees in Robotics and AI: An Introduction. CRC Press. arXiv:1709.00084.
- Garrett, C. R., Lozano-Pérez, T., & Kaelbling, L. P. (2018). FFRob: Leveraging Symbolic Planning for Efficient Task and Motion Planning. International Journal of Robotics Research. arXiv:1608.01335.
- Garrett, C. R., et al. (2021). Integrated Task and Motion Planning. Annual Review of Control, Robotics, and Autonomous Systems. arXiv:2010.01083.
- Mehmood, U., Sheikhi, S., Bak, S., Smolka, S. A., & Stoller, S. D. (2022). The Black-Box Simplex Architecture for Runtime Assurance of Autonomous CPS. NASA Formal Methods. DOI: 10.1007/978-3-031-06773-0_12. arXiv:2102.12981.
- Ahn, M., et al. (2022). Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. CoRL. arXiv:2204.01691.
- Huang, W., et al. (2022). Inner Monologue: Embodied Reasoning through Planning with Language Models. CoRL. arXiv:2207.05608.
- Raman, S. S., et al. (2022). ProgPrompt: Generating Situated Robot Task Plans using Large Language Models. arXiv:2209.11302.
- Schick, T., et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS. arXiv:2302.04761.
- Liang, J., et al. (2023). Code as Policies: Language Model Programs for Embodied Control. IEEE ICRA. arXiv:2209.07753.
- Chen, Y., Ding, Y., Branicky, M. S., & Zhang, Z. (2023). AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers. IEEE ICRA / arXiv. arXiv:2306.06531.
- Ding, Y., Zhang, X., Paxton, C., & Zhang, S. (2023). Task and Motion Planning with Large Language Models for Object Rearrangement. IEEE/RSJ IROS. arXiv:2303.06247.
- Liu, Z., Majumdar, A., Savarese, S., & Fragkiadaki, K. (2023). REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction. CoRL. arXiv:2306.15724.
- Rana, K., et al. (2023). SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning. CoRL. arXiv:2307.06135.
- Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR. arXiv:2210.03629.
- Ahn, M., et al. (2024). AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents. arXiv:2401.12963v2.
- Shah, R., Yu, A., Zhu, Y., Zhu, Y., & Martín-Martín, R. (2024). BUMBLE: Unifying Reasoning and Acting with Vision-Language Models for Building-wide Mobile Manipulation. arXiv:2410.06237v1.
- Shaji, S., Huppertz, F., Mitrevski, A., & Houben, S. (2026). From Language to Action: Can LLM-Based Agents Be Used for Embodied Robot Cognition?. arXiv:2603.03148v1.
- Chen, S., et al. (2024). ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback. arXiv primary preprint (2024-10-11). arXiv:2410.08464.
- Chen, W., et al. (2024). DeformPAM: Data-Efficient Learning for Long-horizon Deformable Object Manipulation via Preference-based Action Alignment. arXiv primary preprint (2024-10-15). arXiv:2410.11584.
- Chen, Z., et al. (2024). Semantically Controllable Augmentations for Generalizable Robot Learning. arXiv primary preprint (2024-09-02). arXiv:2409.00951.
- Chisari, E., et al. (2024). Learning Robotic Manipulation Policies from Point Clouds with Conditional Flow Matching. arXiv primary preprint (2024-09-11). arXiv:2409.07343.
- Cuan, C., et al. (2024). Interactive Multi-Robot Flocking with Gesture Responsiveness and Musical Accompaniment. arXiv primary preprint (2024-03-30). arXiv:2404.00442.
- Curtis, A., et al. (2024). Partially Observable Task and Motion Planning with Uncertainty and Risk Awareness. arXiv primary preprint (2024-03-15). arXiv:2403.10454.
- Dai, Y., et al. (2024). RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning. arXiv primary preprint (2024-09-23). arXiv:2409.14674.
- Dalal, M., et al. (2024). Local Policies Enable Zero-shot Long-horizon Manipulation. arXiv primary preprint (2024-10-29). arXiv:2410.22332.
- Garcia, R., et al. (2024). Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy. arXiv primary preprint (2024-10-02). arXiv:2410.01345.
- Garrett, C., et al. (2024). SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment. 2024 Conference on Robot Learning (CoRL). arXiv:2410.18907.