Chapter 6: 미래를 예측해 계획하는가 — 세계 모델, 영상·행동 예측과 정책 결합

개요

세계 모델(world model)은 로봇이 어떤 행동 뒤의 미래를 실제 실행 전에 가늠하게 합니다. 그러나 “미래를 예측한다”는 말에는 서로 다른 일이 섞여 있습니다. 카메라 영상을 생성하는 일, 압축된 상태가 어떻게 변하는지 추정하는 일, 행동 후보를 순위화하는 일, 보상(reward)이나 가치(value)·실패 가능성을 예상하는 일, 상상한 전이로 정책을 학습하는 일은 입력·출력·오류와 검증법이 다릅니다. 하나의 역할에서 얻은 근거는 다른 역할의 성능이나 안전을 자동으로 입증하지 않습니다.

S11에서 물려받는 것은 실제 셀의 카메라와 촉각·힘 센서, 시계, 좌표계, 보정, 제어기, 충돌·힘 한계, 감시 장치, 보호 정지, 비상 정지와 사람 책임자입니다. S12에서 물려받는 것은 버전형 과제·기술 API, 실행 가능성 투영, 계획기와 접촉 제어기, proposal → projected → sent → accepted/executed 계보, 독립 평가기, 증거 단계와 전체 되돌리기 튜플입니다. 제5장은 언어와 장면을 목표 상태·기술 전제 조건으로 바꿨습니다. 이 장의 새 질문은 그 계약 아래에서 예측을 어디에 쓸 때 실제 폐루프(closed-loop) 이득이 생기며, 예측된 미래가 물리 명령으로 오인되지 않게 어떤 승인을 거쳐야 하는가입니다.

이 장을 읽고 나면... - 잠재 동역학(latent dynamics), 영상 예측, 행동 조건부 예측(action-conditioned prediction), 보상·가치·불확실성 모델의 책임을 구분할 수 있습니다. - 계획, 후보 순위화, 자료 생성, 실패 예측과 정책 학습 중 필요한 역할을 같은 축의 선택표로 고를 수 있습니다. - 접촉, 가림, 긴 지평선, 환각과 제어기-동역학 불일치(controller–dynamics mismatch)를 별도 오류로 진단할 수 있습니다. - 예측 품질, 불확실성 품질, 폐루프 과제 이득과 안전 관문 통과를 서로 다른 지표로 기록할 수 있습니다. - 탁상형 조립을 위한 예측→후보→투영→사람 승인→제한 실행 파이프라인을 만들 수 있습니다.

실험 질문은 다음과 같습니다. 동일한 탁상 조립 과제, 초기 상태 분포, 관측·행동 의미, 기술 API, 제어기, 평가기와 안전 한계를 고정했을 때, 세계 모델을 추가하면 고전 기준선이나 S12 정책보다 잘못된 후보와 물리 노출을 줄이면서 폐루프 성공과 복구를 개선하는가? 그 이득은 재생·시뮬레이션·그림자 실행·제한된 실제 시험 중 어디에서 확인됐는가?

1. 정신 모형: 예측기는 후보를 만들고, 실행 계약은 승인한다

세계 모델을 “로봇 안의 시뮬레이터”라고 부르면 너무 많은 책임이 숨습니다. 모델이 예측하는 것은 센서 전체가 아니라 선택된 표현이며, 그 표현은 마찰, 공차, 케이블 탄성, 제어 지연과 가려진 접촉 상태를 버릴 수 있습니다. 모델이 평가한 행동열도 아직 기술 호출이나 제어기 기준값이 아닙니다. 이 장에서는 예측의 권한을 후보 생성과 비교에서 멈춥니다.

버전형 목표 상태 + 최신 관측 + 허용 기술 후보
                     ↓
          세계 모델의 조건부 전개
       영상 | 잠재 상태 | 접촉 | 보상/가치 | 실패 확률
                     ↓
       후보별 예측·비용·불확실성 기록
                     ↓ 독립 목적·최신성·근거 검사
              순위화된 후보 묶음
                     ↓
기술 API 스키마 → IK/계획 → 제약 투영 → 충돌/힘/마감 검사
                     ↓
 그림자 실행 → 사람 검토 제한 시험 → accepted/executed

모든 단계와 독립: 평가기 · 감시 장치 · 보호 정지 · 비상 정지 · 사람 권한

예측기는 “이 후보가 다른 후보보다 목표 상태에 가까워 보인다”라고 말할 수 있습니다. 실행 계층만 “이 로봇·이 보정·이 제어기·이 시각에서 이 후보를 보낼 수 있다”를 판단합니다. 모델이 높은 성공 확률을 출력해도 충돌 여유, 힘 제한, 관측 나이, 명령 마감 또는 사람 승인이 실패하면 출력은 rejected입니다. 반대로 불확실성이 높다는 이유만으로 비상 정지를 해제하거나 안전 경계를 바꾸지 않습니다.

세계 모델은 잠재 상태 전이, 영상 예측, 후보 순위화, 합성 전이 생성, 보상·가치 추정과 정책 학습에서 서로 다른 역할을 맡을 수 있습니다 ^{[1] [10] [14]}. Dyna는 실제 경험과 모델이 만든 경험을 학습·계획에 함께 쓰는 구조를 제시했고, World Models는 압축 표현과 순환 전이 안에서 제어기를 훈련했으며, Dreamer는 상상한 잠재 전개로 행위자와 비평자를 학습했습니다. 이 근거는 역할의 가능성을 보여줄 뿐, 한 역할의 성공이 다른 역할이나 접촉 조립의 안전을 검증하지는 않습니다. 세 연구의 주된 근거 단계도 단순·게임형 시뮬레이션이므로 실제 셀의 센서 표류와 접촉 불연속을 입증하지 않습니다.

2. 무엇을 예측할 것인가: 세계 모델 사용 선택표

모델 선택은 이름이나 매개변수 수가 아니라 의사결정에 필요한 충분한 통계량에서 시작합니다. 자유 공간 운반의 충돌 여유를 고르려면 물체·로봇 기하와 시간 정렬이 중요합니다. 삽입 전 정지에서 후보를 고르려면 부품 자세뿐 아니라 접촉 모드와 힘의 방향이 중요합니다. 영상이 선명해도 이 변수들이 빠지면 계획에는 쓸모가 없을 수 있습니다.

영상 예측은 장면을 사람이 감사하기 쉽지만, 가능한 여러 미래를 평균내면 물체가 흐려집니다 ^[5]. 잠재 예측은 계산량을 줄이고 정책 학습에 편리하지만, 무엇이 보존됐는지 확인하기 어렵습니다 ^[10]. 상태 예측은 기하 관문과 직접 연결되지만, 상태 추정기에서 누락된 가림·변형을 복구하지 못합니다. 접촉 예측은 삽입에 가까운 신호를 주지만 센서 배치와 재질 변화에 민감합니다. 이들은 우열 순위가 아니라 서로 다른 누락을 가진 계측 선택입니다.

2.1 다섯 가지 사용 경로를 분리한다

계획 경로는 행동열을 전개해 비용이 낮은 후보를 찾고 첫 구간만 실행한 뒤 다시 관측합니다. 후보 순위화 경로는 VLA나 기술 계획기가 낸 소수 후보를 비교하되 새 행동을 생성하지 않을 수도 있습니다. 자료 생성 경로는 모델 안의 전이를 재생 버퍼에 추가하지만, 합성 자료에 synthetic=true, 생성 모델 버전과 실제 자료 비율을 남겨야 합니다. 실패 예측 경로는 접촉 이상, 가림 후 객체 소실, 마감 초과 같은 위험을 조기에 표시합니다. 정책 학습 경로는 상상 전개로 가치나 정책을 갱신하되, 실제 평가와 독립된 모델 안의 수익을 실제 성공으로 보고하지 않습니다.

Dyna의 핵심은 모델 학습과 정책·가치 갱신이 실경험을 중심으로 되먹임된다는 점입니다 ^[1]. Dreamer 계열은 잠재 상상을 통해 행위자-비평자를 학습하는 다른 경로입니다 ^[14]. 신경 동역학과 MPC 뒤에 모델 프리 미세조정을 붙인 연구는 두 경로를 결합할 수 있음을 보이지만, 후속 정책이 계획기의 제약을 자동으로 상속하는 것은 아닙니다 ^[11]. 자료 생성, 계획, 정책 학습을 하나의 “세계 모델 성능”으로 합치면 어느 경로가 이득과 오류를 만들었는지 잃습니다.

3. 폐루프 계획: 선명한 미래보다 올바른 재계획

모델 예측 제어(model predictive control, MPC)는 현재 관측에서 유한 지평선 행동열을 비교하고, 일부만 적용한 뒤 새 관측으로 다시 풉니다. 재계획은 긴 예측의 오차를 줄이는 장치이지 없애는 장치가 아닙니다. 카메라 프레임이 늦거나 명령 대기열이 쌓이면 새로 푼 계획도 낡은 상태에서 출발할 수 있습니다. 따라서 사건 시각, 도착 시각, 추론 시작·종료, 명령 유효 시각을 같은 기록에 넣어야 합니다.

교차 엔트로피 방법(cross-entropy method, CEM)은 많은 행동열을 표본화하고 좋은 집합에 분포를 맞춰 반복적으로 후보를 좁힙니다. 표본 기반 경로 적분 제어도 전개 비용으로 행동 잡음을 가중해 첫 제어를 갱신합니다 ^[7]. 두 방법 모두 미분 가능한 모델을 요구하지 않는 장점이 있지만, 후보 수×지평선×모델 집합 크기만큼 계산이 커지고 실시간 마감을 넘길 수 있습니다. 예측 품질뿐 아니라 planning_latency_p95, 마감 초과율과 오래된 후보 폐기율을 측정해야 합니다.

Visual Foresight는 행동 조건부 영상 예측과 픽셀 목표를 이용해 실제 로봇의 짧은 상호작용을 계획하는 경로를 보여주었습니다 ^{[6] [9]}. 그러나 픽셀 목표는 부품이 올바른 홈에 물리적으로 삽입됐는지, 금지 물체와 접촉하지 않았는지, 힘이 한계 안이었는지를 완전히 표현하지 않습니다. 가림에서는 목표 픽셀이 사라지고, 여러 가능한 접촉 미래를 평균낸 영상은 계획기에게 잘못된 완만한 비용면을 줄 수 있습니다.

더 선명하거나 평균 예측 오차가 낮은 미래가 폐루프 과제 성공을 반드시 높이는 것은 아닙니다 ^{[6] [9]}. 두 연구는 서로 다른 로봇·예측 목적·조작 조건을 사용하므로 직접 순위화할 수 없지만, 공통으로 계획에 필요한 것은 모든 픽셀의 사실적 재현보다 행동 후보 사이의 올바른 상대 비용과 재계획 가능한 상태 정보임을 보여줍니다. 로컬 조립에서는 영상 손실과 함께 목표 술어 오차, 후보 순위 상관, 선택 후 성공, 접촉·힘 사건을 별도로 검사해야 합니다.

이 원칙은 경로 지시를 내는 상위 모델에도 적용됩니다. HAMSTER는 고수준 2차원 경로와 저수준 정책을 분리하지만, 2차원 경로는 힘이나 회전을 충분히 전달하지 못합니다 ^[19]. 따라서 “그럴듯한 경로”는 접촉 기술의 입력 계약으로 투영돼야 하며, 투영 불가능하면 후보를 버립니다. S12의 확산 정책처럼 행동 묶음의 앞부분만 실행하고 재계획하는 방식도 시간 경계를 다루는 참고점이지만, 세계 모델의 관측 표현과 행동 의미가 그 정책과 일치해야 합니다 ^[17].

4. 불확실성은 질문 신호이지 안전 인증서가 아니다

확률 동역학은 하나의 다음 상태 대신 분포를 예측합니다. PILCO는 가우시안 과정 동역학과 장기 비용 전파를 이용해 자료 효율적인 정책 탐색을 구성했지만, 고차원 영상과 대규모 자료에 그대로 확장하기 어렵고 가우시안 근사는 다봉 접촉 결과를 놓칠 수 있습니다 ^[3]. PETS는 확률 신경망 집합과 궤적 표본화를 결합해 모델 불일치와 과정 잡음을 다루지만, 모델 집합의 불일치가 곧 보정된 실패 확률은 아닙니다 ^[8].

불확실성(uncertainty)은 최소 세 갈래로 기록해야 합니다. 관측 잡음이나 접촉의 본질적 다양성은 자료가 늘어도 남을 수 있습니다. 학습 자료 부족에서 오는 모델 불확실성은 추가 자료로 줄 수 있습니다. 마지막으로 분포 이동(distribution shift)은 새 치구, 반사, 가림, 센서 교체, 마찰 변화처럼 훈련 범위를 벗어난 상태입니다. 모델 하나의 분산, 모델 집합의 불일치, 잠재 거리와 입력 밀도는 서로 다른 대리값이며 같은 척도로 합치지 않습니다.

확률 동역학과 모델 집합은 행동 후보를 보수적으로 고르거나 재관측을 요청하는 데 쓸 수 있지만, 그 불확실성은 평가한 분포와 오류 정의에 조건부이며 독립 안전 인증이 아닙니다 ^{[3] [8] [12]}. 자료 이동 아래에서 보정이 나빠질 수 있다는 분류 연구의 반례는 순차 접촉 제어를 직접 검증하지는 않지만, 훈련 내 보정 곡선을 새 셀의 안전 확률로 옮기면 안 된다는 경고입니다. 충돌·힘 관문, 감시 장치와 정지 권한은 모델 점수 밖에 둡니다.

실험에서는 coverage만 보고 낮은 불확실성 샘플의 정확도를 자랑하지 않습니다. 임계값을 높일 때 잘못 승인한 후보, 불필요하게 거부한 후보, 사람에게 넘긴 비율, 이동 유형별 보정 오차와 실제 사고 선행 시간을 함께 봅니다. 모델이 확신했지만 틀린 사례를 별도 집합으로 보존하고, 그 집합이 업데이트 뒤 사라졌는지 새 실패로 바뀌었는지 확인합니다.

5. 탁상형 조립 관통 실험: 예측→실행 승인 파이프라인

관통 과제는 부품·치구 인식, 파지, 충돌 없는 운반, 접촉 전 정지, 제한된 배치·삽입, 실패 감지와 후퇴·재시도·사람 요청·중단으로 고정합니다. 이번 장에서는 새 물체·배치·가림과 여러 기술 순서가 추가됩니다. 비교의 핵심은 세계 모델만 바꾸고 목표, 초기 분포, 카메라·보정, 기술·행동 의미, 제어기, 충돌·힘 제한, 평가 분모와 복구 규칙을 유지하는 것입니다.

5.1 사례: 가려진 홈 브래킷 삽입

1. 계약을 고정합니다. task@6.2, 장면·보정 세대, grasp@2.1, transport@3.0, precontact@1.4, insert@2.3, 제어기와 평가기 해시를 기록합니다. 하나라도 없으면 missing으로 두고 실제 시험을 닫습니다.
2. 관측을 동기화합니다. 장면 카메라, 손목 카메라, 관절, 그리퍼, 힘·토크의 사건·도착 시각과 사용 시각을 저장합니다. 허용 나이를 넘은 관측은 모델 입력 전 거부합니다.
3. 후보를 만듭니다. 고전 계획기, S12 정책 또는 VLA가 서로 다른 사전 접촉 자세·삽입 속도·재관측 행동을 제안합니다. 각 후보는 같은 행동 스키마와 지평선으로 변환됩니다.
4. 모델 안에서 전개합니다. 영상/잠재/접촉 모델이 각 후보의 목표 오차, 가림 후 객체 지속성, 예상 접촉 상태, 실패 유형과 불확실성을 출력합니다. 원 관측과 생성된 미래를 구분합니다.
5. 후보만 순위화합니다. 목적 함수 버전, 비용 구성, 모델별 점수, 불확실성 벌점, 무효 이유를 남깁니다. 상위 후보가 자동 송신되지는 않습니다.
6. 독립 실행 관문을 통과합니다. 기술 스키마, 전제 조건, IK, 충돌, 제약 투영, 힘·속도, 마감, 대기열과 사람 승인 순서로 검사합니다. 원 후보와 투영 결과의 차이를 기록합니다.
7. 단계별로 승격합니다. 보류 분할 재생, 오프라인 순위 평가, 시뮬레이션, 그림자 실행, 사람이 검토한 저속 제한 시험 순서로 근거를 쌓습니다. 각 단계는 별도 분모와 영수증을 갖습니다.
8. 결과로 모델을 반증합니다. 실행 뒤 평가기 판정, 접촉·힘 사건, 개입, 후퇴, 재시도와 사람 인계를 예측과 맞춥니다. 예측이 틀렸다면 성공 영상으로 덮지 않고 실패 묶음에 추가합니다.

탁상형 조립에서 예측된 결과는 후보를 순위화할 뿐이며, 기존의 기술 스키마·실행 가능성 투영·제어기·충돌/힘·정지·사람 관문이 실제 실행을 결정합니다 ^{[20] [23] [16]}. World4RL은 고정 자료로 세계 모델을 학습하고 상상 전개에서 정책을 개선한 뒤 Meta-World와 실제 Franka 6개 과제에서 평가하며, 실제 과제마다 20회 실행을 보고합니다. STORM은 SimplerEnv의 WidowX 시뮬레이션 4개 과제에서 과제마다 24개 절차 변형을 평가하며 생성 미래를 탐색 기반 후보 선택에 사용합니다. 어느 결과도 로컬 탁상형 실물 스택 전체를 검증하지 않습니다. 예측 안전 필터는 명시된 동역학과 백업 가능성 아래에서 제안을 수정하는 수학적 경로를 제공하지만, 모델 오차나 최적화 지연이 실제 고속 제어의 안전을 대신하지 않습니다. 이 승인 파이프라인은 이 근거들을 S13 계약에 연결한 종합이지, 어느 논문이 실행 권한 이전을 입증했다는 주장이 아닙니다.

5.2 승인 상태와 실패 출력

예측 서비스는 projected 이후 상태를 스스로 쓸 수 없습니다. 동일한 식별자를 덮어쓰지 않고 prediction_id, proposal_id, projection_id, command_id, execution_id를 연결합니다. 보호 정지나 비상 정지 뒤에는 모델이 “복구 가능”이라고 예측해도 사람이 규정된 재연결 절차를 완료하기 전까지 닫힌 상태를 유지합니다.

6. 접촉·가림·긴 지평선에서 무엇이 깨지는가

6.1 접촉 불연속과 제어기-동역학 불일치

자유 공간에서는 작은 상태 오차가 작은 위치 오차로 이어질 수 있지만, 삽입에서는 수백 마이크로미터의 자세 차이가 자유 이동, 모서리 접촉, 걸림을 바꿀 수 있습니다. 카메라 기반 모델은 같은 영상을 서로 다른 힘 상태로 해석할 수 있습니다. 모델의 행동이 말단 자세 증분인데 실제 제어기가 필터링된 관절 기준이나 임피던스 명령을 받는다면, 학습한 전이는 실제 폐루프와 다릅니다. 포화, 속도 제한, 대기열, 통신 지연, 그리퍼 내부 제어와 접촉 제어기의 적분 상태를 빼면 예측은 “제안된 행동”의 미래이지 “실행된 행동”의 미래가 아닙니다.

이 불일치는 proposed_action, projected_action, sent_command, accepted_command, executed_state를 함께 학습·평가해야 보입니다. 모델 입력에 제어 모드와 제어기 버전을 넣고, 후보 전개에는 투영 뒤 행동을 사용합니다. 실제 명령이 모델 행동과 다르면 그 구간을 조용히 훈련 자료에 넣지 말고 controller_mismatch로 표시합니다.

6.2 가림과 객체 지속성

손목 카메라가 부품을 가리거나 삽입 중 소켓이 보이지 않을 때 영상 생성기는 그럴듯한 물체를 계속 그릴 수 있습니다. 이것은 환각(hallucination)이며, 숨은 상태에 대한 관측 근거가 생긴 것이 아닙니다. 장면 카메라, 촉각, 관절·그리퍼 상태와 마지막 확인 시각을 결합하더라도 observed, inferred, predicted를 구분해야 합니다. 목표 물체의 신원이 가림 전후에 바뀌거나 예측 공분산이 한계를 넘으면 재관측·후퇴·사람 요청으로 전환합니다.

RoboNet은 여러 기관·로봇의 행동 조건부 영상을 모아 예측 기반 조작의 자료 폭을 넓혔지만, 카메라와 행동 공간의 형태별 변환이 필요하고 자료가 짧은 밀기 상호작용에 치우쳤습니다 ^[13]. 새 물체와 몇 개의 경험을 조건으로 삼는 시각 예측은 빠른 적응 경로를 보여주지만, 먼저 안전한 상호작용 자료를 얻어야 하고 삽입이나 다기술 복구를 검증하지 않습니다 ^[15]. 다양성이 가림 뒤 접촉 진실을 자동으로 제공하지는 않습니다.

6.3 긴 지평선과 자기 강화 오류

한 단계 편향이 다음 단계 입력이 되어 지평선마다 누적됩니다. 정책이 모델의 약점을 찾아 실제로는 불가능한 높은 보상 미래를 고르면 오류는 더 커집니다. 이를 줄이기 위해 짧은 지평선, 실제 관측으로의 빈번한 재설정, 모델 집합의 불일치 벌점, 말단 가치의 보수성, 허용된 기술 경계와 백업 정책을 사용합니다. 그러나 이 장치들은 안전 증명이 아니라 오류 노출을 줄이는 실험 설계입니다.

장기 과제는 전체 영상을 한 번에 예측하는 대신 파지 완료, 접촉 전 자세, 삽입 확인 같은 기술 경계에서 상태를 다시 판정할 수 있습니다. 물체-행동-효과의 확률 모델은 제한된 어휘에서 효과를 예측하는 초기 구조를 보여주지만, 학습한 상관이 충돌·힘 실행 가능성을 보장하지 않습니다 ^[2]. 사람 활동 예측도 장면 반응의 단서를 주지만 닫힌 활동 어휘와 조립 전제 조건 사이의 간격이 남습니다 ^[4]. 긴 지평선은 더 큰 생성기보다 검증 가능한 중간 상태와 중단 지점을 먼저 요구합니다.

7. 근거를 같은 축에 놓고 읽는다

서로 다른 로봇·과제·자료·분모의 성공률을 한 순위표로 섞지 않습니다. 아래 표는 숫자 경쟁이 아니라 어떤 주장까지 허용되는지를 보여줍니다.

DayDreamer는 지정된 네발 로봇 기술을 약 1시간 안에 학습하고 변화에 약 10분 안에 적응한 사례를 보고합니다 ^[18]. 이는 실제 로봇에서 세계 모델 기반 온라인 학습이 가능하다는 근거지만, 과제와 형태가 탁상형 언어 지시 접촉 조립과 다르고 탐색 자체가 물리 노출을 만듭니다. 따라서 이 시간 수치를 조립 적응 예산이나 안전성으로 옮기지 않으며, 동일한 초기화·개입·힘 사건·중단 분모를 새로 측정해야 합니다.

2026년 ContactWorld 사전 공개본은 계획 성공률을 손목 시각 20.7%, 전면 시각 22.0%, 점군 32.1%, 점군과 촉각 힘장 결합 36.1%로 보고합니다 ^[25]. 이 수치는 해당 연구의 오프라인 계획 설정과 표 S3.T1 안에서만 비교할 수 있으며, 접촉 감각이 표현 선택에 영향을 줄 수 있다는 과제 특정 근거입니다. 최근 사전 공개본은 독립 재현되지 않았고 S13 기본 탁상 셀의 실제 제한 실행, 지연·개입·힘 사건·안전 권한을 검증하지 않았으므로 일반 우월성이나 출시 근거로 쓰지 않습니다.

RoDyn은 2.5차원 상호작용 표현이라는 연구 경로를 제안하지만 서로 다른 로봇 형태와 행동 공간으로의 확장은 미해결로 남깁니다 ^[22]. World4RL은 확산 세계 모델을 정책 개선에 연결하고 ^[20], STORM은 생성 미래를 탐색에 연결하지만 ^[23], 두 사전 공개본의 서로 다른 설정과 보고 수치를 한 순위로 합칠 수 없습니다. 공식 자료에 훈련·평가 중복이 명시되지 않았다면 오염 여부도 unknown으로 남깁니다.

8. 실패 증상에서 원인으로 가는 진단 순서

진단은 모델 재학습부터 시작하지 않습니다. 먼저 과제·관측·행동·제어기 버전이 맞는지, 실제 실행 행동이 기록됐는지, 평가 분모가 변하지 않았는지 확인합니다. 그다음 한 단계 예측, 다단계 전개, 후보 순위, 폐루프 결과 순으로 오류가 처음 나타난 경계를 찾습니다. 원인이 not measured라면 더 큰 모델로 메우지 않고 계측 시험을 추가합니다.

실패를 파지와 후속 계획으로 나눠 귀속하려는 최신 폐루프 연구는 결합 오류를 한 점수로 뭉개지 말아야 한다는 유용한 방향을 제시합니다 ^[24]. 상호작용으로 객체 이해를 갱신하는 경로도 정적 자료의 빈칸을 겨냥하지만, 실제 탐색 비용과 시뮬레이션 차이는 남습니다 ^[21]. 이러한 연구는 로컬 실패 분류 설계의 후보이지 완성된 안전·운영 계약이 아닙니다.

9. 최소 재현 작업 흐름과 검증 관문

관문 W0 — 계약 준비

• 과제·초기 분포·목표 술어·제외 규칙을 고정합니다.
• 관측·행동·기술·제어기·보정·평가기·안전 장치 버전을 기록합니다.
• 오래된 관측·명령, 재연결, 보호 정지와 사람 승인의 의미를 시험합니다.
• 누락 값은 missing, 미측정은 not measured, 미실행은 not exercised, 비호환은 incompatible로 남깁니다.

관문 W1 — 예측 자체

• 보류 분할에서 한 단계·다단계 상태/영상/접촉 오차를 측정합니다.
• 가림, 새 물체, 새 배치, 마찰·조명·보정 이동을 따로 나눕니다.
• 평균뿐 아니라 p95, 최악 집합, 실패 유형별 오류와 보정 곡선을 저장합니다.
• 목표 술어를 예측하지 못하면 계획 실험으로 승격하지 않습니다.

관문 W2 — 후보 순위

• 고정 후보 묶음에서 실제 결과 순위와 모델 순위의 일치, 상위 선택 후회를 측정합니다.
• 고전 비용·S12 정책 점수와 비교하고 동일한 후보·분모를 사용합니다.
• 기준선보다 낫지 않거나 지연 예산을 넘으면 no_better_than_baseline으로 닫습니다.

관문 W3 — 폐루프 비송신 시험

• 기록 재생과 시뮬레이션 뒤 실제 센서 스트림의 그림자 실행을 수행합니다.
• 후보는 계산하지만 로봇 드라이버에 보내지 않습니다.
• 관측 나이, 계획 p50/p95/최대, 오래된 후보 폐기와 독립 관문의 예상 거부를 기록합니다.

관문 W4 — 사람이 검토한 제한 시험

• 소수의 알려진 초기 상태, 낮은 속도·힘, 명시된 중단 조건에서만 실행합니다.
• 매 회차 사람이 시험 카드를 승인하고, 감시 장치·보호 정지·비상 정지는 독립 유지합니다.
• 한 번의 성공 영상이 아니라 전체 회차의 성공·개입·힘 사건·후퇴·복구·사람 인계 분모를 기록합니다.
• 안정된 실패가 생기면 정확한 모델·자료·정규화·과제·기술·제어기·보정·평가기 튜플로 되돌립니다.

예측 안전 필터는 학습 제안을 제약 안의 백업 가능한 행동으로 수정하는 중요한 설계 원리지만, 명시된 모델과 계산 마감에 의존합니다 ^[16]. 따라서 W4에서도 필터 통과는 충돌·힘 감시나 사람 승인을 대체하지 않고 하나의 투영 근거로만 기록합니다.

10. 제조 셀 적용 체크포인트

필수 산출물은 world_model_card, observation_action_schema, prediction_dataset_manifest, prediction_eval, calibration_report, candidate_rank_trace, planner_timing, proposal_execution_lineage, failure_attribution, shadow_report, limited_trial_card, world_model_receipt입니다. 각 레코드는 원 관측과 예측, 실제와 합성, 제안과 투영·송신·실행을 명시적으로 구분해야 합니다.

10.1 지표를 세 층으로 나눈다

예측 층에는 상태·영상·접촉의 한 단계와 지평선별 오차, 객체 지속성, 목표 술어 정확도, 음의 로그 가능도, 보정 오차를 둡니다. 의사결정 층에는 후보 순위 상관, 상위 선택 후회, 기준선 대비 선택 변화, 계획 시간과 마감 초과를 둡니다. 실행 층에는 폐루프 성공, 개입, 실행 불가능 제안, 힘·충돌 사건, 중단·후퇴·재시도·복구·사람 인계, 관측 나이와 실제 비용을 둡니다.

세 층의 수치를 하나의 종합 점수로 합치지 않습니다. 예측 오차가 좋아졌지만 실행 성공이 그대로면 세계 모델의 역할을 후보 시각화나 자료 진단으로 낮출 수 있습니다. 순위는 좋아졌지만 지연이 마감을 넘으면 오프라인 검토에만 남깁니다. 성공이 늘었지만 개입과 힘 사건도 늘었다면 승격하지 않습니다.

Terry의 전역 계획과 접촉을 함께 읽는 해설은 접촉 전 전역 후보와 접촉 중 실행을 구분하는 후속 읽기입니다. 이 링크는 독자 연결용이지 이 장의 주장 근거가 아닙니다.

11. Codex용 제한 구현 지시문

목표
- 기록된 탁상 조립 자료에서 세계 모델 역할을 한 가지씩 평가한다.
- 고정 후보의 미래·실패·불확실성을 예측하고 후보 순위 보고서를 만든다.
- 실제 명령이 아닌 prediction/ranked/projection-request 산출물만 만든다.

맥락
- S11 cell/sensor/clock/frame/calibration/controller/safety identities를 읽는다.
- S12 task/skill/action/projection/evaluator/rollback contracts를 읽는다.
- Ch5 grounded goal, object/part/relation, precondition, prohibition records를 고정한다.
- held-out replay, simulator, recorded shadow stream과 controller stub만 사용한다.

제약 조건
- robot driver, send_action, controller switch, force-limit change, stop reset을 호출하지 않는다.
- observed/inferred/predicted와 real/synthetic을 같은 필드에 쓰지 않는다.
- proposed/projected/sent/accepted-executed action ID를 합치지 않는다.
- missing/not measured/not exercised/incompatible를 생성값으로 채우지 않는다.
- 모델 불확실성을 안전 확률이나 인증으로 부르지 않는다.
- 서로 다른 robot/task/data/horizon/denominator의 성공률을 순위화하지 않는다.
- collision/force/watchdog/protective-stop/E-stop/human authority를 우회하지 않는다.

완료 조건
- world-model selection table과 typed prediction schema가 생성된다.
- one-step/multi-step, occlusion, contact, long-horizon, controller-mismatch 평가가 분리된다.
- fixed candidate set에서 rank correlation, top-choice regret, calibration, latency를 보고한다.
- prediction_id→proposal_id→projection_id 계보와 모든 reject reason이 보존된다.
- replay→simulation→shadow 증거가 별도 분모로 기록되고 hardware command count는 0이다.
- no-better-than-baseline, stale, OOD, infeasible 상태가 재현 가능하다.
- world_model_receipt가 exact input/model/objective/controller/evaluator tuple과 rollback을 가리킨다.

안전
- 산출물은 사람이 검토할 후보이며 실행 권한이 아니다.
- 제한 실제 시험은 이 작업 범위 밖이며 별도 승인 카드가 필요하다.
- 보호 정지, 비상 정지와 최종 승인은 독립 장치와 지정 사람에게 남긴다.

12. 반례, 열린 질문과 제7장으로 넘길 인터페이스

현재 근거는 “세계 모델이 완전한 탁상형 조립 스택을 검증했다”는 결론을 지지하지 않습니다. 표 상태에서 출발한 고전 구조는 영상·접촉으로 곧장 확장되지 않습니다. 가우시안 과정은 자료·차원이 커질수록 부담이 커지고, 가우시안 근사는 여러 접촉 모드를 놓칠 수 있습니다. 영상 모델은 흐리거나 그럴듯한 거짓 미래를 만들고, 잠재 모델은 목표에 필요한 변수를 버릴 수 있습니다. 모델 집합은 공통 편향을 공유하며, 긴 상상은 낙관적 가치를 만들 수 있습니다. 실제 온라인 학습은 자료 효율이 좋아도 하드웨어 노출을 없애지 않습니다.

아직 열린 질문은 세 가지입니다. 첫째, 시각·촉각·상태 가운데 어떤 조합이 특정 조립 공차에서 충분하면서도 마감 안에 계산되는가? 둘째, 새 물체·재질·가림에서 불확실성 대리값을 어떻게 보정하고, 공통 원인 실패를 공유하지 않는 평가기를 어떻게 둘 것인가? 셋째, 세계 모델의 이득이 후보 선택에서 끝나는지, 자료 생성이나 정책 학습까지 이어지는지 역할별로 어떤 실제 분모가 필요한가? 2025–2026년 사전 공개 연구는 이 질문의 후보 답을 제시하지만 독립 재현과 로컬 운영 근거가 더 필요합니다.

제7장에 넘길 것은 자유 형식 미래 영상이나 자동 실행 계획이 아닙니다. 버전형 세계 모델 카드, 허용된 입력·행동·지평선, 후보별 예측과 불확실성, 목적 함수, 거부 이유, 증거 단계, 기술 경계의 예측 완료·실패 상태, 실제 결과와의 잔차, 그리고 실행 권한이 없다는 명시적 표식입니다. 로봇 에이전트는 이 기록을 이용해 재관측, 다른 허용 기술, 사람 질문, 중단 가운데 하나를 제안할 수 있습니다.

다음 장은 이 후보를 장기 과제의 기술 호출, 메모리와 도구 사용에 연결합니다. 세계 모델이 미래를 제안해도 에이전트가 임의 코드를 실행하거나 비허용 기술을 만들 권한은 생기지 않습니다. 제7장의 핵심은 더 긴 상상이 아니라 버전형 기술 API와 실패·복구 상태 기계 안에서 누가 무엇을 제안하고 누가 승인하는지입니다.

다음에 배울 것

제7장에서는 계획, 메모리, 도구와 기술 API를 쓰는 로봇 에이전트의 권한을 나눕니다. 이 장의 ranked candidate, prediction residual, uncertainty, reject reason은 에이전트의 입력이 되고, 에이전트의 출력은 다시 제한된 기술 호출 후보가 됩니다. 독자는 세계 모델을 실행기가 아니라 반증 가능한 미래 후보 공급자로 유지한 채 장기 과제 구성과 복구를 배웁니다.

보충 근거 지도

다음 묶음은 독립 S13 원장에서 이 장과 연결된 검증 원 자료다. 기존 주장과 분모를 바꾸지 않고 탐색 범위만 명시한다.

• 접촉 세계 모델: Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation, ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation, OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation, TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 예측·강화학습: Act2Goal: From World Model To General Goal-conditioned Policy, RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing, DoughNet: A Visual Predictive Model for Topological Manipulation of Deformable Objects — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 생성 기반 폐루프: Reinforcement Learning Controllers for Soft Robots using Learned Environments, Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation, Closed-Loop Visuomotor Control with Generative Expectation for Robotic Manipulation — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.

참고문헌

1. Sutton, R. S. (1991). Dyna, an Integrated Architecture for Learning, Planning, and Reacting. ACM SIGART Bulletin.
2. Montesano, L., Lopes, M., Bernardino, A., & Santos-Victor, J. (2008). Learning Object-Action Complexes: A Probabilistic Generative Approach. IEEE Transactions on Robotics.
3. Deisenroth, M. P., & Rasmussen, C. E. (2011). PILCO: A Model-Based and Data-Efficient Approach to Policy Search. Artificial Intelligence.
4. Koppula, H. S., & Saxena, A. (2013). Anticipating Human Activities Using Object Affordances for Reactive Robotic Response. Robotics: Science and Systems. arXiv:1305.5461.
5. Finn, C., Goodfellow, I., & Levine, S. (2016). Unsupervised Learning for Physical Interaction through Video Prediction. NeurIPS. arXiv:1605.07157.
6. Finn, C., & Levine, S. (2017). Deep Visual Foresight for Planning Robot Motion. IEEE ICRA. arXiv:1610.00527; DOI:10.1109/ICRA.2017.7989324.
7. Williams, G., Aldrich, A., & Theodorou, E. (2017). Information-Theoretic Model Predictive Control: Theory and Applications to Autonomous Driving. IEEE Transactions on Robotics.
8. Chua, K., Calandra, R., McAllister, R., & Levine, S. (2018). Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models. NeurIPS. arXiv:1805.12114.
9. Ebert, F., Finn, C., Lee, A. X., & Levine, S. (2018). Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control. arXiv:1710.05268.
10. Ha, D., & Schmidhuber, J. (2018). World Models. arXiv:1803.10122.
11. Nagabandi, A., Kahn, G., Fearing, R., & Levine, S. (2018). Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning. IEEE ICRA. arXiv:1708.02596; DOI:10.1109/ICRA.2018.8463189.
12. Ovadia, Y., et al. (2019). Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift. NeurIPS. arXiv:1906.02530.
13. Dasari, S., et al. (2020). RoboNet: Large-Scale Multi-Robot Learning. CoRL. arXiv:1910.11215.
14. Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. ICLR. arXiv:1912.01603.
15. Yen-Chen, L., Bauza, M., & Isola, P. (2020). Experience-Embedded Visual Foresight. CoRL / PMLR 100.
16. Wabersich, K. P., & Zeilinger, M. N. (2021). A Predictive Safety Filter for Learning-Based Control of Constrained Nonlinear Dynamical Systems. Automatica. arXiv:1812.05506; DOI:10.1016/j.automatica.2020.109597.
17. Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. Robotics: Science and Systems. arXiv:2303.04137.
18. Wu, P., Escontrela, A., Hafner, D., Abbeel, P., & Goldberg, K. (2023). DayDreamer: World Models for Physical Robot Learning. CoRL / PMLR 205.
19. Li, Y., et al. (2025). HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation. arXiv:2502.05485.
20. Jiang, Z., et al. (2025). World4RL: Diffusion World Models for Policy Refinement with Reinforcement Learning for Robotic Manipulation. arXiv:2509.19080v2.
21. Peng, Y., et al. (2025). RoboSeek: You Need to Interact with Your Objects. arXiv:2509.17783.
22. Zhang, C., Wu, Z., Lu, G., Tang, Y., & Wang, Z. (2025). RoDyn: Taming Interactive Robot-Dynamic 2.5D World Model for Robotic Manipulation. arXiv:2510.09036.
23. Lin, W., Zhang, J., Cai, K., & Wang, K. (2025). STORM: Search-Guided Generative World Models for Robotic Manipulation. arXiv:2512.18477.
24. Xu, J., et al. (2026). Grasp-Then-Plan with Failure Attribution: A Closed Two-Stage Framework for Precise and Generalizable Robotic Manipulation. arXiv:2606.03385.
25. Zhang, Z., et al. (2026). ContactWorld: What Matters in Vision-Tactile World Models for Contact-Rich Manipulation. arXiv:2606.13877v1.
26. Sun, N., et al. (2026). Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation. arXiv primary preprint (2026-06-02). arXiv:2606.03784.
27. Wang, Y., et al. (2026). ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation. arXiv primary preprint (2026-06-21). arXiv:2606.22480.
28. Zheng, Y., et al. (2026). OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation. arXiv primary preprint (2026-03-19). arXiv:2603.19201.
29. Zheng, H., et al. (2026). TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation. arXiv primary preprint (2026-06-08). arXiv:2606.09337.
30. Zhou, P., et al. (2025). Act2Goal: From World Model To General Goal-conditioned Policy. arXiv primary preprint (2025-12-29). arXiv:2512.23541.
31. Ai, B., et al. (2024). RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing. arXiv primary preprint (2024-07-01). arXiv:2407.01418.
32. Bauer, D., et al. (2024). DoughNet: A Visual Predictive Model for Topological Manipulation of Deformable Objects. arXiv primary preprint (2024-04-18). arXiv:2404.12524.
33. Berdica, U., et al. (2024). Reinforcement Learning Controllers for Soft Robots using Learned Environments. 2024 IEEE 7th International Conference on Soft Robotics (RoboSoft), San Diego, CA, USA, 2024, pp. 933-939. arXiv:2410.18519.
34. Bharadhwaj, H., et al. (2024). Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation. arXiv primary preprint (2024-09-24). arXiv:2409.16283.
35. Bu, Q., et al. (2024). Closed-Loop Visuomotor Control with Generative Expectation for Robotic Manipulation. arXiv primary preprint (2024-09-13). arXiv:2409.09016.