제1부: 로봇 파운데이션 모델의 재료와 구조를 이해한다

Chapter 3: VLA는 어떻게 행동을 만드는가 — 모델 계열, 학습 목적과 정책 머리

집필일: 2026-07-16 최종수정일: 2026-07-16

개요

시각-언어-행동 모델(vision-language-action model, VLA)은 영상과 지시를 읽고 로봇 행동을 제안하는 정책 계열입니다. 그러나 “거대한 시각·언어 본체 뒤에 행동 출력만 붙인다”는 설명으로는 실제 구현을 판단할 수 없습니다. 카메라 이력과 로봇 상태를 어떻게 결합하는지, 어떤 자료와 목적함수로 어느 단계를 학습하는지, 한 번에 몇 동작을 제안하고 얼마만큼 실행하는지, 새 관측으로 언제 다시 닫는지가 모두 결과를 바꿉니다.

S11에서 물려받는 것은 검증된 물리 셀, 센서·시계·좌표계·보정, 제어기와 충돌·힘 한계, 감시 장치, 보호 정지, 비상 정지, 사람 책임자입니다. S12에서 물려받는 것은 버전이 지정된 과제와 기술 API, proposal → projected → sent → accepted/executed 기록, 실행 가능성 투영, 고전 기준선, BC·ACT·생성 정책 기준선, 독립 평가와 되돌리기 튜플입니다. 이 장의 새 질문은 이 기반을 그대로 둔 채 어떤 VLA 구성이 어떤 행동 후보를 만들며, 그 후보를 어떻게 조건 일치 비교하고 제한된 조립 실험으로 승격할 것인가입니다.

이 장을 읽고 나면... - VLA를 인코더·다중 양식 결합·정책 본체·행동 머리·실행기로 나눠 각 책임과 금지 권한을 설명할 수 있습니다. - 공동 학습, 사전학습, 후속 학습을 구분하고 로봇 자료가 각 단계에서 맡는 역할을 기록할 수 있습니다. - 자기회귀, 행동 묶음, 확산, 흐름 계열을 같은 행동 의미·지평선·폐루프·지연 축에서 비교할 수 있습니다. - S12의 BC·ACT·생성 정책과 VLA 행동 머리의 연속성 및 새 결합 요소를 구분할 수 있습니다. - 탁상형 조립에서 자유 공간과 접촉 단계를 나누고 모델 제안을 하위 안전 계약 안에서만 시험할 수 있습니다. - 성공률뿐 아니라 행동 나이, 거부, 개입, 힘 사건, 회복과 되돌리기 산출물을 남길 수 있습니다.

실험 질문은 다음과 같습니다. 같은 단일 팔·평행 그리퍼 셀, 같은 조립 부품·초기 상태 분포, 같은 관측·행동 의미와 하위 제어기를 고정했을 때, VLA의 언어·시각 사전학습과 행동 머리가 S12의 단순 정책보다 새 표현의 지시와 새 배치에서 측정 가능한 이득을 주며, 그 이득이 지연·거부·접촉 실패·운영 비용을 감당할 만큼 큰가?

1. 모델 하나가 아니라 책임 사슬로 읽는다

필요한 첫 분해는 인코더, 다중 양식 결합(multimodal fusion), 정책 본체, 행동 머리(action head), 실행기의 다섯 층입니다. 시각 인코더는 장면·손목 영상을 특징으로 바꾸고, 언어 인코더는 지시를 문맥으로 바꿉니다. 결합 층은 영상 패치, 언어 토큰, 고유감각 상태와 과거 관측이 서로 참조하도록 만듭니다. 정책 본체는 다음 행동에 필요한 문맥을 계산하고, 행동 머리는 그 문맥을 로봇의 명시적 행동 스키마로 변환합니다. 실행기는 후보의 좌표계·단위·시각·유효성을 검사하고 하위 투영기와 제어기로 넘깁니다.

VLA 비교는 본체, 학습 자료, 결합 방식, 목적함수, 행동 머리, 행동 지평선(action horizon), 폐루프 실행(closed-loop execution)을 분리해야 합니다 [2] [10] [14]. 공개 연구의 여러 비교는 이 요소를 한꺼번에 바꾸므로, 특정 머리의 효과로 귀속할 수 없는 경우가 많습니다. RT-2의 웹·로봇 공동 자료와 행동 토큰, Octo의 관측·과제 유연성과 확산 출력, 구조 비교 연구의 이산·연속 출력 실험은 서로 다른 질문을 답합니다. 이 자료를 하나의 성능 순위로 합치지 않습니다.

층 입력 출력 소유 책임 소유하지 않는 권한
시각·언어 인코더 장면/손목 영상, 지시, 버전 정보 특징·토큰 관측 변환, 마스크, 정규화 좌표 보정 승인, 충돌 판정
결합·정책 본체 특징, 로봇 상태, 이력 행동 조건 문맥 양식 간 연결, 시간 문맥 기술 전제 조건의 최종 판정
행동 머리 조건 문맥, 행동 스키마 한 동작 또는 동작열 후보 분포·토큰·연속값 예측 실행 가능성, 힘 한계
실행 어댑터 후보, 프레임·단위, 시각 정규화된 제안 역정규화, 최신성·형식 검사 임의 단위 추측, 결측 보간
S11·S12 하위 스택 검증된 제안 투영·송신·실행 기록 IK·계획·접촉 제어·감시·정지 모델에 안전 권한 위임

이 지도에서 “끝단까지 학습했다”는 말은 안전 권한의 끝단을 뜻하지 않습니다. 모델이 말단 자세, 관절 증분 또는 그리퍼 명령을 내더라도 그것은 시간 제한이 있는 후보입니다. 충돌 검사, 관절·속도·힘 제한, 오래된 명령 거부, 보호 정지와 사람 승인은 독립 구성요소가 계속 소유합니다. 모델 파일에 제어기 설정을 포함했다고 해서 그 설정이 셀의 승인된 설정이 되는 것도 아닙니다.

Figure 3.1: 시각·언어 인코더, 다중 양식 결합, 정책 본체와 행동 머리는 시간이 붙은 입력을 행동 후보로 바꾼다. 실행 어댑터가 스키마·단위·좌표계·보정·최신성을 검사한 뒤에도 IK·충돌 투영, 제어기, 독립 감시기, 정지와 사람 책임은 S11·S12 계약에 남는다. 도해: 저자 제작 결정론적 SVG

1.1 입력과 출력 계약을 먼저 고정한다

입력 계약에는 카메라 이름·해상도·노출, 이미지의 사건 시각과 도착 시각, 로봇 상태의 시각, 좌표계 트리, 보정 해시, 지시 문자열, 과제 단계, 이전 동작의 실행 결과가 들어갑니다. 학습 때 세 장의 영상 이력을 보던 모델에 배포 때 한 장만 주거나, 손목 카메라의 좌우 반전을 조용히 보정하면 같은 모델을 시험한 것이 아닙니다. 결측 관측은 영벡터로 감추지 않고 missing으로 남겨 닫힌 관문을 기록합니다.

출력 계약은 더 엄격해야 합니다. 예를 들어 a_t=[\Delta x,\Delta y,\Delta z,\Delta r_x,\Delta r_y,\Delta r_z,g]라면 기준 프레임, 병진 단위, 회전 표현, 증분의 합성 순서, 그리퍼 부호, 적용 주기와 포화값을 명시합니다. K개 동작을 예측하고 앞의 H_e개만 실행한다면 예측 길이 K와 실행 길이 H_e를 따로 기록합니다. 출력이 기술 호출이면 기술 이름, 매개변수 스키마, 전제 조건, 완료 조건, 시간 제한과 대체 동작이 필요합니다.

2. 결합 구조보다 정보 경로와 시간 정렬이 먼저다

초기 결합은 영상·언어·상태를 일찍 같은 토큰 열에 넣어 폭넓게 상호작용하게 만들 수 있습니다. 늦은 결합은 사전학습된 시각·언어 본체를 보존하면서 로봇 전용 상태와 행동 계산을 별도 층에 둘 수 있습니다. 교차 주의 또는 별도 정책 머리는 언어 표현과 고주파 행동 계산을 분리하는 선택지입니다. 어느 구조도 이름만으로 더 낫지 않습니다. 비교 질문은 “부품의 색·기능을 지시와 연결하는 데 필요한 의미 정보”와 “삽입 전 자세 오차를 줄이는 데 필요한 공간·시간 정보”가 행동 머리에 실제 도달하는가입니다.

RT-2는 로봇 행동을 텍스트와 비슷한 토큰으로 표현해 웹 자료의 의미 지식과 로봇 제어 자료를 함께 다루는 경로를 보여 줍니다 [2]. OpenVLA는 여러 해상도의 시각 특징을 언어 본체 입력 공간에 투영하는 구성을 설명합니다 [11]. Octo는 자연어 또는 목표 영상, 관측 이력, 여러 카메라·상태 입력과 확산 기반 동작열을 받을 수 있는 유연성을 강조합니다 [10]. 이 차이는 “결합 기법의 우열”보다 어떤 입력을 어떤 학습 단계에서 보존했는지 확인하는 감사 항목입니다.

감사 질문 통과 근거 흔한 혼동 닫아야 할 관문
영상과 상태 시각이 맞는가 센서별 사건·도착 시각 추적 최신 프레임을 같은 시각으로 간주 허용 나이 밖 관측 거부
언어가 목표 상태를 구속하는가 지시 바꿔치기·부정 지시 시험 물체 공출현을 지시 이해로 해석 모호·충돌 지시 사람 인계
손목 영상이 실제로 쓰이는가 가림·카메라 제거 절제 입력 슬롯 존재를 활용 증거로 간주 필수 양식 결측 시 중단
상태가 올바른 프레임인가 보정 해시·변환 재생 학습 정규화가 보정을 대신한다고 가정 불일치 프레임 incompatible
이력이 접촉 변화를 담는가 길이·간격 절제와 지연 주입 더 긴 이력을 더 빠른 반응으로 오해 접촉 전 실행 길이 축소

탁상 조립에서는 의미와 기하를 분리해 점검합니다. “파란 스페이서를 오른쪽 구멍에 넣어라”라는 지시에서 색·부품 종류·오른쪽 관계의 연결은 상위 모델의 후보 책임입니다. 하지만 실제 구멍 중심, 접근 방향, 충돌 없는 경로, 접촉 허용 힘은 보정된 기하와 하위 계획·접촉 제어의 책임입니다. CLIPort와 PerAct는 각각 의미·공간 경로와 3차원 복셀 행동의 설계점을 제공하지만, 평면 선택이나 이산 자세의 성공을 접촉 삽입의 보편적 근거로 확장할 수 없습니다 [6] [7].

3. 학습 단계는 자료의 역할과 바뀌는 매개변수로 구분한다

사전학습(pre-training)은 넓은 시각·언어 또는 다중 로봇 자료에서 재사용 가능한 표현과 정책 초기값을 만드는 단계입니다. 공동 학습(co-training)은 웹·언어 목적과 로봇 행동 목적을 같은 훈련 과정에서 섞어 두 능력을 함께 유지하는 방식입니다. 후속 학습(post-training)은 목표 로봇·과제의 고품질 시범, 선호, 보정 또는 특화 자료로 배포 행동을 다듬는 단계입니다. 논문마다 용어가 다르므로 이름이 아니라 자료 집합, 표본 가중치, 손실, 고정·학습 매개변수와 종료 체크포인트를 기록합니다.

이 구분은 누출과 인과 귀속에 중요합니다. 웹 사전학습이 새 물체 이름을 연결하는 데 도움을 줄 수 있지만 로봇 좌표계나 그리퍼 의미를 제공하지는 않습니다. 다중 로봇 사전학습은 다양한 관측과 행동을 보지만 목표 로봇으로의 변환 오류를 자동으로 제거하지 않습니다. 후속 학습의 성공은 사전학습 본체, 더 많은 목표 자료, 다른 행동 머리, 긴 이력 또는 평가 선택 중 무엇이 원인인지 분해해야 합니다.

권장 훈련 영수증은 다음을 담습니다.

  1. 모든 자료 집합의 이름, 버전, 라이선스, 혼합 비율과 중복 감사;
  2. 각 자료의 관측·행동 스키마, 로봇 형태, 제어 모드와 시간 해상도;
  3. 단계별 손실과 가중치, 고정·해제한 모듈, 초기·최종 체크포인트 해시;
  4. 행동 정규화 통계가 계산된 분할과 목표 로봇 외 자료의 변환 방식;
  5. 평가 과제·물체·지시와 훈련 자료의 직접·의미 중복 상태;
  6. 실패·개입·회복 자료의 포함 여부와 성공 시범 편향;
  7. 배포 어댑터, 추론 장치, 정밀도, 종속성 및 되돌리기 가능한 전체 튜플.

Octo의 보고는 대규모 로봇 궤적에서 모방 목적을 사용하며, 최적 시범 중심 자료가 불완전한 회복을 학습시키기 어렵다는 한계를 밝힙니다 [10]. RoboCat의 자기 생성 자료 경로도 사람 시범과 필터링을 필요로 하며, 스스로 만든 성공만 반복해서 넣으면 실패 분포와 평가 독립성이 흐려질 수 있습니다 [9]. 따라서 자료량은 실패 감지·후퇴·사람 요청 능력의 대리 지표가 아닙니다.

4. 네 행동 머리를 같은 실행 질문으로 비교한다

자기회귀(autoregressive) 머리는 행동 차원이나 토큰을 순서대로 조건화해 다음 기호를 예측합니다. 행동 묶음(action chunk) 머리는 여러 미래 동작을 한 번에 예측해 시간 문맥과 궤적 일관성을 제공합니다. 확산(diffusion) 머리는 잡음에서 조건부 동작열을 반복적으로 복원해 여러 가능한 궤적을 표현합니다. 흐름 정합(flow matching) 머리는 잡음 분포에서 행동 분포로 가는 연속 속도장을 학습해 동작열을 생성합니다. 이 이름은 출력 분포와 계산 방식을 말할 뿐, 모델이 어느 제어 주기를 소유하는지 말하지 않습니다.

S12와의 연속성은 분명합니다. VLA의 단순 연속 회귀 머리는 언어·시각 본체에 붙은 BC입니다. 동작열과 시간 앙상블을 쓰는 머리는 ACT의 핵심 선택과 맞닿습니다 [4]. 확산 머리는 S12의 생성 정책을 더 넓은 입력 본체에 연결한 것입니다 [5]. 에너지 기반 모방처럼 후보 행동을 점수화하는 방법도 다봉성을 다루지만 후보 최적화 비용과 분포 밖 보정을 별도로 검증해야 합니다 [3]. VLA가 새로 더하는 것은 언어·웹·다중 로봇 사전학습과 더 유연한 조건화이지, 모방 학습의 목표나 실행 안전을 자동으로 바꾸는 마법이 아닙니다.

Figure 3.2: π0 원 논문의 구조는 로봇·인터넷·Open X-Embodiment 자료 혼합, 사전학습 VLM, 별도 행동 전문가와 여러 로봇 형태로 이어지는 한 흐름 설계점을 보여 준다. 그림에는 S13 실행 어댑터, 실행 가능성 투영, 제어기 수락, 독립 감시와 정지 권한이 없으므로 보편 실행 규약이나 안전 보증으로 읽지 않는다. 출처: Black et al. 2024, arXiv:2410.24164v3 Fig. 3, 학술 리뷰 목적의 공정 이용
계열 출력·학습 목표 예측/실행 지평선 폐루프 방식 주된 실패·비용 조립에서 우선 시험할 곳
단일 연속 회귀 한 행동의 오차 최소화 짧음/한 단계 매 호출 재관측 평균 행동, 떨림 고전 기준선과 가까운 자유 공간
자기회귀 토큰 다음 행동 기호의 교차 엔트로피 토큰열/일부 실행 재토큰화 후 재호출 양자화, 오류 전파, 직렬 지연 언어 연결과 거친 기술 제안
묶음·ACT형 동작열 회귀 또는 잠재 복원 K 예측/H_e 실행 겹친 묶음 집계 접촉 전환 흐림, 오래된 꼬리 부드러운 접근·운반
확산 조건부 동작열 잡음 제거 K 예측/H_e 실행 앞부분 뒤 재표본 반복 계산, 확률성 여러 유효 접근 경로
흐름 조건부 속도장·연속 행동 K 예측/H_e 실행 앞부분 뒤 재적분 풀이기·단계·지연 민감도 고주파 후보, 단 접촉 관문 별도

묶음의 예측 길이와 실행 길이는 같지 않아도 됩니다. 자유 공간 운반에서는 일관성을 위해 K를 늘릴 수 있지만, 접촉 전 정지 이후에는 H_e를 줄이고 힘·촉각 사건마다 재관측해야 합니다. 시간 앙상블은 겹치는 묶음을 부드럽게 만들 수 있으나 급격한 접촉 상태 변화를 평균낼 수 있습니다. 확산과 흐름은 여러 후보를 만들 수 있지만 후보 선택기가 시험 평가기의 미래 정보를 사용하면 누출이며, 실행 가능성 투영이 많은 후보를 크게 바꾸면 원 분포의 이득이 하위 스택에서 사라질 수 있습니다.

Figure 3.3: 자기회귀 토큰, ACT형 행동 묶음, 확산과 흐름 머리를 같은 에피소드·입력 이력·행동 좌표·예측 길이·실행 길이·어댑터·제어기·평가기 아래 놓는다. 각 머리는 앞의 실행 구간 뒤 새 관측으로 닫히며, 머리 계열의 이름은 실행 권한이나 회복 보장을 주지 않는다. 도해: 저자 제작 결정론적 SVG

4.1 흐름과 토큰 수치를 올바른 분모에 둔다

\pi_0는 로보틱스 전용 가중치 집합을 별도로 둔 흐름 기반 행동 전문가를 사용하며, 원 연구는 일부 설정에서 고품질 자료만으로 학습한 모델의 취약성과 불완전한 오류 회복을 보고합니다 [13]. 그러나 그 과제·로봇·자료·후속 학습·리셋 분모는 S13의 탁상 조립으로 옮길 수 없습니다. 이 결과는 흐름 머리가 회복을 보장하지 않는다는 반례이지, 다른 머리보다 열등하다는 순위가 아닙니다. Terry의 \pi_0 해설은 교차 읽기 자료이며 과학적 근거는 원 논문입니다.

FAST는 100만 개 궤적으로 학습한 행동 토크나이저와 \pi_0 설정에서 최대 5배의 훈련 시간 단축을 보고합니다 [15]. 이는 제어기 속도나 종단 간 배포 지연의 보편적 향상이 아닙니다. 토큰화 전처리, 영상 인코더, 네트워크 왕복, 대기열, 역토큰화, 투영과 제어기 수락까지 포함한 시간은 별도로 측정해야 합니다. 훈련 처리량과 로봇의 행동 나이를 같은 숫자로 쓰면 안 됩니다.

5. 공개 결과는 동일 축 표의 한 셀일 뿐이다

모델명·매개변수 수·성공률을 한 줄씩 나열하면 비교 가능한 것처럼 보이지만, 실제로는 로봇, 카메라, 자료 혼합, 목표 로봇 적응량, 행동 좌표, 제어 주기, 리셋과 제외 규칙이 다릅니다. 같은 연구 안의 절제도 여러 요소를 동시에 바꿀 수 있습니다. 그러므로 공개 결과는 “무엇이 가능했다”는 근거 단계로 읽고, 로컬 승격은 조건 일치 재실험으로 판정합니다.

OpenVLA는 7B 매개변수 모델을 97만 개 실제 로봇 시범으로 훈련하고 29개 과제의 논문 내 비교에서 보고된 기준선 대비 이득을 보고합니다 [11]. 이 수치는 자료, 로봇 형태, 적응 예산, 초기 상태, 리셋과 분모가 다른 논문을 섞은 순위표가 아닙니다. 공개된 본체와 미세조정 경로는 재현 가능성에 유용하지만, 현재 자료 묶음의 근거 단계는 완전한 S13 기본 셀 하드웨어 검증으로 확정되지 않았습니다. Terry의 구조 비교 읽기는 독자 링크이고 수치 근거를 대신하지 않습니다.

아래 동일 축 표는 성능 숫자 대신 비교 실험이 채워야 할 칸을 고정합니다.

비교 축 로컬에 기록할 값 공개 자료가 비어 있을 때 승격 판단
본체·결합 체크포인트, 입력 토큰, 이력, 고정 모듈 not reported 머리 효과로 귀속 금지
자료·적응 자료 해시, 혼합, 목표 시범 수, 중복 unknown overlap 오염 감사 전 일반화 보류
출력 의미 프레임, 단위, 회전, 그리퍼, 주기 incompatible 변환 승인 전 실행 금지
지평선 관측·예측·실행 길이, 재계획 조건 not measured 접촉 전 짧은 실행 요구
폐루프 재관측, 대기열 교체, 오래된 출력 거부 not exercised 장애 주입 시험 전 그림자만
실제 근거 로봇·과제·분모·실패·개입 no matching hardware evidence 로컬 제한 시험으로 재검증
운영 지연 꼬리, 처리량, 중단, 비용, 롤백 missing 마감·대체 동작 없으면 거부

RT-1의 대규모 실제 로봇 자료와 폐루프 실행은 확장 가능한 한 설계점이지만 단일 로봇 계열·비공개 자료의 한계를 갖습니다 [1]. Gato는 많은 과제에 하나의 토큰 정책을 적용하는 가능성을 보여 주지만 로봇 자료는 전체 혼합의 일부이며 과제 폭이 전문 성능을 뜻하지 않습니다 [8]. TinyVLA 같은 소형 모델의 처리량 결과도 다음 절의 전체 시간 계약을 채우지 않으면 운영 근거가 되지 않습니다 [12].

6. 접촉 풍부 조립에서는 느린 제안과 빠른 권한을 분리한다

탁상 조립을 인식 → 파지 → 자유 공간 운반 → 접촉 전 정지 → 제한된 배치·삽입 → 실패 감지 → 후퇴/재시도/사람 요청/중단으로 나눕니다. VLA는 새 표현의 지시를 목표 상태와 부품 후보에 연결하고, 파지·접근 기술과 거친 동작열을 제안할 수 있습니다. 하지만 접촉 전 정지 이후에는 위치 오차, 힘 상승, 걸림과 미끄러짐이 영상 추론 주기보다 빠를 수 있습니다. 이 구간의 임피던스·힘 제어와 정지 권한은 S12 하위 스택에 남습니다.

ForceVLA는 명시된 \pi_0 기준선 대비 평균 23.2% 개선과 플러그 삽입에서 최대 80% 성공을 보고합니다 [16]. 이 값은 해당 플랫폼·과제·자료·평가 절차에 한정되며 S13 조립 셀의 기대 성공률이 아닙니다. 힘 입력을 모델에 제공해도 모델이 힘 한계, 보호 정지 또는 최종 실행 권한을 소유하지 않습니다. 힘 특징은 후보 생성에 쓰고, 독립 감시기는 원 센서와 승인된 한계로 명령을 거부해야 합니다. Terry의 ForceVLA 해설은 독자 교차 링크입니다.

최소 구현은 두 단계 권한으로 구성합니다. 자유 공간 단계에서 VLA는 K개 말단 증분 또는 grasp/transport/preinsert 기술을 제안합니다. 어댑터가 좌표와 단위를 확인하고 IK·충돌 투영기가 각 후보를 수락하거나 거부합니다. 접촉 전 자세가 독립 평가기를 통과하면 상태 기계가 insert 기술을 호출하되, 그 기술은 짧은 참조, 힘 상한, 타임아웃, 후퇴 경로와 사람 인계 조건을 이미 갖습니다. 모델은 실행 중 관측을 읽어 재시도 후보를 낼 수 있지만 정지 해제나 한계 변경을 요청할 수 없습니다.

조립 단계 VLA 후보 하위 고정 실행기 통과 근거 즉시 대체 동작
부품·치구 인식 목표·물체·관계 후보 보정된 장면·과제 검증기 목표 상태 일치, 모호성 없음 사람 확인
파지·운반 기술·말단 동작열 IK, 계획기, 충돌 투영 계획 가능, 관절·속도 한계 내 고전 기준선
접촉 전 정지 접근 자세 자세·가시성·힘 영점 검사 오차와 관측 나이 한계 내 후퇴·재관측
배치·삽입 짧은 방향·기술 매개변수 임피던스/힘 제어, 감시기 힘·변위·시간 창 통과 정지·후퇴
실패 복구 재시도·다른 기술·사람 요청 실패 상태 기계 실패 분류와 재시도 예산 사람 인계·중단

고급 양손·다지 분기는 기본 셀을 통과한 뒤 별도 과제로 둡니다. ACT의 실제 양손 결과는 행동 묶음의 유용한 근거지만 기본 단일 팔 결과의 분모로 합치지 않습니다 [4]. 손가락 접촉, 양손 동기와 더 큰 행동 차원은 새 어댑터·제어기·감시기 계약을 요구합니다.

7. 지연은 추론 평균이 아니라 관측에서 실행까지의 추적이다

종단 간 지연은 카메라 사건에서 시작합니다. 사건 시각 t_s, 전처리 종료 t_p, 모델 종료 t_m, 투영 종료 t_f, 대기열 삽입 t_q, 제어기 수락 t_a, 실제 적용 t_x를 기록합니다. 행동 나이는 t_x-t_s이며, 모델 계산은 t_m-t_p에 불과합니다. 평균보다 p50·p95·최댓값, 마감시간 초과율과 오래된 행동 거부율이 중요합니다. 묶음 정책은 계산과 실행을 겹칠 수 있지만, 새 관측 뒤 낡은 꼬리가 계속 실행되면 처리량이 높아도 폐루프는 깨집니다.

소형 모델의 처리량만으로는 관측 나이, 대기열, 마감시간, 감시 장치, 원격 서비스 장애 동작이 입증되지 않습니다 [12] [17]. 연구마다 장치·배치·정밀도·네트워크·실행 지평선 구성이 다르므로 수치를 직접 이전할 수 없습니다. 로컬 추적에서 오래된 출력 거부, 최신 묶음의 원자적 교체, 시간 초과 시 고전 기준선 또는 정지로의 대체 동작을 실제 장애 주입으로 확인해야 합니다.

필수 장애 주입은 카메라 지연·순서 역전, GPU 경합, 네트워크 단절, 묶음 도착 역전, 손목 카메라 결측, 상태 시각 불일치, 투영 시간 초과, 접촉 사건 중 긴 실행 묶음입니다. 각 시험은 후보, 투영 결과, 송신, 수락/실행의 식별자를 연결합니다. 모델 출력이 늦었지만 이전 명령이 안전하게 유지됐는지, 또는 이전 명령도 오래되어 정지했는지를 구분합니다. “정책이 실패했다”는 한 라벨 대신 인식, 연결, 생성, 어댑터, 투영, 제어기, 감시기와 운영 장애로 원인을 나눕니다.

8. 실패를 모델 점수로 덮지 말고 원인 순서대로 진단한다

첫 증상이 잘못된 부품 선택이라면 지시 바꿔치기와 물체 가림 시험으로 의미 연결을 확인합니다. 올바른 부품을 향하지만 자세가 어긋나면 카메라 보정, 프레임 변환, 행동 역정규화와 회전 합성 순서를 확인합니다. 자유 공간은 성공하지만 접촉에서 흔들리면 실행 지평선, 묶음 평균, 힘 영점, 접촉 상태 전환과 하위 제어기를 봅니다. 일정 시간 뒤 실패가 늘면 관측 나이, 대기열과 열·메모리 경합을 봅니다. 새 지시에서만 실패하면 학습 중복, 언어 바꿔쓰기와 목표 상태 평가를 분리합니다.

증상 먼저 볼 기록 반증 시험 승인된 대체 동작
엉뚱한 부품/구멍 언어·영상 주의, 목표 후보 지시 최소쌍·물체 교환 모호성 거부·사람 확인
일관된 위치 편향 프레임·보정·역정규화 알려진 자세 재생 고전 자세 추정·재보정 요청
접촉 직전 과주행 H_e, 행동 나이, 대기열 지연·긴 묶음 주입 접촉 전 정지·짧은 기술
삽입 중 진동/힘 상승 묶음 집계, 힘·변위 추적 생성기 고정 후 제어기 절제 정지·후퇴·사람 인계
같은 실패 반복 회복 상태·재시도 예산 실패 관측 재생 재시도 소진 후 중단
부하 때 간헐 실패 단계별 지연·메모리 GPU/네트워크 경합 로컬 기준선·보호 정지

반대 근거도 승격 판단의 일부입니다. Open X-Embodiment 기반 최적 시범은 실패 회복을 충분히 담지 않을 수 있고 [10], \pi_0 연구도 고품질 자료만의 취약성과 불완전한 회복을 명시합니다 [13]. Diffusion Policy의 반복 생성은 다봉 행동에 유용하지만 지연 비용이 있고 [5], ACT의 시간 집계는 급격한 접촉 전환을 흐릴 수 있습니다 [4]. 구조 비교 연구는 행동 공간·이력·머리 선택이 서로 상호작용함을 보여 주므로 단일 절제로 보편 결론을 내리지 않습니다 [14].

따라서 복잡한 VLA가 고전 기술 기준선이나 S12의 조건 일치 BC·ACT보다 낫지 않으면 승격하지 않습니다. 새 표현의 지시에서만 이득이 있다면 상위 기술 선택에만 쓰고, 동작열은 기존 정책에 맡길 수 있습니다. 자유 공간에는 이득이 있지만 접촉에서 실패한다면 접촉 전까지만 권한을 제한합니다. 처리량은 좋지만 장애 복구가 없다면 그림자 실행을 넘지 않습니다.

9. 재현 가능한 최소 실험과 승격 관문

첫 실험은 거대한 모델끼리의 경쟁이 아닙니다. 같은 인코더 예산에서 가능한 한 단순한 BC, S12 ACT 또는 확산 기준선, 선택한 VLA 한 개를 비교합니다. 모든 방법은 같은 에피소드 식별자, 초기 상태 구간, 카메라·상태 이력, 행동 변환, 실행 길이, 제어기, 감시기, 평가기와 재시도 예산을 사용합니다. 맞출 수 없는 항목은 표에서 표시해 이득 귀속을 제한합니다.

권장 단계는 다음과 같습니다.

  1. 계약 검사: 체크포인트와 전처리를 로드하되 행동을 보내지 않고 입출력 스키마, 프레임, 단위, 그리퍼 의미를 검증합니다.
  2. 기록 재생: 성공·실패·개입 에피소드에서 목표 연결, 행동 오차, 묶음 일관성, 지연과 거부를 측정합니다.
  3. 제어기 모형: 투영·대기열·오래된 명령·중단을 시험하고 어떤 후보도 실제 장치로 보내지 않습니다.
  4. 시뮬레이션: 고정된 초기 분포와 교란에서 충돌, 접촉 전 정지, 실패 감지와 대체 동작을 비교합니다.
  5. 그림자 실행: 실제 관측을 읽지만 명령은 보내지 않고 승인된 기준선의 실행과 후보를 나란히 기록합니다.
  6. 사람 검토 제한 시험 카드: 독립 책임자가 앞 단계 영수증과 정확한 되돌리기 튜플을 승인한 경우에만 별도 절차로 작성합니다.

9.1 Codex용 제한 구현 지시문


목표
- 동일한 기록 에피소드에서 BC, ACT/확산 기준선, 선택한 VLA의 행동 후보를 비교한다.
- 본체·자료·결합·머리·지평선·폐루프 차이와 귀속 불가능한 혼동 요인을 보고한다.

맥락
- S11 셀 식별 정보와 S12의 versioned task/skill/action/controller contracts를 읽는다.
- 입력은 recorded observations, instruction variants, robot state, calibration hash뿐이다.
- 출력은 raw proposal, projected proposal, rejection reason, timing trace, metrics이다.

제약 조건
- 실제 robot driver, send_action, controller switch, fault clear, force/speed limit API를 호출하지 않는다.
- exact checkpoint, preprocessing, tokenizer, action normalization, commit, device를 pin한다.
- observation/prediction/execution horizon과 event/arrival/inference/accept timestamps를 분리한다.
- unmatched paper numbers로 ranking을 만들지 않는다.
- missing/not measured/not exercised/incompatible를 추측으로 채우지 않는다.

완료 조건
- 동일 episode UUID·reset bin·instruction·seed에서 모든 방법을 재생한다.
- stale image, reordered chunk, GPU contention, network outage, infeasible pose,
  contact-phase change를 주입하고 fallback을 검증한다.
- task success, grounding error, feasibility rejection, projection delta,
  action age p50/p95/max, deadline miss, intervention, force event,
  recovery, human handoff, compute/cost를 보고한다.
- raw/projection/sent/accepted-executed IDs와 full rollback tuple을 보존한다.

안전
- recorded data, controller stubs, kinematic checks, simulation, shadow only.
- Learned confidence, VLA text, generated action은 safety authorization이 아니다.
- Hardware trial card는 별도 human review 산출물로만 만들고 실행하지 않는다.

이 지시문은 저장소 예제를 실행하는 대신 비교 계약을 시험 코드로 바꿉니다. send_action이 존재하지 않는 모형에서 먼저 오래된 행동과 투영 거부가 아래 계층으로 새지 않는지 확인해야 합니다. 모델이 저장·재로드 뒤 같은 결정론 평가 시드와 메타데이터를 재현하지 못하면 그림자 단계로도 올리지 않습니다.

Figure 3.4: 학습 단계에서는 자료·손실·고정 모듈·혼합·체크포인트·정규화·어댑터를 동결 영수증으로 묶는다. 배포 단계에서는 센서 사건부터 전처리, 모델, 투영, 대기열, 제어기 수락과 물리 적용까지의 시각으로 행동 나이를 계산하고, 오래된 출력·역순 묶음·접촉 사건에서 거부·원자적 교체·정지·재관측을 시험한다. 도해: 저자 제작 결정론적 SVG

10. 기록할 지표와 산출물

성공률은 과제·초기 상태·새로움 축별 분모와 함께 기록합니다. 같은 물체·지시, 새 표현의 지시, 새 배치·가림, 새 물체, 제한된 형태 변화는 합치지 않습니다. 조립 성공도 파지, 운반, 접촉 전 정지, 삽입, 회복으로 분해합니다. 한 단계 실패 뒤 사람이 완성한 에피소드를 자동 성공으로 세지 않습니다.

범주 지표 필수 산출물 거부 기준 예시
과제·연결 목표 상태 일치, 물체/관계 오류 지시 최소쌍·혼동 행렬 금지·모호 지시를 실행 후보로 냄
행동·실행 가능성 거부율, 투영량, 묶음 폐기 원본/투영/송신/실행 추적 큰 투영 뒤에도 성공을 모델 공로로 계산
시간 각 단계 p50/p95/max, 행동 나이 시계 동기화 추적·대기열 로그 p95 마감 또는 최신성 한계 초과
접촉·안전 힘 사건, 충돌, 감시기 정지 원 센서·독립 사건 기록 모델 점수로 힘 사건을 무시
실패·회복 감지, 후퇴, 재시도, 사람 인계 상태 기계·실패 분류 무한 재시도 또는 정지 해제 요청
근거 재생/시뮬레이션/그림자/실제 분리 평가 카드·출처 위치 근거 단계를 섞어 일반화 주장
운영 메모리, 전력, 원격 장애, 비용 환경 잠금·장애 주입·롤백 정확한 대체 동작과 튜플 없음

필수 파일 묶음은 model_receipt, data_manifest, io_contract, action_adapter, matched_comparison, latency_trace, failure_taxonomy, gate_results, rollback_tuple입니다. 되돌리기 튜플에는 모델·토크나이저·전처리·행동 통계·어댑터·과제·기술 API·제어기·보정·감시기·환경 버전이 모두 들어갑니다. 하나라도 빠지면 “이전 버전”으로 되돌린다는 문장은 실행 불가능합니다.

책임 서명도 분리합니다. 모델 책임자는 체크포인트와 후보 품질을, 자료 책임자는 계보·중복·분할을, 로봇 책임자는 프레임·행동 어댑터와 제어기 호환성을, 평가 책임자는 분모와 실패 라벨을, 안전 책임자는 충돌·힘·감시·정지·사람 인계 시험을 승인합니다. 한 사람이 모든 항목을 승인하거나 모델의 자체 평가를 독립 평가로 부르지 않습니다.

11. 근거 한계와 제4장으로 넘길 인터페이스

이 장의 원 자료는 VLA·행동 머리의 여러 설계와 실제 또는 시뮬레이션 결과를 보여 주지만, 완전한 S13 탁상 조립 스택을 검증한 단일 출처는 없습니다. 공개 논문의 로봇·과제·자료·적응·리셋 분모는 서로 다릅니다. 웹 자료 중복과 의미적 새로움은 완전히 배제하기 어렵고, 성공 시범 중심 사전학습은 실패·회복을 충분히 담지 않을 수 있습니다. 소형 모델, 토큰 압축, 흐름 생성의 계산 이점도 관측 나이·대기열·감시·원격 장애를 포함한 운영 신뢰성과 동일하지 않습니다.

그래서 이 장의 결론은 “어느 VLA가 최고인가”가 아닙니다. 첫째, VLA를 책임 사슬로 분해합니다. 둘째, S12 정책과 같은 행동·지평선·폐루프 축에 놓습니다. 셋째, 공개 결과를 조건이 명시된 근거 셀로만 사용합니다. 넷째, 자유 공간 후보와 접촉 실행 권한을 분리합니다. 다섯째, 실제 승격은 로컬 장애 주입·독립 평가·되돌리기 영수증으로 결정합니다.

제4장에 넘길 인터페이스는 하나의 모델명이 아니라 동결 가능한 본체, 명시적 입력 계약, 교체 가능한 행동 머리, 버전이 지정된 행동 어댑터, 조건 일치 기준선, 실패 분류와 완전한 영수증입니다. 제4장은 이 묶음을 새 로봇·새 과제에 맞출 때 전체 미세조정, 부분 조정, 어댑터와 새 머리 중 무엇을 바꿀지 결정합니다. 이 장에서 본체와 머리의 효과를 섞어 기록했다면 제4장의 적응 결과도 해석할 수 없습니다. 반대로 책임과 버전을 분리했다면 새 형태에서 바뀐 카메라, 좌표계, 제어 모드, 주기와 그리퍼 의미를 한 항목씩 감사하고 정확히 되돌릴 수 있습니다.

보충 근거 지도

다음 묶음은 독립 S13 원장에서 이 장과 연결된 검증 원 자료다. 기존 주장과 분모를 바꾸지 않고 탐색 범위만 명시한다.

참고문헌

  1. Brohan, A., et al. (2023a). RT-1: Robotics Transformer for Real-World Control at Scale. Robotics: Science and Systems. arXiv:2212.06817.
  2. Brohan, A., et al. (2023b). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. CoRL. arXiv:2307.15818.
  3. Florence, P., Lynch, C., Zeng, A., & Ramirez, O. A. (2022). Implicit Behavioral Cloning. CoRL. arXiv:2109.00137.
  4. Zhao, T. Z., Kumar, V., Levine, S., & Finn, C. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. Robotics: Science and Systems. arXiv:2304.13705.
  5. Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. Robotics: Science and Systems. arXiv:2303.04137. Terry의 해설.
  6. Shridhar, M., Manuelli, L., & Fox, D. (2022a). CLIPort: What and Where Pathways for Robotic Manipulation. CoRL. arXiv:2109.12098.
  7. Shridhar, M., Manuelli, L., & Fox, D. (2022b). Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation. CoRL. arXiv:2209.05451.
  8. Reed, S., et al. (2022). A Generalist Agent. Transactions on Machine Learning Research. arXiv:2205.06175.
  9. Bousmalis, K., et al. (2023). RoboCat: A Self-Improving Robotic Agent. arXiv:2306.11706.
  10. Octo Model Team, et al. (2024). Octo: An Open-Source Generalist Robot Policy. arXiv:2405.12213. Terry의 해설.
  11. Kim, M. J., et al. (2024). OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246.
  12. Wu, J., et al. (2024). TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation. arXiv:2409.12514.
  13. Black, K., et al. (2024). $\pi_0$: A Vision-Language-Action Flow Model for General Robot Control. arXiv:2410.24164. Terry의 해설.
  14. Li, X., et al. (2024). What Matters in Building Vision-Language-Action Models for Generalist Robots. arXiv:2412.14058. Terry의 해설.
  15. Kim, M. J., et al. (2025). FAST: Efficient Action Tokenization for Vision-Language-Action Models. arXiv:2501.09747.
  16. Yu, W., et al. (2025). ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation. arXiv:2505.22159. Terry의 해설.
  17. Agia, C. (2026). Deployment-Time Reliability of Learned Robot Policies. arXiv:2603.11400.
  18. Mandlekar, A., et al. (2021). What Matters in Learning from Offline Human Demonstrations for Robot Manipulation. CoRL. arXiv:2108.03298.
  19. Yang, R., et al. (2025). FP3: A 3D Foundation Policy for Robotic Manipulation. arXiv primary preprint (2025-03-11). arXiv:2503.08950.
  20. Chen, J., et al. (2024). RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation. arXiv primary preprint (2024-02-22). arXiv:2402.14623.
  21. Cheng, Z., et al. (2024). LEGENT: Open Platform for Embodied Agents. arXiv primary preprint (2024-04-28). arXiv:2404.18243.
  22. Cheng, A., et al. (2024). NaVILA: Legged Robot Vision-Language-Action Model for Navigation. arXiv primary preprint (2024-12-05). arXiv:2412.04453.
  23. Chiang, H. L., et al. (2024). Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs. arXiv primary preprint (2024-07-10). arXiv:2407.07775.
  24. Dey, S., et al. (2024). ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models. arXiv primary preprint (2024-09-23). arXiv:2409.15250.
  25. Gbagbe, K. F., et al. (2024). Bi-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Dexterous Manipulations. arXiv primary preprint (2024-05-09). arXiv:2405.06039.
  26. Guruprasad, P., et al. (2024). Benchmarking Vision, Language, & Action Models on Robotic Learning Tasks. arXiv primary preprint (2024-11-04). arXiv:2411.05821.
  27. Han, B., et al. (2024). A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM. arXiv primary preprint (2024-10-21). arXiv:2410.15549.
  28. Hancock, A. J., et al. (2024). Run-time Observation Interventions Make Vision-Language-Action Models More Visually Robust. arXiv primary preprint (2024-10-02). arXiv:2410.01971.