Chapter 5: 언어와 장면을 행동에 연결한다 — 열린 어휘, 공간 이해와 기술 선택

개요

“파란 브래킷을 오른쪽 구멍에 끼워 줘”라는 문장은 로봇 명령이 아닙니다. 어느 파란 물체인지, 브래킷의 어느 부위인지, 누구의 시점에서 오른쪽인지, “끼워진 상태”를 무엇으로 판정할지, 현재 그 기술을 호출할 전제 조건이 갖춰졌는지를 아직 모릅니다. 언어 연결(language grounding)의 산출물은 따라서 모터 값이 아니라 근거가 붙은 형식화된 과제 제안이어야 합니다. 충분히 특정할 수 없으면 reject 또는 clarify가 정상 출력입니다.

S11에서 물려받는 것은 실제 셀의 카메라·시계·좌표계·보정, 물체 자산, 작업 공간, 제어기, 충돌·힘 한계, 감시 장치, 보호 정지, 비상 정지와 사람 책임자입니다. S12에서 물려받는 것은 버전이 지정된 과제와 기술 API(skill API), 전제·완료·실패 조건, 실행 가능성 투영, proposal → projected → sent → accepted/executed 계보, 독립 평가기와 되돌리기 규약입니다. 제4장은 적응된 모델의 카메라·프레임·행동·그리퍼 계약을 고정했습니다. 이 장의 새 질문은 자연어와 장면 증거를 물체·부위·관계·목표 상태·기술 전제 조건으로 바꾸면서도, 모호하거나 물리적으로 확인할 수 없는 요청을 어떻게 실행 전에 닫을 것인가입니다.

이 장을 읽고 나면... - 지시를 형식화된 과제 제약과 목표 상태로 변환하고 출처·시각·프레임·단위를 기록할 수 있습니다. - 열린 어휘 인식(open-vocabulary recognition), 2차원·3차원 표현, 어포던스(affordance), 장면 그래프(scene graph)와 접촉 가능한 기하학을 같은 축에서 선택할 수 있습니다. - 바꿔 말하기, 모순, 부정, 가림, 전제 누락, 금지 요청, 단위·좌표계 누락을 서로 다른 거부 시험으로 만들 수 있습니다. - 의미 점수와 물리 실행 가능성, 안전 권한을 분리한 언어→과제→기술 계약을 만들 수 있습니다. - 실패를 언어, 지각, 상태 추정, 기하, 기술, 제어와 평가 순서로 진단할 수 있습니다.

실험 질문은 다음과 같습니다. 동일한 탁상 조립 초기 분포, 카메라·보정, 기술 라이브러리, 하위 계획기·제어기, 평가기와 안전 한계를 고정했을 때, 지시 표현·물체·배치·가림을 바꾸어도 올바른 목표 상태와 기술을 제안하고, 모호·모순·보이지 않는 전제·금지 요청은 실제 명령 전에 재현 가능하게 거부하는가?

1. 정신 모형: 말에서 토크가 아니라 형식화된 제안으로

언어와 장면은 서로의 빈칸을 마음대로 채우는 두 추측기가 아닙니다. 지시는 요구와 금지를 제공하고, 장면은 현재 관측 가능한 개체와 관계를 제공합니다. 둘을 결합한 계약은 아직 실행이 아니라, 아래 계층이 검사할 수 있는 타입이 지정된 후보입니다.

자연어 지시 + 대화 문맥
            ↓ 구문·지시 범위·부정·단위·시점 검사
형식화된 의도: 대상 | 부위 | 관계 | 목표 상태 | 제약
            ↓ 최신 장면 증거와 개체 ID에 연결
2D 후보 → 3D 상태 → 장면 관계 → 어포던스 가설
            ↓ 모호성·모순·가림·전제 조건 관문
버전형 과제 제안 또는 reject/clarify
            ↓ 허용 목록의 기술과 전제 조건 대조
버전형 기술 호출 후보
            ↓ TAMP·IK·충돌·접촉 기하·힘·마감 검사
projected proposal → sent → accepted/executed

모든 경로 바깥: 독립 평가기 · 충돌/힘 관문 · 감시 장치 ·
보호 정지 · 비상 정지 · 사람 승인

과제·동작 계획(task and motion planning, TAMP)은 상징적 목표와 연속 기하를 함께 다루는 연결 계층입니다. 그러나 계획기가 아는 것은 모델에 인코딩된 물체, 동작 효과와 기하뿐입니다. 감지되지 않은 장애물, 낡은 장면, 실제 마찰·공차·변형과 접촉 중 힘은 별도 관측과 실행 관문에 남습니다.

SayCan은 주방·사무 환경의 실제 이동 조작 로봇에서 101개 자연어 지시를 평가해 계획 성공률 84%, 실행 성공률 74%를 보고했습니다 ^[8]. 이 분모와 증거 단계는 유창하고 그럴듯한 기술 순서와 실제로 끝까지 수행되는 기술이 다르다는 근거입니다. 다만 사람 정의·학습 기술 라이브러리와 가치 함수에 의존하고, 두 점수의 곱은 보정된 안전 보증이 아닙니다. 이 수치를 탁상 삽입 성공률이나 보편 언어 이해율로 옮기지 않습니다.

이 간격을 설계에 반영하려면 의미 해석과 기술 실행을 같은 “성공” 필드에 쓰지 않습니다. intent_parse_pass, entity_grounding_pass, goal_match, skill_preconditions_pass, geometry_pass, execution_success를 나눠야 어느 계층이 실패했는지 알 수 있습니다.

2. 언어→과제→기술 계약: 하나의 지시를 감사 가능한 레코드로

관통 과제의 예시 지시는 다음과 같습니다.

“치구를 로봇 밑동 쪽에서 봤을 때 왼쪽에 있는 파란 홈 브래킷을 집어, 표시된 A 소켓 위 15 mm에서 멈춘 다음 끼워라. 빨간 캡은 건드리지 마라.”

이 문장을 즉시 pick_and_insert()로 번역하지 않습니다. 먼저 아래 변환표의 각 행에 증거, 버전과 실패 상태를 붙입니다.

핵심은 목표 상태를 동사가 아니라 판정 가능한 상태로 쓰는 것입니다. “끼워라”는 모호하지만 축 정렬 오차 ≤ 허용치, 삽입 깊이 ∈ 범위, 금지 물체와 접촉 없음, 힘 사건 없음, 평가기 통과는 검사할 수 있습니다. 허용치는 언어 모델이 생성하지 않고 버전이 지정된 과제와 부품 도면·검증 기록에서 가져옵니다. 값이나 단위가 없으면 missing으로 두고 관문을 닫습니다.

기술도 이름만 연결하지 않습니다. 각 호출은 입력 프레임, 단위, 시간 제한, 관측 최신성, 전제 조건, 완료·실패 상태, 대체 동작과 허용 호출자를 포함합니다. 언어 계층은 기술을 제안할 수 있지만 API 버전을 바꾸거나 비허용 기술을 새로 만들거나, 실패 상태를 성공으로 재명명할 수 없습니다.

3. 같은 축으로 고르는 장면 표현

열린 어휘는 학습 시 고정한 클래스 목록 밖의 텍스트 질의로 후보를 찾는 능력입니다. 이것은 “새 물체를 이해했다”는 단일 속성이 아닙니다. 상자, 마스크, 깊이, 자세, 관계, 행동-효과 증거와 접촉 기하는 서로 다른 질문에 답합니다.

CLIP은 자연어 감독을 이용한 전이 가능한 시각 표현의 근거를 제공하지만 ^[6], 의미 유사도가 조립의 공간·접촉 의미를 포함한다고 보장하지 않습니다. OWL-ViT와 Grounding DINO는 텍스트 조건 2D 탐지를, Segment Anything은 질의 가능한 분할을 연구합니다 ^{[9] [13] [15]}. 이 출력들을 이어 붙일 수는 있지만, 각 단계의 불확실성과 개체 동일성을 보존해야 합니다.

열린 어휘 상자와 마스크는 물체 자세, 충돌 기하, 파지 안정성 또는 접촉 실행 가능성이 아닙니다 ^{[9] [13] [15]}. 세 연구의 핵심 근거는 오프라인 영상 탐지·분할 벤치마크이며 조립 실행 시험이 아닙니다. 따라서 탐지 점수가 높아도 깊이·부위·자세·점유·보정·접촉 공차가 확인되지 않으면 perception_candidate에서 멈춥니다.

2D는 질의와 픽셀을 빠르게 연결하고, 3D는 좌표와 점유를 제공합니다. 둘을 “2D 대 3D”의 승자 선택으로 만들 필요는 없습니다. 2D 후보를 다중 시점·깊이로 인스턴스에 연결하고, 작업 좌표계로 변환한 뒤, 장면 그래프가 참조 관계를 보관하고, 계획기가 연속 기하를 검사하도록 책임을 나눕니다. 가림 뒤 형상은 추정값이며 관측값처럼 기록하지 않습니다.

4. 어포던스와 공간 이해: 관계를 행동 효과에 묶는다

Şahin 등의 형식화는 어포던스를 물체 라벨이 아니라 개체-행동-효과의 관계로 다룹니다 ^[1]. 같은 원통이라도 평행 그리퍼의 폭, 접근 방향, 표면과 현재 점유 상태가 달라지면 “집을 수 있음”의 효과가 달라집니다. Montesano 등의 물체-행동 복합체도 행동과 결과를 함께 학습하는 확률적 관점을 제공합니다 ^[2]. 그러나 이런 분류 체계가 자동으로 보정된 탐지기나 접촉 검증기를 주지는 않습니다.

CLIPort는 의미의 “무엇” 경로와 공간의 “어디” 경로를 결합해 언어 조건 2차원 집기·놓기를 연구했고, SpatialVLA는 자기중심 3D 위치 부호화와 적응형 행동 격자를 통해 공간 표현을 VLA에 넣습니다 ^{[10] [18]}. 3D 장면 그래프를 쓰는 SayPlan은 큰 환경의 과제 계획에 구조화된 공간 문맥을 제공합니다 ^[17]. 이 계보는 의미, 관계와 행동 후보를 더 잘 연결할 수 있음을 보여 주지만 서로 다른 로봇·자료·행동 공간·평가 절차의 수치를 한 순위표로 합칠 수는 없습니다.

어포던스와 언어 조건 증거는 개체·관계·예상 효과를 묶는 데 유용하지만, 정제된 장면이나 평면 행동 결과가 가려진 삽입의 실행 가능성을 확립하지는 않습니다 ^{[1] [10] [18]}. CLIPort의 10개 언어 조건 탁상 과제와 실제 로봇 시연, SpatialVLA의 공간 표현 평가는 각각의 분모 안에서 읽어야 합니다. 표현 이득은 과제별이며, 숨은 면·소켓 점유·공차·마찰·삽입력은 별도 3D 관측, 접촉 전 정지와 하위 힘 평가가 필요합니다.

장면 그래프도 진실의 원장이 아닙니다. 각 노드와 간선에는 source_sensor, event_time, frame_id, calibration_generation, confidence, visibility, last_verified를 붙입니다. left_of(part-17, socket-A)는 카메라 시점과 밑동 시점에서 반대일 수 있고, inside(part-17, socket-A)는 2D 겹침만으로 성립하지 않습니다. 관계는 프레임과 허용 여유를 갖춘 3D 술어로 평가해야 합니다.

접촉 가능한 기하학은 의미 층 아래에서 시작합니다. 파지 후보는 손가락 접근, 폐쇄 공간과 질량 중심을 검사하고, 운반 후보는 충돌 여유와 케이블·치구를 포함하며, 삽입 후보는 사전 접촉 자세, 축 정렬, 공차와 후퇴 경로를 가집니다. 그 뒤에도 실제 접촉은 승인된 임피던스·힘 제어기와 독립 한계가 담당합니다. “삽입 가능”이라는 텍스트 토큰에는 힘 권한이 없습니다.

5. 형식 검사와 살아 있는 장면의 차이

언어를 시간 논리나 계획 술어로 바꾸면 모순과 선후 조건을 기계적으로 검사할 수 있습니다. TAMP는 상징적 선택과 기하 검사를 번갈아 수행해, 기하적으로 불가능한 전체 계획에 먼저 매달리는 문제를 줄일 수 있습니다 ^[3]. AutoTAMP는 언어 번역과 비평을 언어 모델에 맡기되 형식 제약과 동작 실행 가능성은 계획기로 검사하는 구조를 연구합니다 ^[16].

AutoTAMP는 언어 번역을 형식 검사와 동작 실행 가능성 검사에서 분리하지만, 검사기는 인코딩된 제약만 확인할 수 있습니다 ^{[16] [3]}. 해당 근거는 주로 시뮬레이션과 모델화된 계획 사례입니다. 낡은 지각, 감지되지 않은 장애물, 잘못된 보정, 미모델 접촉·마찰은 논리식 밖에 남으므로, 형식 검사를 통과했다는 사실을 실제 실행 인증으로 해석하지 않습니다.

따라서 두 종류의 검사를 분리합니다.

1. 정적 계약 검사: 필수 필드, 타입, 단위, 프레임, 허용 기술, 전제·완료·금지 술어, 시간 제한과 호출 권한을 검사합니다.
2. 동적 세계 검사: 최신 센서에서 물체 동일성, 가시성, 점유, 자세, 경로, 충돌, 사전 접촉 상태와 힘 영점을 다시 확인합니다.

정적 검사는 재현 가능하고 빠르지만 세계가 바뀌면 낡습니다. 동적 검사는 현재 세계를 보지만 센서와 보정 실패를 가집니다. 둘 중 하나를 생략하지 않고, 서로 다른 구성요소와 실패 원인을 갖도록 해야 공통 원인 실패를 줄일 수 있습니다.

6. 모호성은 예외가 아니라 시험 분모다

성공 지시만 평가하면 장면의 시각적 습관을 따라도 높은 점수를 얻을 수 있습니다. 특히 “항상 보이던 물체를 항상 같은 소켓에 넣는” 자료에서는 언어를 무시한 정책도 성공할 수 있습니다. 그래서 같은 장면에서 단어 하나만 바꾸거나 논리적으로 모순된 지시를 넣는 최소 대조쌍이 필요합니다.

언어 연결 관문은 바꿔 말하기, 속성·관계 모순, 부정, 단위·좌표계 누락, 가림, 전제 조건 누락과 금지 요청을 서로 다른 시험으로 다뤄야 합니다 ^{[19] [20]}. ICBench는 구조화된 모순 지시에서 시각적으로 그럴듯한 행동을 계속하는 언어 맹목성을 진단하며, 주 분모는 LIBERO 30개 시뮬레이션 과제에서 과제 변형마다 50회 실행한 결과입니다. 같은 논문은 별도의 Franka Research 3 큐브-서랍 과제에서 IGAR를 시연하지만 실제 로봇 시험 횟수는 보고하지 않으며, 이 한 과제가 전체 거부 행렬을 실제 장치에서 검증하지는 않습니다. Grounded Decoding도 허용 행동 어휘와 연결 점수기의 품질에 의존합니다. 전체 행렬을 하나의 보정된 방법이 포괄한다는 근거는 없으므로 로컬 거부 시험과 실제 실패 분모를 유지합니다.

6.1 탁상 조립 모호성·거부 시험

정확도 하나로 이 표를 줄이지 않습니다. clarify가 필요한 입력을 무조건 거부하는 것도 실패이고, 금지 요청을 질문으로 되돌리는 것도 실패입니다. 입력 유형별로 올바른 상태 전이, 잘못 승인한 비율, 불필요 거부율, 질문 후 해소율과 사람 인계 시간을 측정합니다. 모순 시험에서 “실행 성공”이 높다면 오히려 언어를 무시했을 가능성을 조사합니다.

7. 최소 재현 작업 흐름과 검증 관문

G0 — 상속 계약을 봉인한다

S11 셀·센서·프레임·보정·제어·안전 식별자와 S12 과제·기술·투영·평가·되돌리기 버전을 해시합니다. 제4장의 적응 튜플과 카메라·행동 의미도 고정합니다. 하나라도 없으면 missing, 시험하지 않았으면 not exercised, 측정하지 않았으면 not measured, 의미가 다르면 incompatible로 두고 다음 관문을 닫습니다.

G1 — 언어 스키마를 먼저 검사한다

원문과 대화 범위를 보존하고 대상·부위·관계·목표·금지·단위·프레임을 타입 필드로 변환합니다. 임의 자유 텍스트는 기술 호출 인수가 될 수 없습니다. 스키마 검사 실패는 모델 재시도 루프가 아니라 clarify 또는 reject로 종료합니다.

G2 — 장면 증거를 인스턴스와 시간에 묶는다

2D 후보, 마스크, 깊이, 자세와 관계를 하나의 개체 ID에 연결하되 원 출력과 변환을 보존합니다. 관측 사건 시각, 도착 시각, 사용 시각과 보정 세대를 기록합니다. 가림 뒤 상태는 unknown이고, 오래된 그래프는 폐기합니다.

G3 — 의미 최소 대조쌍을 통과한다

바꿔 말하기에는 같은 계약, 속성·관계·부정 변화에는 다른 계약이 나와야 합니다. 지시와 장면이 충돌하면 시각적으로 익숙한 행동을 택하지 않습니다. A01–A12를 모델·프롬프트·지각 버전별로 결정론적으로 재생합니다.

G4 — 과제와 기술 전제 조건을 확인한다

목표 상태가 관측 가능하고 금지 조건과 양립하는지 검사합니다. 허용 목록의 기술만 조회하고, 각 기술의 입력·전제·완료·시간 제한·후퇴를 계약과 대조합니다. 기술이 없다고 자유 텍스트 코드나 새 API를 생성하지 않습니다.

G5 — 기하와 접촉 전 실행 가능성을 검사한다

TAMP, IK, 충돌·작업 공간·속도 투영과 사전 접촉 자세를 검사합니다. 삽입은 자유 공간 운반과 다른 단계이며, 승인된 접촉 기술과 힘 한계가 없으면 incompatible입니다. 의미 점수는 이 관문을 우회하지 못합니다.

언어와 장면에 잘 연결된 기술 요청도 버전이 지정된 전제 조건, 기하, 충돌, 힘, 마감 시간과 사람 승인을 통과해야 합니다 ^{[8] [16] [5]}. SayCan의 실제 로봇 근거와 AutoTAMP의 시뮬레이션 근거는 상위 제안과 실행 가능성 검사의 분리를 지지하고, Black-Box Simplex는 명시된 동역학·시간 경계 안에서 독립 실행 보증과 대체 제어의 근거를 제공합니다. 그러나 접촉 조립 전체를 인증하지 않으며 의미 신뢰도는 물리 검증기를 대신할 수 없습니다.

G6 — 증거 단계를 분리해 승격한다

고정 기록 재생에서 계약 변환과 거부를 먼저 검사하고, 제어기 스텁에서 비허용 호출이 0인지 확인합니다. 그다음 시뮬레이션에서 기하·대기열·오류 주입을, 그림자 실행에서 실제 관측 지연과 제안 분포를 확인합니다. 실제 장치 시험은 별도의 사람이 검토한 제한 시험 카드가 있을 때만 가능하며 이 장의 Codex 작업은 그것을 실행하지 않습니다.

8. 실패를 의미 모델 탓으로 뭉뚱그리지 않는다

진단 순서는 언어 범위 → 개체 동일성 → 부위 → 시간 → 프레임·단위 → 과제 논리 → 기술 전제 → 기하 → 접촉 → 제어·평가입니다. 언어 표현을 바꿀 때마다 실패가 뒤집히면 언어 연결을 보고, 카메라나 보정 세대를 바꿀 때 뒤집히면 장면 연결을 봅니다. 같은 계약이 기하 계획기에서 계속 거부되면 프롬프트를 고치기 전에 자세·점유·작업 공간을 확인합니다.

8.1 근거 단계와 반례를 함께 읽기

논문별 성공률을 합치지 않는 이유가 이 표에 드러납니다. 로봇, 과제, 자료, 행동 공간, 초기화·제외 규칙과 증거 단계가 다릅니다. “열린 어휘”, “공간 이해”, “실제 로봇”이라는 표지만으로 비교 가능성이 생기지 않습니다. 로컬 실험은 동일한 과제 버전과 A01–A12 분모, 동일한 기하·제어·안전 계약에서 방법별 산출물을 비교해야 합니다.

9. 기록할 지표·산출물

필수 묶음은 instruction_contract_schema, instruction_suite, entity_grounding_ledger, scene_graph_snapshot, affordance_hypotheses, grounded_task_contract, skill_selection_trace, ambiguity_rejection_report, proposal_execution_lineage, synchronized_trace, fault_injection, grounding_receipt입니다. 모든 레코드는 모델·프롬프트·지각·장면·과제·기술·보정·평가기 버전을 함께 가집니다.

Terry의 ForceVLA 해설과 DexForce 해설은 힘 정보를 행동 표현에 넣는 후속 읽기입니다. 그러나 이 링크들은 독자 연결용이며 이 장의 주장 근거가 아닙니다. 힘을 보는 모델도 힘 한계나 정지 권한을 소유하지 않는다는 같은 계약을 유지합니다.

9.1 Codex용 제한 구현 지시문

목표
- 기록된 탁상 조립 장면과 지시에서 언어→과제→기술 계약 변환기를 평가한다.
- A01–A12 모호성·모순·부정·누락·금지 시험과 오류 주입을 실행한다.
- 실행 명령이 아닌 grounded proposal/reject/clarify 기록과 평가 보고서를 만든다.

맥락
- S11 cell/sensor/clock/frame/calibration/safety identities를 읽는다.
- S12 task/skill/precondition/postcondition/projection/evaluator/rollback contracts를 읽는다.
- Ch4 camera/action/gripper/adaptation tuple을 고정한다.
- recorded images, depth/point clouds, scene snapshots, controller stubs만 사용한다.

제약 조건
- robot driver, send_action, controller switch, force/limit change, fault clear API를 호출하지 않는다.
- free text를 skill argument로 전달하지 않고 typed schema와 allowlist를 사용한다.
- missing/not measured/not exercised/incompatible/unknown을 추측으로 채우지 않는다.
- observation event/arrival/use time과 frame/unit/calibration generation을 보존한다.
- proposal/projected/sent/accepted-executed ID를 합치지 않는다.
- semantic confidence로 geometry/collision/force/deadline/human approval을 우회하지 않는다.

완료 조건
- instruction_contract_schema와 language→task→skill table이 생성된다.
- 각 지시가 evidence-linked object/part/relation/goal/constraint/precondition을 갖는다.
- A01–A12에 기대 상태, 실제 상태, reason code와 deterministic replay hash가 있다.
- open-vocabulary box/mask, 3D pose, scene relation, affordance, contact geometry를 따로 채점한다.
- false accept, unnecessary reject, clarification resolution, stale rejection,
  skill-precondition violation, geometry rejection, latency와 human handoff를 보고한다.
- grounding_receipt가 exact prior tuple과 restore test를 가리킨다.

안전
- hardware trial을 실행하거나 stop을 해제하지 않는다.
- 산출물은 bounded skill proposal 또는 reject/clarify뿐이다.
- protective stop, E-stop과 최종 승인은 독립 장치와 사람에게 남긴다.

10. 한계와 제6장으로 넘길 인터페이스

이 장의 근거 묶음은 완전한 조립 스택 하나를 검증하지 않습니다. 영상 벤치마크는 로봇 접촉을 다루지 않고, 평면 집기·놓기는 가려진 정밀 삽입을 대표하지 않으며, 형식 계획은 인코딩하지 않은 세계를 검사할 수 없습니다. 최신 공간 VLA와 모순 벤치마크는 유용한 연구 단서지만 로컬 하드웨어, 자료 중복, 장기 작업, 지연·대기열, 힘 사건과 독립 재현의 빈칸이 남습니다. unknown을 채우는 더 큰 모델보다 그 상태에서 멈추는 계약이 먼저입니다.

제6장에 넘길 것은 텍스트 계획이나 실행 궤적이 아닙니다. 버전이 지정된 목표 상태, 개체·부위·관계와 관측 시각, 허용 기술 후보, 전제·금지·완료 조건, 기하 검사 결과, reject/clarify 이유와 증거 단계입니다. 제6장의 세계 모델은 이 계약 아래에서 후보 결과나 실패를 예측하고 계획 후보를 순위화할 수 있습니다. 보이지 않는 상태를 사실로 만들거나, 예측된 성공을 실행 승인으로 바꾸거나, 충돌·힘·실시간 권한을 상속할 수는 없습니다.

예측이 유용한지는 “그럴듯한 미래 영상”이 아니라 이 장의 목표 술어와 실패 분류를 얼마나 정확히 예측하고, 잘못된 후보를 실제 실행 전에 얼마나 걸러 내며, 불확실할 때 얼마나 잘 중단하는지로 평가해야 합니다. 다음 장은 바로 그 예측→검증 후보→실행 승인의 간격을 다룹니다.

보충 근거 지도

다음 묶음은 독립 S13 원장에서 이 장과 연결된 검증 원 자료다. 기존 주장과 분모를 바꾸지 않고 탐색 범위만 명시한다.

• 언어·공간 표현: Visual Language Maps for Robot Navigation, CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision, Explainable deep learning improves human mental models of self-driving cars, CoA-VLA: Improving Vision-Language-Action Models via Visual-Textual Chain-of-Affordance — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 행동·어포던스 연결: CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation, LLaRA: Supercharging Robot Learning Data for Vision-Language Policy, OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.
• 계획·물리 순응: Astra: Efficient Transformer Architecture and Contrastive Dynamics Learning for Embodied Instruction Following, RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World, Language Conditioned Multi-Finger Dexterous Manipulation Enabled by Physical Compliance and Switching of Controllers — 개별 출처의 과제·자료·근거 단계를 합치지 않는다.

참고문헌

1. Şahin, E., Çakmak, M., Doğar, M. R., Uğur, E., & Üçoluk, G. (2007). To Afford or Not to Afford: A New Formalization of Affordances Toward Affordance-Based Robot Control. Adaptive Behavior.
2. Montesano, L., Lopes, M., Bernardino, A., & Santos-Victor, J. (2008). Learning Object-Action Complexes: A Probabilistic Generative Approach. IEEE Transactions on Robotics.
3. Kaelbling, L. P., & Lozano-Pérez, T. (2011). Hierarchical Task and Motion Planning in the Now. IEEE ICRA. arXiv:1011.0010.
4. Paxton, C., et al. (2017). CoSTAR: Instructing Collaborative Robots with Behavior Trees and Vision. IEEE ICRA. arXiv:1611.06145.
5. Mehmood, U., et al. (2022). The Black-Box Simplex Architecture for Runtime Assurance of Autonomous CPS. NASA Formal Methods. DOI: 10.1007/978-3-031-06773-0_12. arXiv:2102.12981.
6. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. ICML. arXiv:2103.00020.
7. Zeng, A., et al. (2021). Transporter Networks: Rearranging the Visual World for Robotic Manipulation. CoRL. arXiv:2010.14406.
8. Ahn, M., et al. (2022). Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. CoRL. arXiv:2204.01691.
9. Minderer, M., et al. (2022). Simple Open-Vocabulary Object Detection with Vision Transformers. ECCV. arXiv:2205.06230.
10. Shridhar, M., Manuelli, L., & Fox, D. (2022a). CLIPort: What and Where Pathways for Robotic Manipulation. CoRL. arXiv:2109.12098.
11. Shridhar, M., Manuelli, L., & Fox, D. (2022b). Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation. CoRL. arXiv:2209.05451.
12. Raman, S. S., et al. (2022). ProgPrompt: Generating Situated Robot Task Plans using Large Language Models. arXiv:2209.11302.
13. Liu, S., et al. (2023). Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection. arXiv:2303.05499.
14. Huang, W., et al. (2023). Grounded Decoding: Guiding Text Generation with Grounded Models for Robot Control. NeurIPS. arXiv:2303.05771.
15. Kirillov, A., et al. (2023). Segment Anything. ICCV. arXiv:2304.02643.
16. Chen, Y., Ding, Y., Branicky, M. S., & Zhang, Z. (2023). AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers. IEEE ICRA / arXiv. arXiv:2306.06531.
17. Rana, K., et al. (2023). SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning. CoRL. arXiv:2307.06135.
18. Qu, D., et al. (2025). SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model. Robotics: Science and Systems. arXiv:2501.15830v5.
19. Zhang, N., Zhu, B., Zhou, S., & Chen, J. (2026). Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration. arXiv:2603.06001v2.
20. Huang, C., et al. (2023). Visual Language Maps for Robot Navigation. IEEE ICRA. arXiv:2210.05714.
21. Kang, G., et al. (2024). CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision. arXiv primary preprint (2024-11-01). arXiv:2411.00508.
22. Kenny, E. M., et al. (2024). Explainable deep learning improves human mental models of self-driving cars. arXiv primary preprint (2024-11-27). arXiv:2411.18714.
23. Li, J., et al. (2024). CoA-VLA: Improving Vision-Language-Action Models via Visual-Textual Chain-of-Affordance. arXiv primary preprint (2024-12-29). arXiv:2412.20451.
24. Li, Q., et al. (2024). CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation. arXiv primary preprint (2024-11-29). arXiv:2411.19650.
25. Li, X., et al. (2024). LLaRA: Supercharging Robot Learning Data for Vision-Language Policy. arXiv primary preprint (2024-06-28). arXiv:2406.20095.
26. Liu, P., et al. (2024). OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics. arXiv primary preprint (2024-01-22). arXiv:2401.12202.
27. Ma, Y., et al. (2024). Astra: Efficient Transformer Architecture and Contrastive Dynamics Learning for Embodied Instruction Following. arXiv primary preprint (2024-08-02). arXiv:2408.01147.
28. Mao, W., et al. (2024). RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World. arXiv primary preprint (2024-11-29). arXiv:2412.00171.
29. Pan, C., et al. (2024). Language Conditioned Multi-Finger Dexterous Manipulation Enabled by Physical Compliance and Switching of Controllers. arXiv primary preprint (2024-10-17). arXiv:2410.14022.