[VLA] π0 : A Vision-Language-Action Flow Model forGeneral Robot Control

📄 π0: A Vision-Language-Action Flow Model for General Robot Control

0️⃣ Meta

• Title: A Vision-Language-Action Flow Model for General Robot Control
• Authors / Year: 2024 10 31
• Venue:
• Paper link: https://arxiv.org/pdf/2410.24164v1
• Code / Project:

구성 요소	설명
VLM Backbone	PaliGemma, 약 3B
Action Expert	Transformer, 약 300M
Action Modeling	Flow Matching
출력	50-step Continuous Action Chunk

 

---

🌞One-line Summary

π0는 VLM의 시각·언어 지식과 로봇 전용 Action Expert를 결합하고, Flow Matching 기반의 연속 Action Chunk를 생성하여 범용성과 정교한 조작 능력을 동시에 확보하는 VLA 모델이다.

 

문제

기존 로봇 정책은 특정 작업에 특화되어 있어 데이터 부족, ​일반화·강인성 부족, ​정교한 조작의 한계가 존재한다.

접근

π0는 대규모 Vision-Language Model의 사전학습 지식을 활용하면서, 다양한 로봇 경험을 함께 학습하는 Robot Foundation Model 접근을 제안한다.

핵심 방법

1. VLM + Action Expert
   • PaliGemma의 시각·언어 지식을 활용하고, Action Expert를 추가해 로봇 상태와 행동 처리에 특화
2. Flow Matching + Action Chunking
   • 연속적인 행동 분포를 모델링하고, 미래의 여러 action을 chunk 단위로 생성하여 정교하고 고주파수인 로봇 제어를 수행
3. Pre-training과 Post-training의 역할 분리
   • Pre-training에서는 다양한 로봇과 작업 데이터를 활용해 범용적인 physical skill을 학습
   • Post-training에서는 특정 작업에 적합한 고품질 데이터를 활용해 숙련도와 정밀성을 강화

결과

π0는 Zero-shot 성능, ​언어 명령 추종, ​빨래 접기와 같은 복잡한 다단계 조작 작업에서 기존 모델보다 높은 성능을 보이며, 범용 로봇 파운데이션 모델의 가능성을 보여준다.

---

1. π0가 해결하려는 문제

로봇 정책을 범용적으로 확장하려면 크게 세 가지 문제가 있다.

1.1 데이터 규모와 다양성

로봇 데이터는 인터넷 이미지·텍스트 데이터보다 수집 비용이 높고 규모가 작다. 또한 특정 task와 embodiment에 치우친 데이터만으로는 새로운 환경과 로봇으로 일반화하기 어렵다.

1.2 시각·언어 이해와 로봇 제어의 연결

VLM은 이미지와 언어를 이해하는 데 강하지만, 로봇 제어에 필요한 연속적인 저수준 action을 직접 생성하도록 설계된 모델은 아니다.

따라서 VLM의 semantic knowledge를 유지하면서 실제 로봇 제어로 연결할 수 있는 구조가 필요하다.

1.3 범용성과 숙련도의 균형

다양한 작업을 폭넓게 학습하면 일반화에는 유리하지만, 특정 작업에서 높은 숙련도를 얻기 어렵다. 반대로 특정 task 데이터만 집중적으로 학습하면 숙련도는 높아질 수 있지만 범용성이 떨어진다.

π0는 이를 Pre-training과 Post-training의 역할을 분리하는 방식으로 해결한다.

 

---

2. π0 의 핵심 아이디어

π0의 핵심은 크게 두 가지다.

1. 사전학습된 VLM에 Action Expert를 결합해 로봇 제어 능력을 추가한다.
2. Flow Matching을 사용해 연속적인 Action Chunk를 생성한다.

---

2.1 VLM과 Action Expert의 결합

π0는 사전학습된 VLM을 그대로 로봇 정책으로 사용하는 대신, 로봇 제어에 특화된 Action Expert를 추가한다.

VLM은 다음 역할을 담당한다.

• 이미지 속 객체와 장면을 이해한다.
• 언어 명령의 의미를 해석한다.
• 대규모 시각·언어 사전학습에서 얻은 semantic knowledge를 제공한다.

Action Expert는 다음 정보를 처리한다.

• robot state
• noisy action chunk
• flow timestep
• VLM에서 전달된 image-language context

역할을 단순화하면 다음과 같다.

VLM은 현재 상황과 명령을 이해하고, Action Expert는 이를 실제 로봇 action으로 변환한다.

이 구조를 통해 π0는 VLM의 일반적인 시각·언어 지식을 유지하면서, 로봇 제어에 필요한 연속적이고 정밀한 행동을 별도로 학습할 수 있다.

---

2.2 Flow Matching 기반 Action Chunk 생성

π0는 action을 discrete token으로 하나씩 예측하지 않는다. 대신 랜덤한 action noise에서 시작해 실제 action 방향으로 이동하는 vector field를 학습하고, 이를 적분해 최종 Action Chunk를 생성한다.

핵심 직관은 다음과 같다.

현재 noisy action에서 어느 방향으로 움직여야 실제 action에 가까워지는지를 학습한다.

Random Action Noise
        ↓
Velocity 예측
        ↓
Action 업데이트
        ↓
Velocity 예측
        ↓
...
        ↓
Continuous Action Chunk

π0는 추론 시 여러 번의 integration step을 거쳐 50-step continuous action chunk를 생성한다.

---

3. Flow Matching은 어떻게 학습되는가?

3.1 Noisy Action 생성

실제 action chunk를 \(A_t\), Gaussian noise를 \(\epsilon\)이라고 하면 중간 상태는 다음과 같이 정의한다.

$$A_t^{\tau} = \tau A_t + (1-\tau)\epsilon$$

여기서

 

• \(A_t\): 실제 robot action chunk
• \(\epsilon \sim \mathcal{N}(0,I)\): Gaussian noise
• \(\tau \in [0,1]\): Flow Matching의 시간
• \(A_t^\tau\): noise와 실제 action 사이의 중간 상태

\(\tau=0\)에서는 noise에 가깝고, \(\tau=1\)에서는 실제 action에 도달한다.

---

3.2 Target Vector Field

위 경로를 \(\tau\)에 대해 미분하면

$$\frac{dA_t^{\tau}}{d\tau} = A_t-\epsilon$$

 

따라서 모델이 맞춰야 하는 target vector field는

$$u(A_t^{\tau} \mid A_t) = A_t-\epsilon$$

 

즉 모델은 현재 noisy action에서 실제 action 쪽으로 이동해야 하는 방향과 속도를 학습한다.

---

3.3 모델 예측

모델은 현재 noisy action과 observation을 입력받아 vector field를 예측한다.

$$v_{\theta}(A_t^{\tau}, o_t)$$

여기서 \(o_t\)에는 다음 정보가 포함된다.

 

• 여러 카메라의 RGB 이미지
• 언어 명령
• robot state

---

3.4 Loss

학습의 핵심은 예측 vector field와 target vector field 사이의 차이를 최소화하는 것이다.

$$\mathcal{L}^{\tau}(\theta) = \mathbb{E}{p(A_t \mid o_t), q(A_t^\tau \mid A_t)} \left[\left|v\theta(A_t^\tau,o_t)-u(A_t^\tau \mid A_t)\right|_2^2\right]$$

 

여기서 각 notation의 의미는 다음과 같다.

 

• \(\mathcal{L}^{\tau}(\theta)\): 타임스텝 \(\tau\)에서의 Flow Matching loss
• \(\theta\): 모델의 학습 파라미터
• \(\mathbb{E}\): 학습 데이터와 noisy action 샘플에 대한 기대값
• \(p(A_t \mid o_t)\): observation \(o_t\)가 주어졌을 때 실제 action chunk \(A_t\)의 데이터 분포
• \(q(A_t^\tau \mid A_t)\): 실제 action \(A_t\)로부터 중간 noisy action \(A_t^\tau\)를 생성하는 확률 경로
• \(A_t\): 실제 robot action chunk
• \(A_t^\tau\): Flow Matching의 타임스텝 \(\tau\)에서 생성된 noisy action
• \(o_t\): 현재 observation
• \(v_\theta(A_t^\tau,o_t)\): 모델이 예측한 vector field
• \(u(A_t^\tau \mid A_t)\): 모델이 맞춰야 하는 target vector field
• \(|\cdot|_2^2\): 예측 vector field와 target vector field 사이의 squared L2 distance

즉 모델은 다양한 noisy action 상태에서 실제 action으로 이동하는 올바른 방향을 학습한다.

---

3.5 Inference

추론 시에는 정답 action이 없기 때문에 random action noise에서 시작한다.

$$A_t^0 = \epsilon$$

모델이 velocity를 예측한 뒤,

$$v_{\theta}(A_t^\tau,o_t)$$

다음과 같이 action을 업데이트한다.

$$A_t^{\tau+\delta} = A_t^\tau + \delta v_{\theta}(A_t^\tau,o_t)$$

이 과정을 반복해 최종 Action Chunk를 생성한다.

---

4. π0 모델 구조

π0의 전체 구조는 크게 Pretrained VLM + Action Expert로 볼 수 있다.

4.1 입력과 출력

입력

관측값 \(o_t\)는 다음 정보를 포함한다.

 

• 다중 RGB 이미지 \(I_i^t\)
• 언어 명령 \(l_t\)
• 로봇 상태 \(q_t\)
• Noisy Action Chunk \(A_t^\tau\)

출력

π0는 미래의 행동 하나가 아니라 Action Chunk를 출력한다.

\(A_t = [a_t, a_{t+1}, \dots, a_{t+H-1}]\)

논문에서는 \(H=50\)으로 설정한다.

각 \(a_{t'}\)는 discrete token이 아니라 연속적인 robot action vector이다.

---

 

4.2 PaliGemma VLM

π0는 약 30억 파라미터 규모의 PaliGemma를 VLM backbone으로 사용한다.

PaliGemma는 사전학습을 통해 이미지와 언어에 대한 폭넓은 semantic knowledge를 가지고 있으며, π0는 이 표현을 로봇 제어에 활용한다.

---

4.3 Action Expert

Action Expert는 약 300M 규모의 Transformer 기반 모듈로 다음 정보를 이용한다.

 

• VLM의 image-language context
• current robot state
• noisy action chunk
• flow timestep \tau

이를 바탕으로 다음 velocity를 예측한다.

 $$v_{\theta}(A_t^\tau,o_t)$$

구조를 단순화하면 다음과 같다.

VLM Context
    +
Robot State
    +
Noisy Action
    +
Flow Timestep
        ↓
Action Expert
        ↓
Action Velocity

---

4.4 VLM과 Action Expert의 정보 결합

(VLM과 Action Expert는 완전히 분리된 두 네트워크가 아니다.(MOE 구조)

π0는 하나의 Transformer 안에서 토큰 종류에 따라 서로 다른 expert weight를 사용한다.

• VLM Expert
  • image token
  • language token
• Action Expert
  • robot state token
  • action token

FFN에서는 토큰 종류에 따라 서로 다른 expert weight를 사용하지만, Self-Attention을 통해 image-language context와 action 정보가 결합된다.

따라서 action token은 이미지와 언어에서 얻은 정보를 참조해 현재 상황과 명령에 맞는 행동을 생성할 수 있다.

이 구조의 장점은 두 가지다.

• 전문화
  • VLM의 일반 지식은 유지하면서 로봇 제어에 특화된 가중치를 별도로 학습할 수 있다.
• 추론 효율
  • Flow Matching 과정에서 action-related computation은 여러 번 반복되므로, 전체 VLM보다 작은 Action Expert를 사용해 반복 계산 비용을 줄일 수 있다.

---

5. 데이터 구성과 학습 전략

π0의 중요한 특징 중 하나는 Pre-training과 Post-training의 역할을 명확하게 구분한다는 점이다.

핵심은 다음과 같다.

Pre-training은 범용성을 확보하고, Post-training은 특정 task의 숙련도를 강화한다.

 

5.1 Pre-training: 범용적인 Physical Skill 확보

Pre-training의 목표는 다양한 로봇과 작업을 경험하게 해 재사용 가능한 일반적인 physical skill을 학습하는 것이다.

이를 위해 다음과 같은 다양성을 확보한다.

• 다양한 robot embodiment
• 다양한 task
• 다양한 object와 environment
• 각 task 안에서 다양한 행동 패턴

π0는 Open X-Embodiment(OXE)를 포함한 대규모 로봇 데이터를 사용하며, 전체 사전학습 데이터 규모는 10,000시간 이상이다.

---

5.2 Post-training: 특정 Task의 숙련도 강화

Post-training에서는 범용성을 넓히는 것보다 특정 task를 안정적이고 능숙하게 수행하는 것에 초점을 둔다.

따라서 다음과 같은 데이터가 중요하다.

• 일관된 실행 전략을 포함한 데이터
• 효과적인 task completion에 도움이 되는 행동
• 정밀 조작과 긴 horizon을 포함한 고품질 데이터

즉 Pre-training에서 얻은 범용적인 능력을 기반으로, Post-training에서 task-specific dexterity를 강화한다.

---

5.3 데이터 큐레이션 전략

π0는 단순히 모든 데이터를 동일한 비율로 섞지 않는다.

OXE Magic Soup

Open X-Embodiment 데이터 가운데 학습에 유용한 데이터셋을 선별하고, 적절한 비율로 혼합한다.

Weighting

데이터셋의 규모가 서로 다르기 때문에 단순 샘플링을 사용하면 특정 대규모 데이터가 학습을 지배할 수 있다. 이를 방지하기 위해 데이터셋별 sampling weight를 조절한다.

Task 구성

단순한 개별 동작만 학습하는 것이 아니라, 테이블 정리처럼 여러 행동이 연결되는 복잡한 행동 sequence도 학습에 포함한다.

결국 π0의 데이터 전략은

다양한 데이터를 많이 모으는 것보다, 어떤 데이터를 어떤 비율로 Pre-training과 Post-training에 배치할 것인가

에 초점을 둔다.

---

6. 실험 결과

π0의 실험은 크게 네 가지 질문을 검증한다.

1. 대규모 Pre-training이 Zero-shot Generalization에 도움이 되는가?
2. VLM의 언어 이해 능력이 실제 로봇의 Language Following 성능으로 이어지는가?
3. Pre-training이 새로운 task에 대한 Fine-tuning과 Transfer를 개선하는가?
4. π0가 긴 horizon과 높은 정밀도를 요구하는 복잡한 다단계 조작 작업까지 수행할 수 있는가?

---

6.1 Zero-shot Generalization

목적

대규모 로봇 데이터로 Pre-training된 π0가 별도의 Post-training 없이 다양한 작업을 얼마나 잘 수행하는지 평가한다.
즉, Pre-training만으로 어느 정도의 범용적인 robot skill을 확보할 수 있는지를 확인하는 실험이다.

평가 Task

Task	설명
Shirt Folding	셔츠를 펼치고 접는 작업. 변형되는 물체를 다뤄야 하므로 섬세한 manipulation이 필요함
Bussing Easy / Hard	식기와 쓰레기를 구분해 각각 올바른 통에 넣는 다단계 작업. Hard 버전은 더 많은 물체와 복잡한 배치를 포함
Grocery Bagging	다양한 식료품을 인식하고 봉투 안에 넣는 작업
Toast Out of Toaster	토스터에서 토스트를 꺼내 접시에 올려놓는 작업. 정확한 파지와 위치 제어가 필요함

비교 모델

Model	특징
OpenVLA	기존 VLA baseline
Octo	범용 로봇 정책 baseline
π0-small	약 4억 7천만 파라미터 규모, VLM 사전학습을 사용하지 않은 소형 모델
π0 compute-parity	baseline과 유사한 160k training step으로 학습
Full π0	700k step으로 학습한 전체 모델

주요 결과

• Full π0가 모든 Zero-shot task에서 가장 높은 성능을 보였다.
• 특히 Shirt Folding과 Bussing Easy에서는 매우 높은 성공률을 기록했다.
• 학습량을 baseline과 비슷하게 맞춘 π0 compute-parity 역시 OpenVLA와 Octo보다 높은 성능을 보였다.
• π0의 성능 향상은 단순히 더 많은 training step을 사용한 결과만으로 설명하기 어렵다.
  • 동일한 수준의 compute에서도 π0가 baseline을 앞섰다는 점은 VLM 기반 표현, Action Expert, continuous action modeling을 결합한 π0의 구조 자체가 성능에 기여한다는 점을 보여준다.

---

6.2 Language Following

목적

π0가 언어 명령을 얼마나 잘 이해하고 실제 행동으로 연결하는지 평가한다.

특히 단순히 전체 task instruction만 주는 경우와, 중간 단계의 세부 명령을 추가로 제공하는 경우를 비교해 VLM의 언어 이해 능력이 실제 robot performance에 영향을 주는지 확인한다.

평가 Task

Task	설명
Bussing	그릇과 식기는 식기통에, 쓰레기는 쓰레기통에 넣는 작업
Table Setting	통에서 필요한 물체를 꺼내 식탁을 세팅하고, 언어 지시에 따라 배치를 조정하는 작업
Grocery Bagging	다양한 식료품을 봉투에 넣는 작업으로, 중간 단계 언어 지시의 효과를 평가

비교 방식

Model	Setting 설명
π0-flat / π0-small-flat	전체 task instruction만 제공
π0-human / π0-small-human	인간이 중간 단계 instruction을 제공
π0-HL	High-level VLM policy가 중간 단계 instruction을 자동 생성해 π0에 전달

주요 결과

• π0는 π0-small보다 전반적으로 높은 Language Following 성능을 보였다.
• 인간이 중간 instruction을 제공했을 때 π0의 성능이 크게 향상됐다.
• High-level VLM이 생성한 instruction을 사용했을 때도 성능 향상이 나타났다.
• 반면 π0-small은 중간 instruction이 추가되어도 개선 폭이 상대적으로 작았다.
• VLM의 언어 이해 능력이 단순한 semantic representation에 머무르지 않고 실제 robot action generation 성능으로 연결된다.
• 특히 복잡한 task를 작은 단계로 나누어 언어로 제시했을 때 성능이 향상된다는 점은, π0가 VLM의 언어 지식을 실제 제어에 효과적으로 활용하고 있음을 보여준다.

---

6.3 Fine-tuning & Transfer

목적

Pre-training 데이터에 포함되지 않은 새로운 task에 π0를 Fine-tuning했을 때 얼마나 빠르게 적응하는지 평가한다.

특히 Pre-training에서 학습한 skill이 새로운 task로 얼마나 잘 transfer되는지, 그리고 적은 Fine-tuning 데이터에서도 효과가 있는지를 확인한다.

평가 Task

구분	Task	설명
Easy Tier	UR5e Stack Bowls	여러 개의 그릇을 순서대로 쌓는 작업
Easy Tier	Towel Folding	수건을 펼치고 접는 작업
Unseen New Element	Tupperware in Microwave	플라스틱 용기를 전자레인지 안에 넣는 작업. manipulation은 유사하지만 새로운 환경 요소가 등장
New Motions / Object Types	Paper Towel Replacement	기존 휴지를 제거하고 새 휴지로 교체하는 작업
New Motions / Object Types	Franka Items in Drawer	Franka 로봇을 이용해 물체를 서랍 안에 넣는 작업

비교 모델

Model	학습 방식
OpenVLA	OXE Pre-training 후 Fine-tuning
Octo	OXE Pre-training 후 Fine-tuning
ACT	Target task 데이터로 scratch부터 학습
Diffusion Policy	Target task 데이터로 scratch부터 학습
π0 Fine-tuned	Pre-trained π0를 새로운 task에 Fine-tuning
π0-scratch	Pre-training 없이 해당 task 데이터만으로 학습

평가 방식

Fine-tuning에 사용하는 데이터 양을 변화시키며 성능을 비교한다.

예를 들어

• 1시간
• 5시간
• 25시간

등 서로 다른 데이터 양에서 각 모델의 성능 변화를 측정한다.

주요 결과

• π0 Fine-tuned가 전반적으로 다른 방법보다 높은 성능을 보였다.
• 특히 적은 Fine-tuning 데이터 조건에서 π0 Fine-tuned와 π0-scratch의 차이가 크게 나타났다.
• Pre-training에서 경험한 행동과 유사한 task일수록 transfer 효과가 더 크게 나타났다.
• ACT와 Diffusion Policy도 일부 task에서 높은 성능을 보였지만 전체적으로 π0를 넘지는 못했다.
• Pre-training에서 학습한 범용적인 physical skill이 새로운 task의 학습 효율을 높인다.
  • 특히 데이터가 적을수록 Pre-training의 이점이 크게 나타난다는 점은, π0가 특정 task의 행동을 단순히 암기한 것이 아니라 다른 task에서도 재사용할 수 있는 representation과 skill을 학습했음을 보여준다.

---

6.4 Complex Dexterous Manipulation

목적

π0가 단순한 pick-and-place를 넘어, 수십 분 동안 여러 행동을 연속적으로 수행해야 하는 복잡하고 긴 horizon의 dexterous manipulation까지 처리할 수 있는지 평가한다.

이 실험에서는 객체 일반화, 양팔 협응, 정밀 파지, 행동 순서 결정 등 여러 능력이 동시에 요구된다.

평가 Task

Task	설명
Laundry Folding	초기 상태가 매번 다른 빨래를 펼치고 접는 작업
Mobile Dryer	모바일 로봇이 건조기에서 빨래를 꺼내 바구니에 넣는 작업
Table Bussing	다양한 물체가 놓인 실제 식탁을 정리하는 작업
Box Building	납작한 판지 상자를 조립하는 작업. 양팔 협응과 구조 지지가 필요
To-go Box	접시의 음식을 테이크아웃 용기에 옮기고 상자를 닫는 작업
Packing Eggs	달걀을 집어 달걀판에 넣고 뚜껑을 닫는 작업. 정밀 파지가 필요

비교 방식

Model	설명
Full π0	Pre-training + Post-training을 모두 수행
π0 Zero-shot	Pre-training만 수행
π0 Scratch	Post-training용 task 데이터만으로 처음부터 학습

주요 결과

• Full π0가 모든 복잡한 task에서 가장 높은 성능을 기록했다.
• 난도가 높은 task일수록 Pre-training의 효과가 더 크게 나타났다.
• π0-scratch는 특히 복잡한 multi-stage task에서 낮은 성능을 보였다.
• Pre-training만 수행한 Zero-shot 모델보다 Post-training까지 적용한 Full π0가 안정적으로 높은 성능을 보였다.
• Pre-training과 Post-training은 서로 다른 역할을 수행하며, 두 단계를 결합할 때 복잡한 manipulation에서 가장 높은 성능을 얻는다.
  • Pre-training은 다양한 robot experience를 통해 범용적인 physical skill과 generalization 능력을 제공하고, Post-training은 특정 task에서 요구되는 정밀성, 안정성, 숙련도를 강화한다.

---

7. 핵심 정리

π0의 핵심은 단순히 VLM에 robot action head를 추가한 것이 아니다.

1. VLM의 지식을 로봇 제어로 연결

PaliGemma의 시각·언어 지식을 유지하면서 Action Expert를 추가해 low-level robot control까지 연결한다.

2. Continuous Action을 직접 모델링

Flow Matching과 Action Chunking을 사용해 discrete token 대신 연속적인 action distribution을 모델링한다.

3. 범용성과 숙련도를 학습 단계에서 분리

• Pre-training: 다양한 로봇과 task에서 범용적인 physical skill 확보
• Post-training: 특정 task의 숙련도와 정밀성 강화

결국 π0는

VLM의 semantic knowledge + continuous action modeling + large-scale robot learning

 

을 결합해 범용성(generalization)과 능숙함(dexterity)을 동시에 확보하려는 Robot Foundation Model이다.