JM_Research Blog

Flamingo: a Visual Language Model for Few-Shot LearningDeepMind · NeurIPS 2022https://arxiv.org/pdf/2204.14198 핵심 키워드 핵심 키워드 Frozen Vision Encoder + Frozen LLM기존 시각·언어 모델은 유지하고 연결 모듈만 주로 학습한다.Perceiver Resampler많은 visual feature를 고정 개수 visual token으로 압축한다.Gated Cross-AttentionLLM이 이미지 정보를 가져오고, gate로 반영량을 조절한다.Interleaved Image-Text + Few-shotImage → Text → Image → Text 구조를 학습해 멀티모달 In-context..

PaperBLIP — Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generationhttps://arxiv.org/abs/2201.12086BLIP-2 — Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Modelshttps://arxiv.org/abs/2301.125971. 한눈에 보기BLIP-1Vision과 Language를 함께 학습해 Understanding과 Generation을 하나의 모델에서 처리한다.Image ↓Vision Encoder ↓Image Features ..

DINOv2: Learning Robust Visual Features without Supervisionhttps://arxiv.org/abs/2304.07193Meta AI (FAIR)대규모의 정제된 이미지 데이터와 자기지도학습(Self-Supervised Learning)을 이용해, 별도의 라벨이나 텍스트 없이도 다양한 비전 태스크에 재사용할 수 있는 범용 시각 표현(General-purpose Visual Features)을 학습한 모델이다.3줄 요약DINOv2는 이미지 라벨이나 텍스트-이미지 쌍 없이, 1억 4,200만 장 규모의 LVD-142M 데이터로 강력한 범용 시각 특징을 학습한다.학습에는 DINO의 image-level self-distillation, iBOT의 masked patch..

📄 π0: A Vision-Language-Action Flow Model for General Robot Control0️⃣ MetaTitle: A Vision-Language-Action Flow Model for General Robot ControlAuthors / Year: 2024 10 31Venue:Paper link: https://arxiv.org/pdf/2410.24164v1Code / Project: 구성 요소 설명 VLM BackbonePaliGemma, 약 3BAction ExpertTransformer, 약 300MAction ModelingFlow Matching출력50-step Continuous Action Chunk 🌞One-line Summaryπ0는 VLM의 시..