JM_Research Blog

https://arxiv.org/abs/2304.08485Paper: Visual Instruction TuningCore Idea: 복잡한 멀티모달 연결 모듈 대신, CLIP + Linear Projection + LLM 구조에 Visual Instruction Tuning을 적용해 멀티모달 Assistant를 만든다.핵심 키워드Visual Instruction Tuning이미지와 함께 사용자 지시와 답변 형태로 학습해 멀티모달 Assistant 능력을 만든다.GPT-4 Synthetic DataCaption과 Bounding Box를 이용해 158K Visual Instruction Data를 생성한다.CLIP + Linear Projection + Vicuna복잡한 연결 모듈 없이 Vision Fe..

Flamingo: a Visual Language Model for Few-Shot LearningDeepMind · NeurIPS 2022https://arxiv.org/pdf/2204.14198 핵심 키워드 핵심 키워드 Frozen Vision Encoder + Frozen LLM기존 시각·언어 모델은 유지하고 연결 모듈만 주로 학습한다.Perceiver Resampler많은 visual feature를 고정 개수 visual token으로 압축한다.Gated Cross-AttentionLLM이 이미지 정보를 가져오고, gate로 반영량을 조절한다.Interleaved Image-Text + Few-shotImage → Text → Image → Text 구조를 학습해 멀티모달 In-context..

PaperBLIP — Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generationhttps://arxiv.org/abs/2201.12086BLIP-2 — Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Modelshttps://arxiv.org/abs/2301.125971. 한눈에 보기BLIP-1Vision과 Language를 함께 학습해 Understanding과 Generation을 하나의 모델에서 처리한다.Image ↓Vision Encoder ↓Image Features ..

DINOv2: Learning Robust Visual Features without Supervisionhttps://arxiv.org/abs/2304.07193Meta AI (FAIR)대규모의 정제된 이미지 데이터와 자기지도학습(Self-Supervised Learning)을 이용해, 별도의 라벨이나 텍스트 없이도 다양한 비전 태스크에 재사용할 수 있는 범용 시각 표현(General-purpose Visual Features)을 학습한 모델이다.3줄 요약DINOv2는 이미지 라벨이나 텍스트-이미지 쌍 없이, 1억 4,200만 장 규모의 LVD-142M 데이터로 강력한 범용 시각 특징을 학습한다.학습에는 DINO의 image-level self-distillation, iBOT의 masked patch..