| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- multilingual
- VrDU
- document understanding
- Text Recognition
- OCR
- layoutxml
- 레이블링
- layoutlm
- Test set
- document image understanding
- joint training of textual and layout information
- Pre-training
- 딥러닝
- Today
- Total
목록전체 글 (33)
JM_Research Blog
[VLM] InternVL 1.5 : How Far Are We to GPT-4V?Closing the Gap to Commercial Multimodal Models with Open-Source Suites
1. Overview연구 배경 및 핵심 기여제공해주신 논문 초록에 명시된 InternVL 1.5는 오픈소스 Multimodal Large Language Model(MLLM)이 상용 모델(예: GPT-4V)과의 성능 격차를 줄이기 위해 개발한 모델입니다. 주요 개선 사항은 다음과 같습니다.강력한 Vision Encoder (InternViT-6B)대규모 Vision Foundation Model(VFM)인 InternViT-6B에 '지속 학습(continuous learning)' 전략을 도입했습니다.이를 통해 시각적 이해 능력을 극대화했으며, 다양한 LLM에 이식하여 재사용할 수 있는 범용성을 확보했습니다.동적 고해상도 (Dynamic High-Resolution)이미지의 가로세로 비율과 해상도에 따라..
[VLM] LLaVA: Visual Instruction Tuning
PAPER REVIEW · MULTIMODAL LLMVisual Instruction TuningLLaVA — Large Language and Vision AssistantPaper: arXiv:2304.08485 Core Idea복잡한 멀티모달 연결 모듈 대신, CLIP + Linear Projection + LLM 구조에 Visual Instruction Tuning을 적용해 멀티모달 Assistant를 만든다.핵심 키워드Keyword설명Visual Instruction Tuning이미지와 함께 사용자 지시와 답변 형태로 학습해 멀티모달 Assistant 능력을 만든다.GPT-4 Synthetic DataCaption과 Bounding Box를 이용해 158K Visual Instruction ..
[VLM] Flamingo: a Visual Language Model for Few-Shot Learning🦩
PAPER REVIEW · MULTIMODAL VLMFlamingo: a Visual Language Model for Few-Shot LearningDeepMind · NeurIPS 2022 Paper: arXiv:2204.14198 핵심 키워드핵심 키워드설명Frozen Vision Encoder + Frozen LLM기존 시각·언어 모델은 유지하고 연결 모듈만 주로 학습한다.Perceiver Resampler많은 visual feature를 고정 개수 visual token으로 압축한다.Gated Cross-AttentionLLM이 이미지 정보를 가져오고, gate로 반영량을 조절한다.Interleaved Image-Text + Few-shotImage → Text → Image → Text 구조를..
[VLM]BLIP-2 — Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
PAPER REVIEW · VISION-LANGUAGE MODELBLIP & BLIP-2Bootstrapping Language-Image Pre-trainingPaper ReferencesBLIP — Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation arXiv:2201.12086 BLIP-2 — Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models arXiv:2301.12597 1. 한눈에 보기BLIP-1Vision과 Language를 함께 학습해 Under..