OCR, 다시 연구의 영역으로

🧩세 갈래의 기술적 베팅 #

같은 목표, 갈라지는 아키텍처

Mistral OCR 4, PaddleOCR PP-OCRv6, Baidu Unlimited-OCR은 같은 결과를 노리지만 서로 다른 지렛대를 택한다. 호스팅형 다국어 모델, 파라미터 3500만 개 미만의 온디바이스 제품군, 그리고 KV 캐시를 일정하게 유지하는 롱호라이즌 파서다. 바로 이 갈라짐이 핵심이다.

🌐Mistral OCR 4 #

호스팅형, 다국어, 구조 인식

Mistral OCR 4는 호스팅형 API로서 폭넓은 언어 지원과 문서 구조 출력에 무게를 두며, OCR을 직접 구동하는 모델이 아니라 값이 매겨진 서비스로 자리매김한다. 순수 문자 정확도보다 편의성과 표·레이아웃 재현 충실도로 승부한다.

open_in_new mistral.ai/news/ocr-4

📦PP-OCRv6 #

파라미터 3500만 개 미만으로 50개 언어

PaddleOCR의 PP-OCRv6은 온디바이스로 돌릴 만큼 작으면서도 50개 언어를 아우르는 계층형 제품군을 내놓는다. 이는 호스팅형 VLM에 맞서는 정반대 명제다. 탐지와 인식을 원격 호출이 아니라 작고 내장 가능한 구성요소로 다룬다.

open_in_new huggingface.co/blog/PaddlePaddle/pp-ocrv6

📜Unlimited-OCR #

원샷, 페이지를 자르지 않는 파싱

Baidu의 Unlimited-OCR은 페이지를 잘라내는 대신 KV 캐시를 일정하게 유지해 긴 문서를 한 번에 파싱한다. 이는 OCR을 롱호라이즌 디코딩 문제로 다시 정의하며, 컨텍스트 길이와 메모리가 단 한 번의 순전파로 읽을 수 있는 범위를 좌우한다.

open_in_new github.com/baidu/Unlimited-OCR

🔬엔지니어링 심층 분석 #

수렴을 글로 정리하다

이 세 건의 출시가 문서 OCR을 어떻게 다시 정의하는지 짚어보는 연구 기록, 소형 특화 모델 대 범용 VLM, 페이지를 자르지 않는 롱호라이즌 파싱, 그리고 벤치마크가 포화된 뒤에는 실제로 무엇을 측정해야 하는가.

⚖️특화 모델 대 범용 VLM #

트레이드오프가 실제로 갈리는 지점

문서 전용 모델은 범용성을 포기하는 대신 비용과 지연 시간에서 이득을 얻고, 최첨단 VLM은 무엇이든 읽지만 토큰당 비용을 치르며 표에서 정확도가 흔들린다. 선택의 관건은 최고 정확도라기보다, 1,000페이지당 비용과 그 출력이 후단 파싱에 얼마나 잘 맞물리느냐인 경우가 대부분이다.

💸페이지당 비용 #

진짜 선택 기준이 되는 축

범용 VLM은 렌더링된 페이지 전체에 대해 토큰 단위로 비용을 매기지만, 특화 모델은 일정한 소액만 받는다. 문서 규모에서는 그 차이가 몇 배에 달하며, 그래서 서류상으로는 더 떨어지는 특화 모델이 실제 운영 자리를 차지하는 경우가 많다.

🧾구조 재현 충실도 #

표, 수식, 읽기 순서

단순 문자 정확도는 정작 어려운 부분, 즉 표와 수식, 읽기 순서를 복원하는 일을 가려버린다. 텍스트만이 아니라 구조화된 레이아웃까지 내놓는 모델이라야 실제 PDF와 스캔된 양식에 부딪혀도 살아남는다.

🛠️파이프라인 배치 #

RAG·문서 스택에서 무엇을 어디에 둘까

OCR은 청킹·임베딩·검색의 상류에 자리한다. 이 단계에서 잘못된 모델을 고르면 오류가 하류 전체로 번지므로, '사전 추출'이냐 '루프 안의 VLM'이냐 하는 배치 결정이 벤치마크 점수 한 줄보다 더 중요하다.

🔎사전 추출 대 루프 내 처리 #

두 가지 통합 패턴

OCR을 앞단에서 한 번 돌려 깔끔한 텍스트를 인덱스에 넣어주거나, 에이전트 루프 안에서 VLM이 필요할 때마다 페이지를 읽는 방식이 있다. 사전 추출은 더 저렴하고 캐싱이 가능하며, 루프 내 처리는 유연하지만 쿼리마다 VLM 비용을 치른다.

🧵오류 전파 #

상류의 선택이 누적되는 이유

OCR 단계에서 잘못 읽은 표는 곧 잘못된 임베딩, 잘못된 검색, 그리고 자신만만하게 틀린 답으로 이어진다. 문서 품질을 바로잡는 가장 값싼 지점은 나중의 프롬프트 땜질이 아니라 추출 단계다.

📊벤치마크 천장 #

포화에 다다른 OmniDocBench

여러 모델이 같은 벤치마크에서 90점 위에 몰려 있으면, 리더보드는 더 이상 신호가 되지 못한다. 의미 있는 차이는 다국어 커버리지, 표와 수식에서의 구조 재현 충실도, 페이지당 비용으로 옮겨가는데, 포화된 점수 하나로는 그 어느 것도 잡아내지 못한다.

🗣️다국어 커버리지 #

다음에 올 진짜 차별점

영어 문서 점수가 한데로 수렴하면서, 언어 폭이 모델을 가르는 기준이 된다. 라틴 문자에는 강하지만 CJK·아랍·인도계 문자에는 약한 모델은, 처음부터 전 세계 언어를 아우르도록 학습된 모델과는 전혀 다른 제품이다.

❓다음엔 무엇을 측정할까 #

점수 하나를 넘어서

남은 물음은 포화된 리더보드를 무엇이 대체하느냐다. 언어별 정확도 구간, 구조 수준의 F1, 비용으로 정규화한 품질 같은 지표 말이다. 이런 기준이 표준으로 자리 잡기 전까지 모델 선택은 순위표 조회가 아니라 엔지니어링적 판단의 영역으로 남는다.