Ollama 0.40+, 로컬 의사결정 모델 ‘Laya’ 공식 라이브러리 지원

에이전트 루프의 지연과 환각을 줄이는 로컬 판별 모델

AI 에이전트가 매 단계마다 도구 실행 위험도를 판별하거나 사용자 의도를 분류할 때 수십억 파라미터의 생성형 LLM을 호출하면 지연 시간과 비용이 늘어납니다. 또한 JSON 스키마 파싱 실패나 존재하지 않는 선택지를 만들어내는 환각 문제도 뒤따릅니다.

Convai Innovations가 Apache 2.0 오픈소스로 공개하고 Ollama 공식 모델 라이브러리(ollama pull laya)에 등재된 Laya는 이러한 닫힌 판단(Closed-set Decision) 전용으로 설계된 421M 파라미터 규모의 System One 의사결정 모델입니다.

모델 아키텍처 및 벤치마크 수치 확인

공식 모델 페이지(2026-10-18 확인)에 공개된 사양과 측정치는 다음과 같습니다.

1. ModernBERT-large 기반 인코더 구조 (421M): 텍스트를 순차 생성하는 디코더 없이, 단일 순전파(Single Forward Pass)로 후보 선택지별 보정 확률(Calibrated Probability)을 즉시 산출합니다.
2. TypeSafe Jev 규격 및 Ollama 호환: Ollama 0.40.0 이상 환경을 지원하며, /v1/systemone 엔드포인트는 TypeSafe Jev API 규격을 따릅니다.
3. Convai 자체 측정 지연 및 정확도: 개발사 발표 기준 단일 GPU 환경에서 p50 지연 시간 38.4ms, 학습 범위 과제(in-task) macro 83.8%, 보정 오차(ECE) 0.060을 기록했습니다. 반면 외부 과제 zero-shot 기준으로는 정확도 65.1%, ECE 0.207로 측정되어, 모든 태스크에 대해 동일한 수준의 일반 성능을 보장하는 것은 아닙니다.

실무 도입 시 태그 사양 확인하기

Laya를 도입할 때는 모델 태그별 차이를 사전에 확인해야 합니다. 공식 라이브러리 태그에는 영문 중심의 421m-english 외에도 다국어를 지원하는 322m-multilingual 변형이 함께 등록되어 있어, Laya 전체를 영문 전용 모델로 일괄 단정하기는 어렵습니다.

컨텍스트 토큰 창 역시 기본 latest 태그는 8K로 표기되어 있고 421m-english-mlx-fp16 등 일부 변형은 512 토큰으로 표기되어 있으므로 프로젝트에 맞는 태그를 선별해야 합니다. 문장 생성이 아닌 선택지 판별에 특화된 모델이므로, 개방형 생성 추론은 일반 생성형 LLM에 맡기고 위험도 평가나 라우팅 등 결정론적 분기에 결합하는 구조가 적합합니다. 연동 원리는 Laya로 로컬 에이전트의 의사결정 분리하기 문서에서 자세히 다룹니다.

참고 링크

• Ollama 공식 모델 라이브러리 — laya
• VIVO Wiki — Laya로 로컬 에이전트의 의사결정 분리하기
• VIVO Wiki — Jev로 에이전트 하네스의 판단 분리하기
• VIVO Wiki — Ollama로 로컬 LLM 구동하기