한국 도시계획 분야에 대한 대규모 언어모델의 적합성 평가와 법령 기반 RAG의 효과 분석 - 한국 도시계획기사 시험 문제를 중심으로

도시계획기사 문항으로 LLM의 도시계획 적합성과 법령 RAG 효과를 평가했다.

대규모 언어모델(LLM)은 다양한 전문 분야에서 활용 가능성과 성능을 확대하고 있으나, 한국 도시계획의 법ㆍ제도적 맥락을 반영한 도메인 적합성 검증 연구는 여전히 부족하다. 이에 본 연구는 한국 도시계획 특화 LLM 구축을 위한 사전 평가 연구로서, 도시계획기사 자격시험 문항을 기반으로 평가 데이터셋을 구축하고, 이를 활용하여 오픈소스 경량 LLM 5종과 상용 LLM 3종의 도시계획 도메인 적합성을 평가하였다. 또한 법ㆍ제도적 지식에 대한 의존도가 높은 ‘도시계획관계법규’ 과목을 대상으로 프롬프트 엔지니어링과 검색 증강 생성(RAG)을 적용하여 성능 개선 효과를 비교ㆍ검증하였다. 분석 결과, 도시계획 도메인에서의 성능은 모델의 매개변수 규모에 단순히 비례하지 않았으며, 특히 법규 과목에서는 RAG가 프롬프트 엔지니어링에 비해 보다 일관된 성능 향상을 보였다. 그러나 오픈소스 모델에 RAG를 적용하여 향상된 성능도 상용 LLM이 외부 지식 연계 없이 달성한 수준에 머물러, 온프레미스 환경에서 활용 가능한 경량 모델과 상용 LLM 간의 성능 격차가 확인되었다. 본 연구는 기존 해외 벤치마크로는 충분히 포착하기 어려운 한국 고유의 법체계와 도시계획 제도적 맥락을 반영한 정량적 평가 데이터셋과 성능 기준선을 구축하고, 도메인 지식 연계를 통한 성능 개선을 포함하는 단계적 평가 프레임워크를 제시하였다는 점에서 의의가 있다.

This study examines the domain suitability of LLMs for Korean urban planning by constructing an evaluation dataset from the Korean Urban Planning Engineer certification examination. Five lightweight open-source LLMs and three commercial LLMs were evaluated, with additional tests on prompt engineering and retrieval –augmented generation (RAG) for Urban Planning Laws and Regulations. The results show that performance does not simply depend on model size, while RAG yields more consistent gains than prompt engineering. Yet, open-source models with RAG only reached levels comparable to commercial LLMs without external knowledge, indicating limitations under on-premise deployment.

The study provides a Korea-specific benchmark and a phased framework for integrating domain knowledge.