자연어로 작성된 판독문서 특정 병명 추출하는 레이블러 프로젝트

발병 빈도, 중요도 높은 ▲골절 ▲흉막 병변 ▲기흉 등 총 13가지 병명 추출 가능

10개 병명 대상 추출 정확도 측정 결과, 타사 모델 대비 높은 90.39%의 정확도 기록

카카오브레인이 흉부 엑스레이 판독문에서 특정 병명을 추출하는 의료영상 판독문 전문 레이블러 프로젝트를 16일 ‘깃허브(Github)’에 공개했다.

레이블러 프로젝트는 글머리 기호 형식 등 정리되지 않은 자연어로 작성된 판독문에서 특정 병명을 추출하는 연구 개발 프로젝트이다. 흉부 엑스레이 결과를 바탕으로 진단 가능한 병명 중 발병 빈도 또는 중요도가 높은 ▲골절 ▲흉막 병변 ▲기흉 등 총 13가지 병명 추출이 가능한 것이 특징이다. 예를 들어 사용자가 자연어로 작성된 판독문을 입력하면, 판독문 분석 후 13개 병명에 대한 양성·음성 여부를 알려주게 된다.

카카오브레인은 의료 진단 업무 개선에 기여하고자 기존에 공개된 타사 모델보다 정확하고 효율적으로 특정 병명을 추출하는 레이블러 프로젝트 연구에 착수했다. 이 프로젝트는 카카오브레인의 흉부 엑스레이 초안 판독문 생성 기술의 내부 성능 검증 연구에도 활용된 바 있다.

카카오브레인이 실제 ▲골절 ▲기흉 ▲폐부종 등 10개 병명을 대상으로 병명 추출의 정확도를 측정한 결과, 카카오브레인의 레이블러 프로젝트가 타사 모델(약 76%) 대비 현격히 높은 정확도인 90.39%를 기록했다.

카카오브레인은 레이블러 프로젝트를 ‘깃허브(Github)’에 공개하면서 지난달 말 레이블러의 학습법과 성능 비교 결과를 담은 논문 ‘대규모 언어 모델을 활용한 향상된 흉부 X선 판독문 라벨링(CheX-GPT: Harnessing Large Language Models for Enhanced Chest X-ray Report Labeling)’을 논문 공개 사이트 ‘아카이브(arXiv)’에 게재했다.

한편, 카카오브레인은 ‘기술이 만드는 더 나은 세상’이라는 카카오와 공동체의 핵심 가치에 부합하도록 AI 기술 노하우를 공유하고 새로운 가치를 창출하고자 노력하고 있다. 지난 1월 공개한 오픈소스 프로젝트인 ‘허니비(가칭)’와 같이 이번 레이블러 공개도 AI 오픈소스 생태계 활성화를 위함이다.

카카오브레인 김일두 각자 대표는 “많은 연구자들이 카카오브레인의 레이블러 프로젝트를 테스트 벤치마크로 활용할 수 있도록 직접 제작한 테스트 셋을 공개할 예정”이라며 “자사의 언어 모델을 활용하고, 흉부 엑스레이 데이터를 추가로 학습 시키는 등 레이블러 프로젝트의 성능을 더욱 향상시킬 계획”이라고 전했다.

한정렬 기자  jrh05@hanmail.net

<저작권자 © 데일리메디팜, 무단 전재 및 재배포 금지>