MEDICAL CONTEST

주제2

[병리영상(방광암) 분석]
REG 2024 (Report Generation for Pathology using Giga-pixel
Whole Slide Images in Bladder Tumor, 2024)

[ 2024년 08월 28일 수요일 ~ 2024년 10월 22일 화요일 ]

연구주제 제안 배경

시각-언어 거대 모델(Vision-language foundation model)의 비약적 발전은 의료 도메인에서 다양한 도전적 시도를 가능케 하였음(1-3). 대표적으로 이미지 이해(Image Understanding)를 기반으로 한 자연어 생성(Natural Language Generation, NLG) 기술인 Image Captioning이 있음. 기가 픽셀의 거대 병리 이미지를 이용한 NLG 는 Slide-level feature extraction 등 난이도 높은 이미지 분석 기술이 요구되어 기술적으로 도전적 과제이며, 이를 해결하기 위한 여러 연구들이 시도되고 있음(4-6). 이에 Image captioning 을 이용한 병리 보고서 자동 생성 모델은 병리 이미지 분석 기술 개발에 요구되는 높은 기술적 수준을 가능케 할 것으로 기대함(7-9). 동시에 고질적 인력난을 겪고 있는 병리 진단 분야의 생산성 증대를 기대할 수 있음.

연구주제 정의

방광암 WSI 기반 병리 보고서 생성 모델 개발
(REG: REport Generation for Pathology using Giga-pixel Whole Slide Images in Bladder Tumor)

연구 설명

1. 연구 데이터 (PIT_BLT: Pathology Image and Text for BLadder Tumor) 2023년 인공지능 학습용 데이터 구축 사업을 통해 수집된 비뇨기계 암 병리이미지 데이터 중 고려대학교의료원에서 수집된 방광암 데이터 중 일부를 정제하여 활용함. 병리 보고서는 CAP 가이드라인(Urinary bladder, Resection, v4.2.0.0)를 기반으로 병리 전문의 3인에 의해 재구성하였고, 불일치하는 경우 논의를 통해 합의를 도출함. 이때 보고서에 기재되는 내용은 Procedure, Histologic type, Histologic Grade, Tumor Extent, Muscularis Propria으로 이루어지고, Histologic type은 WHO classification 5th 기반하여 기재하며, histologic subtype 에 대해 squamous differentiation 여부만 기재함. 기타 소견으로 육아종성 염증 반응(granulomatous inflammation)이 있는 경우 추가 기재함. << Data set, PIT_BLT (Pathology Image and Text for BLadder Tumor) >>
- 구성: WSI 병리 이미지와 보고서 쌍 데이터
- Image(WSI): x200, 0.5 µm/pixel, 확장자명 .tiff(converted from its original formats)
- Text(Label): 병리보고서, 확장자명 .txt

2. 방광암 진단 기준

병리 진단명 (Histology type)	Urothelial carcinoma in situ	Non-invasive papillary urothelial carcinoma, low grade	Non-invasive papillary urothelial carcinoma, high grade	Invasive urothelial carcinoma
침윤 (invasion)	x	x	x	o
침윤 정도 (Tumor extent)	NA	NA	NA	Subepithelial connective tissue or muscularis propria
유두상 증식 (papillary growth)	o	o	o	NA
이형성 등급 (Histologic grade)	고등급 이상	저등급	고등급	고등급 이상
기타 소견	- 암종의 Squamous differentiation 여부 - 검체에muscularis propria포함 여부 - Chronic granulomatous inflammation with foreign body reaction 동반 여부

3. 샘플 데이터

Sample 1: Invasive urothelial carcinoma with Subepithelial connective tissue invasion
Paired WSI(left) and Pathology Report(right)
Urinary bladder, transurethral resection; Invasive urothelial carcinoma, with subepithelial connective tissue invasion Note) The specimens include muscle proper.
<left: subepithelial connective tissue invasion(red box), right: muscularis propria(blue box)>

Sample 2: Invasive urothelial carcinoma with muscularis propria invasion
Paired WSI(left) and Pathology Report(right)
Urinary bladder, transurethral resection; Invasive urothelial carcinoma, with 1) squamous differentiation 2) invasion to muscularis propria Note) The specimens include muscle proper.
<left: muscularis propria invasion(red box), right: squamous differentiation(blue box)>

Sample 3: Urothelial carcinoma in situ
Paired WSI(left) and Pathology Report(right)
Urinary bladder, transurethral resection; Urothelial carcinoma in situ Note) The specimens include muscle proper.
<left: Urothelial carcinoma in situ(red box), right: muscularis propria(blue box)>

Sample 4: Non-invasive papillary carcinoma, high-grade
Paired WSI(left) and Pathology Report(right)
Urinary bladder, transurethral resection; 1. Non-invasive papillary urothelial carcinoma, high grade 2. Chronic inflammation with foreign body reaction Note) The specimen includes muscle proper.
<left: Non-invasive papillary Urothelial carcinoma(red box) right: Granulomatous inflammation with foreign body reaction(blue box)>

평가기준

- Test set 은 Public 및 Private test set으로 구성
- 참가자들은 Public test set으로 모델 성능 중간 평가 후 모델 고도화 진행
- 대회 종료 후 Public 및 Private test set 예측값을 심사하여 최종 score 공개

- 평가기준
① 활용 평가 지표
A. Word score: ROUGE-L, BLEU-4
B. Keyword score: Scispacy Jaccard
C. Embedding score: GPT3 활용하여 similarity 측정
D. Mean Opinion Score (MOS) : Private test 한해 평가 예정

② 최종 결과물
A. 배포된 Test set 의 WSI에 대응하는 병리 보고서(파일형식: file name.txt)
B. 학습에 사용한 implementation, pipeline에 대한 영문 설명 및 모식도(A4 1장 미만)
C. 재현 가능한 code

③ Test set 에 따른 평가 방법
A. Public test set : 20% 반영
Ranking scorePu = 0.15* ROUGE-L + 0.15*BLEU-4 + 0.4*Scispacy Jaccard + 0.3*Embedding score
B. Private test set : 80% 반영
Ranking scorePr = 0.1*ROUGE-L + 0.1*BLEU-4 + 0.3*Scispacy Jaccard + 0.2*Embedding score
가장 높은 Ranking scorePr 결과는 병리 전문의 5인에 의해 Mean Opinion Score(MOS, 0~1) 진행하여
하기 기술된 Final score 도출
C. Final score = 0.2*Ranking scorePu + 0.56*Ranking scorePr + 0.24*MOS

진행일정

2024년 08월 28일(수; 1일차) 11시 > Training set 공개

2024년 08월 28일(수; 1일차) ~ 2024년 09월 24일(화; 28일차) > Training set 대상 모델학습
2024년 09월 25일(수; 29일차) 11시 > Public test set 공개

2024년 09월 25일(수; 29일차) ~ 2024년 10월 09일(수; 43일차) > 모델 고도화

2024년 09월 30일(월; 34일차) ~ 2024년 10월 04일(금; 38일차) 11시까지 > 1) Public Test set 대상 예측값을 제출(하루 한번 제출 허용)

2024년 09월 30일(월; 34일차) ~ 2024년 10월 04일(금; 38일차) 16시 > 2) Public Test set Ranking scorePu 및 순위 홈페이지 내 공개
2024년 10월 10일(목; 44일차) 11시 > Private test set 공개

2024년 10월 14일(월; 48일차) ~ 2024년 10월 17일(목; 51일차) 11시까지 > 1) Private Test set 대상 예측값을 제출(하루 한번 제출 허용)

2024년 10월 14일(월; 48일차) ~ 2024년 10월 17일(목; 51일차) 16시 > 2) Private Test set Ranking scorePu 및 순위 홈페이지 내 공개
2024년 10월 21일(월; 55일차) 9시까지 > 최종 모델에 대한 영문 보고서, code 제출

Test set 대상 Leaderboard 운영안내

2024년 09월 30일(월; 34일차): 11시까지 Public test set 대상 예측값 (제출 폴더명: pu_day1)

2024년 09월 30일(월; 34일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 01일(화; 35일차): 11시까지 Public test set 대상 예측값 (제출 폴더명: pu_day2)

2024년 10월 01일(화; 35일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 02일(수; 36일차): 11시까지 Public test set 대상 예측값 (제출 폴더명: pu_day3)

2024년 10월 02일(수; 36일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 03일(목; 37일차): 11시까지 Public test set 대상 예측값 (제출 폴더명: pu_day4)

2024년 10월 03일(목; 37일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 04일(금; 38일차): 11시까지 Public test set 대상 예측값 (제출 폴더명: pu_day5)

2024년 10월 04일(금; 38일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 14일(월; 48일차): 11시까지 Private test set 대상 예측값 (제출 폴더명: pr_day1)

2024년 10월 14일(월; 48일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 15일(화; 49일차): 11시까지 Private test set 대상 예측값 (제출 폴더명: pr_day2)

2024년 10월 15일(화; 49일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 16일(수; 50일차): 11시까지 Private test set 대상 예측값 (제출 폴더명: pr_day3)

2024년 10월 16일(수; 50일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개
2024년 10월 17일(월; 51일차): 11시까지 Private test set 대상 예측값 (제출 폴더명: pr_day4)

2024년 10월 17일(월; 51일차): 16시 Public test set 기준 결과값 및 순위 홈페이지 내 공개

* Leaderboard용 결과물 제출은 “filename.xlsx” 형식으로 개별 폴더에 제출

Reference

1. Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2015). Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3156-3164).
2. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021, July). Learning transferable visual models from ‘natural language supervision. In International conference on machine learning (pp. 8748-8763). PMLR.
3. Saab, K., Tu, T., Weng, W. H., Tanno, R., Stutz, D., Wulczyn, E., ... & Natarajan, V. (2024). Capabilities of gemini models in medicine. arXiv preprint arXiv:2404.18416.
4. Xu, H., Usuyama, N., Bagga, J., Zhang, S., Rao, R., Naumann, T., ... & Poon, H. (2024). A whole-slide foundation model for digital pathology from real-world data. Nature, 1-8.
5. Chen, R. J., Chen, C., Li, Y., Chen, T. Y., Trister, A. D., Krishnan, R. G., & Mahmood, F. (2022). Scaling vision transformers to gigapixel images via hierarchical self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 16144-16155).
6. Shaikovski, G., Casson, A., Severson, K., Zimmermann, E., Wang, Y. K., Kunz, J. D., ... & Fuchs, T. J. (2024). PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology. arXiv preprint arXiv:2405.10254.
7. Chen, P., Li, H., Zhu, C., Zheng, S., & Yang, L. (2023). MI-Gen: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images. arXiv preprint arXiv:2311.16480.
8. Sun, Y., Zhu, C., Zheng, S., Zhang, K., Sun, L., Shui, Z., ... & Yang, L. (2024, March). Pathasst: A generative foundation ai assistant towards artificial general intelligence of pathology. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 38, No. 5, pp. 5034-5042).
9. Truhn, D., Loeffler, C. M., Müller‐Franzes, G., Nebelung, S., Hewitt, K. J., Brandner, S., ... & Kather, J. N. (2024). Extracting structured information from unstructured histopathology reports using generative pre‐trained transformer 4 (GPT‐4). The Journal of Pathology, 262(3), 310-319.