Khóa luận tốt nghiệp: Phân đoạn ung thư não sử dụng các phương pháp học sâu
date
Jun 14, 2023
slug
pub-bachelorthesis
status
Published
tags
Publication
summary
My graduate thesis in HUFLIT: Brain Tumor Detection using Deep Learning
type
Post
Student: Hoang Son-Vo Thanh
Adviser: MSc. Tram-Tran Quynh-Nguyen
Tóm tắt
Ung thư não, cụ thể là ung thư thần kinh đệm là một loại ung thư ác tính, phát triển nhanh và rất kháng thuốc. Cách điều trị tốt nhất loại ung thư này là phẫu thuật cắt bỏ tối đa khối ung thư. Hình ảnh chụp cộng hưởng từ là phương pháp thu nhận hình ảnh tốt nhất cho quá trình phân tích và chẩn đoán khối u. Để hỗ trợ việc phân tích khối ung thư, các phương pháp dựa trên học sâu đã và đang được áp dụng. Luận văn này sẽ trình bày tổng quát về vấn đề hiện nay của bài toán phân đoạn khối u thần kinh đệm, các tiến bộ gần đây trong học sâu đã chứng minh sự thành công trong các bài toán ứng dụng lĩnh vực y học, đặc biệt là nhận dạng ung thư. Luận văn đề xuất mô hình 3D Dual-Domain Attention dựa trên cơ chế Attention để nhận dạng khối u chính xác hơn, dựa trên sự kết hợp giữa ngữ cảnh và miền không gian. Bên cạnh đó, luận văn còn đề xuất phương pháp kết hợp nhiều mô hình với mạng 3D Dual-Fusion Attention. Phương pháp này sẽ tăng cường chất lượng kết quả bằng cách tổng hợp thông tin chung toàn cục và thông tin cục bộ của những feature maps được trích xuất từ các mô hình. Ngoài ra trong luận văn này còn phát triển một ứng dụng trên nền tảng 3D Slicer giúp người dùng có thể dễ dàng sử dụng các phương pháp của tôi.
Giới thiệu
U thần kinh đệm là một là một trong những bệnh ung thư ác tính và rất khó để loại bỏ. Nó được hình thành từ các tế bào thần kinh đệm, một loại tế bào trong não bộ và tuỷ sống có nhiệm vụ nhận và truyền các tín hiệu. Hình 1.1 thể hiện u thần kinh đệm phát triển lan rộng vào các phần bình thường của não gây ra các triệu chứng đau đầu, động kinh, yếu cơ, các vấn đề trí nhớ, tư duy, …
Hơn thế nữa, u thần kinh đệm là loại ung thư chiếm 50% tỉ lệ các loại ung thư não và bệnh nhân thường có thời gian sống trung bình từ 14-15 tháng sau khi được chẩn đoán mắc bệnh [2]. Bao bọc quanh khối ung thư là rất nhiều mạch máu được gọi là các hàng rào mạch máu não (blood-brain tumor barrier), những hàng rào này cản lại phần lớn các chất xạ trị [3]. Phương pháp điều trị hiệu quả nhất cho loại ung thư này là loại phẫu thuật loại bỏ tối đa khối u [4] càng sớm càng tốt thông qua ảnh chụp cắt lớp (CT) và chụp cộng hưởng từ (MRI). Tuy nhiên, việc phân tích và chẩn đoán ung thư thần kinh đệm đòi hỏi rất nhiều thời gian, công sức của các bác sĩ, cũng như dễ bị sai sót. Do đó, nhiều nghiên cứu khoa học được tiến hành với mục đích giải quyết bài toán phân đoạn u thần kinh đệm bằng hình ảnh MRI [6-7]. Với sự phát triển nhanh chóng của các mạng học sâu, hiệu quả của bài toán phân đoạn u thần kinh đệm ngày càng được cải thiện và có các bước đột phá lớn [8].
Vì vậy, vấn đề cần giải quyết trong luận văn là chẩn đoán u thần kinh đệm thông qua phân đoạn khối ảnh MRI từ nhiều nguồn phương thức chụp MRI như trong Hình 1.2 áp dụng các kỹ thuật học sâu. Dữ liệu đầu vào là các ảnh MRI ứng với các phương thức chụp khác nhau đã được chuẩn hóa về cùng một trục tọa độ (image registration). Kết quả mong muốn là dự đoán từng voxel trong khối MRI đâu là phần bình thường (normal), đâu là tồn tại khối u, trong đó có 3 loại khối u theo tiến triển gồm toàn bộ khối u (whole tumor), lõi khối u (tumor core), khối ngấm thuốc (enhancing tumor).
Trong những chương tiếp theo, luận văn này phát triển một mô hình sử dụng cơ chế Attention để giải quyết những vấn đề về ngữ cảnh của khối ung thư. Đối với phương pháp này luận văn sẽ đề xuất một module Attention song miền sử dụng phương pháp Residual learning và có thể tích hợp vào mô hình mạng DynUNet [18] đề góp phần tăng cường hiệu suất. Module này sẽ trích xuất thông tin từ miền không gian và miền nội dung của dữ liệu sau đó có thể kết hợp thông tin từ hai miền để giúp tăng cường hiệu quả của cả mô hình. Hơn thế nữa, luận văn này phát triển một mô hình có thể kết hợp hai mô hình cơ bản. Mô hình này sẽ sử dụng phương pháp Fusion, cơ chế tự chú ý (Self-Attention) và phương pháp Residual learning. Mô hình này sẽ giúp kết hợp hai feature maps được trích xuất từ hai mô hình cơ bản. Cơ chế tự chú ý sẽ tạo dựng mặt nạ đặc trưng chung, điều này sẽ giúp làm nổi bật những thông tin toàn cục. cuối cùng khối dạng residual learning sẽ làm nhiêm vụ tổng hợp các thông tin miền cục bộ từ các đặc trưng riêng biệt. Vì thế kết quả của phương pháp này có thể nhấn mạnh các thông tin chung của 2 feature maps đầu vào mà không bỏ qua các thông tin riêng biệt.
Mạng 3D Dual-Domain Attention
Giới thiệu
Trong chương này, chúng tôi đề xuất một module 3D Dual-Domain Attention mới (DDA3D) được hiển thị tại Hình 3.2. Module được gắn vào trong các giai đoạn mã hóa của đường trục DynNet để học những thông tin toàn cục và cục bộ bằng phương pháp học tập chú ý dư [44]. Điểm nổi bật của DDA3D là xây dựng khối miền không gian S và khối giải mã D trên trục chính của mô hình gốc để tập trung vào các chi tiết cục bộ từ voxel-to-voxel. Ngược lại, khối ngữ cảnh C có nhiều lớp sâu hơn để học thông tin toàn cầu bằng một trường tiếp nhận lớn. Khối Dual-Domain Fusion dựa trên [45] sẽ hợp nhất thông tin của hai miền với độ phân giải không gian và kích thước kênh khác nhau. Hình 3.1 là hình ảnh grad-cam cho thấy feature maps sau khi được mã hóa khi sử dụng và không sử dụng 3D-DDA trên DynUNet cho thấy feature maps mã hóa sử dụng 3D-DDA có trường tiếp nhận lớn hơn trên các vùng khối u so với trường hợp không sử dụng 3D-DDA.
Những đóng góp chính của chương này như sau: (1) 3D Dual-Domainn Attention tinh chỉnh feature maps đầu vào sau đó tinh chỉnh bằng cách kết hợp thông tin cục bộ và toàn cục, (2) áp dụng phương pháp Residual Learning để có thể hợp nhất các chi tiết phong phú trong miền không gian với các trường tiếp nhận lớn hơn trong miền ngữ cảnh, (3) các thử nghiệm của chúng tôi trên BraTS 2018 đạt được hiệu suất tốt so với các phương pháp hiện tại.
Phương pháp đề xuất
Kết quả
Method | Year | Dice score | ||
ㅤ | ㅤ | WT | TC | ET |
Brugger et al. [48] | 2019 | 0,91 | 0,86 | 0,81 |
Nuechterlein et al. [49] | 2019 | 0,85 | 0,78 | 0,67 |
Zhou et al. [50] | 2020 | 0,86 | 0,77 | 0,74 |
GLF-Net [13] | 2020 | 0,893 | ||
LGMSU-Net [11] | 2022 | 0,8735 | ||
Ours method | 0,9135 | 0,8677 | 0,8069 |
Bảng so sánh kết quả với những phương pháp hiện nay
Mạng 3D Dual-Fusion Attention
Phương pháp 3D Dual-Domain Attention của chúng tôi đã có những kết quả rất tốt trong việc phân đoạn khối u thần kinh đệm. Tiếp theo, trong chương này hướng tiếp theo mà chúng tôi hướng đến là sử dụng phương pháp Fusion. Để tận dụng tính năng bổ trợ lẫn nhau từ các feature maps đã được trích xuất.
Giới thiệu
Hiện nay để giải quyết những bài toán liên quan đến hình ảnh y học, các nhà nghiên cứu thường có xu hướng sử dụng các phương pháp Fusion (Fusion method) [15]. Cách riêng với bài toán phân đoạn u thần kinh đệm cũng đã có những phương pháp áp dụng phương pháp Fusion và đã có những kết quả rất tốt như [15–17]. Các phương pháp Fusion thường gặp nhất bao gồm 3 loại là early fusion, late fusion và joint-early fusion như Hình 4.1. Tuy nhiên, những phương pháp Fusion cơ bản khó có thể trích xuất được những thông tin cấp cao từ các feature maps.
Vì thế trong chương này, chúng tôi sẽ đề xuất một mạng 3D Dual-Fusion Attention bằng cách sử dụng phương pháp Fusion, cơ chế Attention và phương pháp Residual Learning để có thể trích xuất được các thông tin tương hỗ giữa 2 feature maps ban đầu. Trong đó, phương pháp kết hợp sẽ làm nhiệm vụ tổng hợp thông tin từ 2 miền khối này sẽ được gọi là Khối Early Fusion. Sau đó một khối sử dụng cơ chế Attention học thông tin chung, khối này sẽ được gọi là khối Global Fusion Attention. Cuối cùng là một khối sử dụng phương pháp Residual Learning để học những thông tin riêng lẽ để giảm thiểu sự hao hụt dữ liệu.
Phương pháp đề xuất
Kết quả
Validation set | Year | ㅤ | Dice | ㅤ |
ㅤ | ㅤ | WT | TC | ET |
Zhang et al.[51] | 2021 | 0,903 | 0,836 | 0,791 |
Zhou et al. [52] | 2022 | 0,876 | 0,784 | 0,688 |
Akbar et al. [53] | 2022 | 0,8959 | 0,7977 | 0,7771 |
Ours | 0,9064 | 0,8449 | 0,7832 |
Bảng so sánh kết quả với những phương pháp gần đây
Ứng dụng minh hoạ
Kết quả của luận văn
- [Accepted] Nhu-Tai Do, Hoang-Son Vo-Thanh, Tram-Tran Nguyen-Quynh, and Soo-Hyung Kim, “3D-DDA: 3D Dual-Domain Attention for brain tumor segmentation”, in 2023 IEEE International Conference on Image Processing (ICIP), IEEE, 2023
- [Accepted] Hoang-Son Vo-Thanh, Tram-Tran Nguyen-Quynh, Nhu-Tai Do, and Soo-Hyung Kim, “3D Dual-Fusion Attention Network: A fusion attention network for Brain Tumor Segmentation,” in ASK 2023 : Annual Spring Conference of KIPS, pp. 496–498, 2023.
Reference
[1] D. Hanahan and R. A. Weinberg, “Hallmarks of Cancer: The Next Generation,” Cell,
vol. 144, no. 5, pp. 646–674, Mar. 2011, doi: 10.1016/j.cell.2011.02.013.
[2] F. Hanif and K. Muzaffar, “Perveen kahkashan, Malhi S, Simjee S,” Glioblastoma
Multiforme Rev. Its Epidemiol. Pathog. Clin. Present. Treat. APJCP, vol. 18, no. 3,
pp. 10–22034, 2017.
[3] M. A. Dymova, E. V. Kuligina, and V. A. Richter, “Molecular Mechanisms of Drug
Resistance in Glioblastoma,” Int. J. Mol. Sci., vol. 22, no. 12, p. 6385, Jun. 2021,
doi: 10.3390/ijms22126385.
[4] E. Belykh, K. V. Shaffer, C. Lin, V. A. Byvaltsev, M. C. Preul, and L. Chen, “Blood-
Brain Barrier, Blood-Brain Tumor Barrier, and Fluorescence-Guided Neurosurgical
Oncology: Delivering Optical Labels to Brain Tumors,” Front. Oncol., vol. 10, 2020,
Accessed: May 13, 2023. [Online]. Available:
https://www.frontiersin.org/articles/10.3389/fonc.2020.00739
[5] Cảnh M. T. and Huề N. D., “NGHIÊN CỨU ĐẶC ĐIỂM HÌNH ẢNH VÀ GIÁ TRỊ
CHẨN ĐOÁN CỦA CỘNG HƯỞNG TỪ ĐỐI VỚI U NGUYÊN BÀO THẦN
KINH ĐỆM HAI BÁN CẦU,” Tạp Chí Điện Quang Học Hạt Nhân Việt Nam, no. 5,
Art. no. 5, 2012, doi: 10.55046/vjrnm.5.222.2012.
[6] Z. Liu et al., “Deep learning based brain tumor segmentation: a survey,” Complex
Intell. Syst., Jul. 2022, doi: 10.1007/s40747-022-00815-5.
[7] R. Ranjbarzadeh, A. Caputo, E. B. Tirkolaee, S. J. Ghoushchi, and M. Bendechache,
“Brain tumor segmentation of MRI images: A comprehensive review on the
application of artificial intelligence tools,” Comput. Biol. Med., p. 106405, 2022.
[8] R. Yang and Y. Yu, “Artificial convolutional neural network in object detection and
semantic segmentation for medical imaging analysis,” Front. Oncol., vol. 11, p.
638182, 2021.
[11] X. Pang, Z. Zhao, Y. Wang, F. Li, and F. Chang, “LGMSU-Net: Local Features,
Global Features, and Multi-Scale Features Fused the U-Shaped Network for Brain
Tumor Segmentation,” Electronics, vol. 11, no. 12, Art. no. 12, Jan. 2022, doi:
10.3390/electronics11121911.
[13] C. Liu et al., “Brain Tumor Segmentation Network Using Attention-Based Fusion
and Spatial Relationship Constraint,” in Brainlesion: Glioma, Multiple Sclerosis,
Stroke and Traumatic Brain Injuries, A. Crimi and S. Bakas, Eds., in Lecture Notes
in Computer Science. Cham: Springer International Publishing, 2021, pp. 219–229.
doi: 10.1007/978-3-030-72084-1_20.
[15] S.-C. Huang, A. Pareek, S. Seyyedi, I. Banerjee, and M. P. Lungren, “Fusion of
medical imaging and electronic health records using deep learning: a systematic
review and implementation guidelines,” Npj Digit. Med., vol. 3, no. 1, p. 136, Oct.
2020, doi: 10.1038/s41746-020-00341-z.
[16] C. G. Snoek, M. Worring, and A. W. Smeulders, “Early versus late fusion in
semantic video analysis,” in Proceedings of the 13th annual ACM international
conference on Multimedia, 2005, pp. 399–402.
[17] H. Kaur, D. Koundal, and V. Kadyan, “Image Fusion Techniques: A Survey,”
Arch. Comput. Methods Eng., vol. 28, no. 7, pp. 4425–4447, Dec. 2021, doi:
10.1007/s11831-021-09540-7.
[18] M. B. M. Ranzini, L. Fidon, S. Ourselin, M. Modat, and T. Vercauteren, “MONAIfbs: MONAI-based fetal brain MRI deep learning segmentation.” arXiv, Mar. 21, 2021. doi: 10.48550/arXiv.2103.13314.
[44] F. Wang et al., “Residual attention network for image classification,” in
Proceedings of the IEEE conference on computer vision and pattern recognition,
2017, pp. 3156–3164.
[45] C. Yu, C. Gao, J. Wang, G. Yu, C. Shen, and N. Sang, “BiSeNet V2: Bilateral
Network with Guided Aggregation for Real-time Semantic Segmentation.” arXiv,
Apr. 05, 2020. doi: 10.48550/arXiv.2004.02147.
[48] R. Brügger, C. F. Baumgartner, and E. Konukoglu, “A Partially Reversible U-Net
for Memory-Efficient Volumetric Image Segmentation.” arXiv, Jun. 20, 2019. doi:
10.48550/arXiv.1906.06148.
[49] N. Nuechterlein and S. Mehta, “3D-ESPNet with Pyramidal Refinement for
Volumetric Brain Tumor Image Segmentation,” in Brainlesion: Glioma, Multiple
Sclerosis, Stroke and Traumatic Brain Injuries, A. Crimi, S. Bakas, H. Kuijf, F.
Keyvan, M. Reyes, and T. van Walsum, Eds., in Lecture Notes in Computer Science,
vol. 11384. Cham: Springer International Publishing, 2019, pp. 245–253. doi:
10.1007/978-3-030-11726-9_22.
[50] Z. Zhou, Z. He, and Y. Jia, “AFPNet: A 3D fully convolutional neural network
with atrous-convolution feature pyramid for brain tumor segmentation via MRI
images,” Neurocomputing, vol. 402, pp. 235–244, 2020, doi:
https://doi.org/10.1016/j.neucom.2020.03.097.
[51] D. Zhang, G. Huang, Q. Zhang, J. Han, J. Han, and Y. Yu, “Cross-modality deep
feature learning for brain tumor segmentation,” Pattern Recognit., vol. 110, p.
107562, Feb. 2021, doi: 10.1016/j.patcog.2020.107562.
[52] T. Zhou, S. Ruan, P. Vera, and S. Canu, “A Tri-Attention fusion guided multi-
modal segmentation network,” Pattern Recognit., vol. 124, p. 108417, Apr. 2022,
doi: 10.1016/j.patcog.2021.108417.
[53] A. S. Akbar, C. Fatichah, and N. Suciati, “Single level UNet3D with multipath
residual attention block for brain tumor segmentation,” J. King Saud Univ. - Comput.
Inf. Sci., vol. 34, no. 6, Part B, pp. 3247–3258, Jun. 2022, doi:
10.1016/j.jksuci.2022.03.022.