欢迎访问西安知识产权运营服务平台
欢迎访问西安知识产权运营服务平台
医学图像处理和计算机辅助治疗
医学影像作为医学大数据的典型代表,其数据具有大量性(Volume)、多样性(Variety)、快速性(Velocity)、价值(Value)和真实(Veracity)的特性,医学影像大数据分析与人工智能技术的交叉前沿具有极其广阔的应用前景。“智能医学影像理解研究中心”依托人工智能学院和前沿交叉研究院,结合西安电子科技大学在深度学习、计算科学、大数据分析等研究领域的优势学科,重点发展以人工智能和医学大数据技术为基础的,具有人机协同、群智开放、自主操作等新特征的智能医学影像诊疗技术与系统,加快推动医疗各相关产业从数字化、网络化向智能化加速跃升,扎实推进全民健康大数据信息化和智能化建设。研究中心将瞄准国家重大战略需求,将科学基础研究与国家创新驱动发展相结合,力求研究成果能够满足国家在“新一代人工智能”和“智能+”等国家重大战略需求,突破一系列“卡脖子”的技术瓶颈。
【 中文摘要 】本发明公开了一种基于混合注意力弱监督迁移学习的半月板损伤分级方法,主要解决现有方法对半月板损伤程度分级难度大且缺乏临床可解释性的问题。其方案是:通过目标检测网络对半月板区域定位生成半月板区域图像数据集;再对上述数据进行二维直方图均衡化增强操作;然后利用迁移学习预训练网络提取增强后图像的显著性特征,生成特征图,同时利用弱监督注意力学习,生成增强后图像的注意力地图;最后通过双线性注意力池化算法,结合特征图和注意地图对半月板损伤等级进行分类,得到可视化的半月板损伤分级结果。本发明实现了临床上对半月损伤分级自动化诊断的需求,提高了深度学习在临床诊断上的可解释性,可用于对核磁共振病灶的图像检测和分类。
【 英文摘要 】The invention discloses a meniscus injury grading method based on mixed weak attention supervised transfer learning. The meniscus injury grading method based on the mixed weak attention supervised transfer learning mainly solves the problems that existing methods are large in meniscus injury degree grading difficulty and lack of clinical interpretability. The method comprises positioning a meniscus region via a target detection network to generate a meniscus region image data set; Carrying out two-dimensional histogram equalization enhancement operation on the above data; Then utilizing the transfer learning pre-trained network to extract a saliency feature of the enhanced image to generate a feature map, and at the same time utilizing weakly supervised attention learning to generate an attention map of the enhanced image; Finally, through a bilinear attention pooling algorithm, the meniscus injury grade is classified by combining the feature map and the attention map, and a visual meniscus injury grading result is obtained. According to the invention, the clinical requirement of grading automatic diagnosis of half-month injury is met, the interpretability of deep learning in clinical diagnosis is improved, and the method can be used for image detection and classification of nuclear magnetic resonance focus.
基于混合注意力弱监督转移学习的半月板损伤分类方法。
本发明实现了临床半月板损伤自动诊断的需求,提高了临床诊断中深度学习的可解释性,实现了核磁共振病灶图像的检测和分类。
该方法包括依次构建级联的特征提取模块,弱监督关注模块和双线性关注集合模块。 弱监督注意模块被反馈到在特征提取模块之前形成的核心网络W。 学习速率为0.001,动量为0.9,批次尺寸为8,重量衰减为0.00001。 将得到的半月板损伤分类训练集及其对应的类别标签输入核心网W进行训练。 使用随机梯度下降优化器从训练集中随机选择样本以学习更新模型参数。 获得膝关节半月板损伤分类模型。 将半月板损伤分类的测试集数据输入膝关节半月板损伤分类模型进行测试。 在输出用于使损伤信号可视化的注意热图的同时获得预测类别结果。
方法过程 | 分类方法 | 半月板损伤分类方法 |
计算控制 | 学习方法 | 混合注意力弱监督转移学习 |
技术功效句 | 有效解决了现有方法缺乏对临床可解释性的问题; 本发明通过利用迁移学习和弱监督注意力学习精准关注到具有可区别性的信号; 因此对半月板损伤程度进行精细的等级分类更符合临床诊断需求; 临床实用性强 |
技术功效短语 | 解决临床解释性问题; 精准关注; 精细等级; 临床实用性强 |
技术功效1级 | 解释性; 精准性; 精细; 实用性 |
技术功效2级 | 解释性解决; 精准性提高; 精细; 实用性提高 |
技术功效3级 | 临床问题解释性解决; 关注精准性提高; 等级精细; 临床实用性提高 |
技术功效TRIZ参数 | 29-制造精度;35-适应性、通用性; |
主分类号 |
|
IPC分类号 | |
CPC分类号 | G06T7/0012; G06T5/40; G06N3/08; G06T2207/10088; G06T2207/20081; G06T2207/20084; G06T2207/20076; G06T2207/30008; G06N3/047; G06N3/045; G06F18/2415; G06F18/241; |
DWPI分类号 | B04; T01; |
DWPI手工代码 | B11-C08A; B11-C11; B12-K04C2; B12-K04G; T01-J05B2; T01-J10B1; T01-J10B2; T01-J16C1; T01-N01D1B; |
国民经济行业分类 | 制造业信息传输、软件和信息技术服务业居民服务、修理和其他服务业 |
国民经济行业(主) | 信息传输、软件和信息技术服务业 |
新兴产业分类 | 互联网与云计算、大数据服务新技术与创新创业服务数字文化创意活动 |
新兴产业(主) | 新技术与创新创业服务 |
知识密集型分类 | 信息通信技术制造业信息通信技术服务业 |
学科分类 | 工程生命科学与生物医学物理科学 |
数字经济核心产业 | 数字产品制造业数字技术应用业数字要素驱动业 |
2021-08-20
申请日
CN202110958505.9(当前专利)
申请号
2021-11-26
首次公开日
CN113706491A
首次公开号
2024-02-13
授权公告日
CN113706491B(当前专利)
授权公告号
2041-08-20
预估到期日
计算因素
代理机构 | 陕西电子工业专利中心 61205 |
代理人 | 王品华 |
申请语言 | 汉语 |
审查员 | 张芳馨 |
1.一种基于混合注意力弱监督迁移学习的半月板损伤分级方法,其特征在于,包括:
(1)获取膝关节MRI影像的数据集:
(1a)从获取到的2000例膝关节MRI影像检查数据中剔除有手术史、有关节内固定病史这些不满足临床诊断膝盖半月板损伤要求的数据;
(1b)从(1a)选出的数据中利用矢状位和冠状位切片图像,组成用于半月板区域定位的数据集,并将其中的60%作为训练集,40%作为测试集;
(1c)对(1b)获得的半月板区域定位数据集中所有的膝关节MRI影像,标注出半月板的标签及它们所在的位置信息,生成xml格式文件,再将其制作成VOC2007格式的数据集;
(2)将(1b)中所得训练集的膝关节MRI影像和(1c)中获得的VOC2007格式的半月板样本标签及它们的位置信息输入到现有的Faster R‑CNN网络中进行训练,得到膝关节半月板检测网络的训练模型;
(3)获取半月板区域的数据集:
(3a)将(1b)中测试集的膝关节MRI影像作为输入,利用(2)中得到的模型进行测试,获得目标检测结果,即半月板及周围小范围区域及它们对应的位置坐标信息(xaya,xbya,xayb,xbyb);
(3b)对(3a)中获得的半月板及周围小范围区域进行裁剪和尺度变换,得到用于对半月板内部损伤进行分级的图像数据集;
(4)对半月板图像进行数据增强:
(4a)将(3b)中获得的图像数据集进行二维直方图均衡化操作,生成增强后的半月板图像数据集;
(4b)根据Fischer分级诊断标准,将增强后的半月板数据集中的图像标记为半月板损伤程度0级、I级、II级、III级这四个类别标签信息;
(4c)将已获得类别标签的半月板图像数据集按照6:4的比例划分为半月板损伤分类的训练集和测试集;
(5)构建由特征提取模块、弱监督注意力模块和双线性注意池化模块依次级联,且弱监督注意力模块的输出反馈到特征提取模块前组成的核心网络W;
(6)训练后膝盖半月板损伤分级模型:
(6a)设定学习率为0.001,动量为0.9,批量大小为8,重量衰减为0.00001,注意力地图数量为128,将(4c)中得到的半月板损伤分类的训练集及其对应的类别标签输入到核心网络W中训练;
(6b)使用随机梯度下降优化器,每次从训练集中随机选择一个样本进行学习来更新模型参数,经过40次迭代训练后获得膝盖半月板损伤分级模型;
(7)将(4c)中半月板损伤分类的测试集数据输入到膝盖半月板损伤分级模型中进行测试,得到预测的类别结果,同时输出损伤信号可视化的注意力热图。
2.根据权利要求1所述的方法,其特征在于,(2)中对现有的Faster R‑CNN网络进行训练,所述Faster R‑CNN网络由卷积神经网络特征提取模块、区域候选网络RPN模块、边框回归网络模块和二分类网络模块级联组成,其训练过程如下:
(2a)将(1b)中所得训练集的膝关节MRI影像和(1c)中获得的VOC2007格式的半月板样本的标签及它们的位置信息作为网络的输入;
(2b)通过卷积神经网络获取膝关节MRI影像的特征图,并使该特征图经过区域候选网络,生成每个像素点映射到原图像中的锚点,再以每个锚点为中心设有九个候选框,并通过二分类网络确定每个候选框中是否包含目标,输出包含目标的概率值;
(2c)通过边框回归网络的回归分支对二分类网络确定的目标候选框位置与标签标注的目标位置之间的偏差进行差值计算,得到候选框所需要的平移量以及变换尺度大小;
(2d)根据(2c)中得到的候选框所需要的平移量以及变换尺度大小,对候选框平移量和变化尺度大小进行变换,再由区域候选网络模块的提取层得到平移和尺度变换后更精确的候选框,只保留在该位置处由二分类网络给出概率最高的候选框,其坐标信息为(x''a y''a,x''by''a,x''ay''b,x''by''b),其中x''a y''a,x''by''a,x''a y''b,x''by''b这些值分别代表候选框的上下左右四个点在图像中的坐标;
(2e)分别计算二分类网络的交叉熵损失函数和边框回归网络的平滑正则项损失函数将这两个函数进行相加,得到损失函数LF:
其中,λ为权重参数,取值为10,σ为控制平滑正则项损失函数平滑程度的参数,取值为3,Ncls为候选框的个数,Nreg为特征图的大小,pi表示第i个候选框被二分类网络预测为包含目标的概率,表示第i个候选框中只包含目标为1的真实标签,ti表示边框回归网络预测的第i个候选框的偏移量,表示第i个候选框相对于标注的区域的真实偏移量;
(2f)使用Adam优化器最小化(2e)得到的损失函数LF,再通过优化器对损失函数LF进行反向传播,以实现对二分类网络和边框回归网络的优化,直到损失函数LF收敛,得到训练好的膝关节半月板检测网络模型。
3.根据权利要求1所述的方法,其特征在于,(3b)中对半月板及周围小范围区域进行裁剪和尺度变换,实现如下:
(3b1)循环处理每个样本中的目标候选框,获取每个候选框的坐标,即(3a)中得到的半月板及周围小范围区域在整张MRI影像中的坐标信息(xaya,xbya,xayb,xbyb),计算得到裁剪块的大小:s=width·hight,其中,width=xb‑xa表示候选框的宽度,hight=yb‑ya表示候选框的高度;
(3b2)根据裁剪块的大小s,将半月板及周围小范围区域从目标检测的候选框中裁剪出来,生成半月板分类图像并另存为新的数据文件;
(3b3)对(3b2)中生成的数据文件中的半月板分类图像进行尺度变换,将图像尺度统一调整为224×224×3,形成半月板损伤分级的图像数据集。
4.根据权利要求1所述的方法,其特征在于,(4a)中对(3b)获得的图像数据集进行二维直方图均衡化操作,实现如下:
(4a1)对半月板及周围小范围区域图像x,计算其二维直方图hx(m,n),如下式:
上式中x(·)表示像素值,其中k=‑[ω/2],l=‑[ω/2],ω是奇数,确定ω×ω大小的像素,(i,j),(i+k,j+l)表示像素点在半月板及周围小范围区域图像x中的坐标,xm,xn分别表示图像x中任意两个像素点的值,K表示灰度级总数,为二元函数,如下式所示:
(4a2)将二维直方图归一化得到累积分布函数:其中hx(i,j)是坐标为(i,j)的像素点的二值直方图,m表示该区域图像x中的第m个像素点;
(4a3)计算二维目标最优概率分布函数ht:
ht={hl(m′,n′)=1/L2|1≤m′≤L,1≤n′≤L}其中L表示该区域图像的灰度级总数,m′,n′分别表示区域图像x横坐标和纵坐标,hl(m′,n′)表示坐标为(m′,n′)的像素点的二值直方图;
(4a4)再将二维目标最优概率分布函数ht代入累积分布函数Px(m)中,得到二维目标的累积分布函数:通过该二维目标累积分布函数Pt(m′)实现半月板区域图像x的概率密度均匀分布,使像素从原灰度空间映射到二维直方图均衡化后的灰度空间,其中,ht(i,j)表示坐标为(i,j)像素点的最优概率分布函数。
5.根据权利要求1所述的方法,其特征在于,(5)中构成核心网络W的各模块结构及功能如下:
所述特征提取模块,用于提取半月板分类图像的特征并生成特征地图F,其结构由第一卷积层、16个移动翻转瓶颈卷积层、第二卷积层和全局平均池化层依次级联构成,其中第一卷积层的卷积核大小为3×3,第二卷积层的卷积核大小为1×1,每个移动翻转瓶颈卷积层由升维卷积层、切除卷积层、压缩激发层和降维卷积层级联构成;
所述弱监督注意力模块,用于生成注意力地图A、裁剪掩膜和下降掩膜,其结构由卷积核大小为1×1的卷积层、注意力裁剪操作算子Ck(i,j)和注意力下降操作算子Dk(i,j)构成;
所述双线性注意池化模块,用于得到半月板损伤分类图像的特征矩阵及分类结果,其结构由一个双线性注意池化层和全连接层构成。
6.根据权利要求5所述的方法,其特征在于,所述弱监督注意力模块中的注意力裁剪操作算子Ck(i,j)和注意力下降操作算子Dk(i,j),分别表示如下:
其中θc、θd分别表示注意力裁剪和注意力下降的阈值,设定为θc∈[0,1],θd∈[0,1],(i,j)表示注意图的坐标参数,Ak*为注意力地图A归一化后的增强注意力地图,Ak*(i,j)表示坐标参数为(i,j)的增强注意力地图。
7.根据权利要求1所述的方法,其特征在于,(7)中输出损伤信号可视化的注意力热图,其实现过程如下:
(7a)由核心网络W中的弱监督注意力模块生成注意力地图A指导半月板损伤分类模型关注半月板损伤图像中医生用于判断损伤程度的特征性信号;
(7b)使用注意力裁剪操作算子Ck(i,j)进行注意力裁剪,调整注意力增强地图Ak*的大小,以提取更详细的特征,得到裁剪掩膜Ck;
(7c)使用注意力下降操作算子Dk(i,j)进行注意力下降,鼓励注意力地图关注半月板损伤分类图像更多的部分,得到下降掩膜Dk;
(7d)将注意力地图A、裁剪掩膜Ck、下降掩膜Dk的特征性信号映射到半月板损伤图像样本中,输出注意力热图,显示出临床上用于判断损伤程度的特征性信号。
申请须知:申请人无需注册账号即可提交交易意向,交易意向一经提交不可查询或更改,请准确填写相关信息;平台运营人员将在3-5个工作日内查看交易意向并与您联系,感谢阅读。
公众号二维码
电话: 029-65666529
地址:西安高新区丈八四路20号神州数码科技园4号楼15层
西安科技大市场创新云服务股份有限公司 备案号:陕ICP备16006780号-8