杨树建基于快速区域卷积神经网络胰腺癌增强

本文内容已经过同行评议，以优先出版方式在线发表，可作为有效引用数据。由于优先发表的内容尚未完成规范的编校流程，《中华外科杂志》不保证其数据与印刷版内容的一致性。

杨树建，卢云，郑学风，等．基于快速区域卷积神经网络胰腺癌增强CT自动识别系统的建立及临床测试[J]．中华外科杂志，，58（7）：-．

基于快速区域卷积神经网络胰腺癌增强CT自动识别系统的建立及临床测试

杨树建　卢云　郑学风　刘世松　刘尚龙

｛医院胃肠外科｝

张月娟　信芳杰

｛医院病理科｝

孙品

｛医院心脏超声科｝

李营

｛医院输血科｝

李帅　郭雨婷

｛北京航空航天大学｝

胰腺癌是消化系统中常见的恶性肿瘤，其发病率呈逐年上升趋势，预计年全球新增胰腺癌患者约42万例，死亡约41万例[1]。由于早期缺乏特异性临床表现和血清学标志物改变，多数胰腺癌患者在诊断时已是肿瘤晚期，丧失了根治性手术的机会。因此，胰腺癌的早期诊断是提高治愈率和预后的关键。

近年来，计算机技术快速发展，使深度神经网络技术在图像识别、视频处理等领域成功应用，年有学者提出了FasterR-CNN模仿医学影像学诊断过程，通过对大量医学图像的分析及影像特征的提取，构建了FasterR-CNN智能识别模型[2]，以便高效地处理大量医学影像学数据，同时避免了不同医师的诊断差异，降低了影像科医师的工作强度。目前，已有关于深度神经网络运用于肺癌、前列腺癌、直肠淋巴结[3,4,5]影像识别的报告，均获得满意效果。在前期研究中，我们构建了FasterR-CNN模型，现我们运用已完成训练的FasterR-CNN模型对例胰腺占位病例进行临床测试，并对其诊断结果进行随访观察。

资料与方法

一、一般资料

年1月至年5月医院共收治经术后病理学检查证实为胰腺癌的患者例，其中符合纳入和排除标准的患者例，共张增强CT影像，用于人工智能影像平台的构建及影像测试。纳入标准：（1）患者签署知情同意书及保密协议，同意我们使用其临床数据；（2）患者在手术前均接受64层腹部增强CT检查；（3）训练组及影像测试组患者均完成手术，术后病理学检查确诊胰腺癌，确定TNM分期；（4）患者有详细的临床和病理学特征及治疗计划。临床和病理学特征包括年龄、性别、转移淋巴结数、肿瘤标志物、N期（病理学）和肿瘤分化程度。排除标准：（1）胰腺癌存在远处转移或其他部位原发肿瘤；（2）患者术前行新辅助放化疗或介入治疗；（3）对造影剂过敏；（4）心、肝或肾功能不全；（5）胰腺癌合并胰腺炎，增强CT检查图像显示胰腺周围结构紊乱；（6）胰腺癌放射粒子置入后，增强CT检查图像中伪影明显。

FasterR-CNN系统训练成功后，我们对年12月至年8月医院诊断为胰腺占位的例患者进行进一步的临床测试，纳入标准：（1）患者签署同意书愿意参与本实验、同意我们使用其影像及临床资料；（2）年龄35~70岁，性别不限，均完成64层腹部增强CT检查，结果提示胰腺占位；（3）腹部增强CT图像结构清晰，胰腺病变未侵犯胰腺以外器官。排除标准：（1）合并有其他影响生存期的疾病（如心脑血管疾病、其他部位恶性肿瘤等）；（2）亲属沟通能力差，无法获得良好随访信息。

二、研究方法

1．建立胰腺癌增强CT数据库：

所有患者均使用64层CT扫描仪对上腹部进行动态扫描。患者取平卧位，扫描范围从膈顶至双肾下极，检查前保持空腹状态并饮水ml充盈胃与十二指肠，先平扫再增强扫描，静脉注射ml对比剂，注射速率3~4ml/s，行动脉延迟扫描（20~25s）、胰腺期延迟扫描（30~45s）、门静脉期延迟扫描（60~70s），使用ToshibaVitrea工作站和Medicon图像管理系统处理图像。我们收集胰腺癌患者水平扫描各期影像进行对照分析，由于每例患者的胰腺肿瘤位置及大小不同，在相同CT扫描层厚的条件下，每例患者可获得6~15张肿瘤影像，共获得了张图像，建立胰腺癌增强CT数据库。将其随机分为训练组和验证组，训练组包括例胰腺癌患者的张图像用于训练人工智能系统，验证组包括例胰腺癌患者的张图像用于测试和验证。训练组与验证组人口学特征的差异无统计学意义（P值均0.05）（表1）。

表1　训练组与验证组胰腺癌患者的人口学特征比较（例）

2．胰腺增强CT影像中特征区域的标记：

肿瘤浸润的直接征象表现为胰腺内不均匀的低密度影，肿瘤呈蟹足、毛刺样突起，与正常胰腺组织分界不清。胰头肿瘤可使胰头不规则增大、局部隆起，钩突变形及分叶异常[6]，由于胰腺癌为乏血供肿瘤，动脉期早期不强化[7]，部分可见中央区坏死，胰腺周围脂肪间隙清晰，以此可与胰腺炎区分；肿瘤浸润可导致胰管、胆总管梗阻、胰管柱状扩张、胰体尾萎缩及潴留囊肿形成、胆总管扩张和中断[8]，可作为间接征象帮助我们标记胰腺肿瘤。由两名影像科高年资主治医师和一名胰腺外科副主任医师共同分析，并利用Labelimg软件标记胰腺肿瘤区域（图1A）。如判定出现分歧则通过讨论或参考患者手术记录、术后病理学检查结果达成一致意见。为了使标记结果更加准确，我们对同一例患者的动脉延迟期、胰腺延迟期、静脉延迟期进行对照分析。

图1　标记胰腺肿瘤区域的CT检查图像：1A示影像科医师标记的胰腺肿瘤区域；1B示FasterR-CNN系统对胰腺增强CT肿瘤的判定结果

3．基于深度学习FasterR-CNN系统的训练与验证过程：

基于胰腺增强CT图像建立的人工智能胰腺癌影像识别系统主要由训练和识别两个过程构成。主要构架包括输入层、卷积神经层、全连接层及输出层。我们将训练组胰腺增强CT影像输入FasterR-CNN系统，通过卷积层对图像的特征进行提取，并在卷积特征图上生成候选区域。然后，采用非最大值抑制来合并相邻区域以减少用于训练的区域提议的数量，并通过提议感兴趣区域（regionofinterest，ROI）来预测框的坐标和类别概率。在训练过程中，我们提取数据库中的个CT图像作为训练数据集，通过反复迭代使得网络达到收敛。在影像验证过程中，我们将例胰腺癌患者的张图像输入已经完成训练的FasterR-CNN模型中，得到了胰腺癌区域的位置和概率，鉴定结果如图1B所示。为了验证FasterR-CNN系统的真实临床应用效果，我们进一步使用完成训练的FasterR-CNN模型对例胰腺占位患者的张影像学图像（其中胰腺占位影像张，正常影像张）进行临床验证，阳性为胰腺癌，阴性为非胰腺癌，对其判定结果与后期病理学检查结果进行对照。

三、随访方法

对FasterR-CNN系统检测的例患者进行随访，采用电话随访的形式，每3个月一次。截至年9月，随访26个月，包括患者自觉症状，后期进一步的检查（包括复查腹部增强CT的时间、诊断结果、生化指标），后期的治疗（包括手术、术后病理结果、放化疗方案及周期），死亡原因及时间。

四、统计学方法

采用SPSS22.0软件进行数据分析。计量资料间的比较使用方差分析，计数资料间的比较使用χ2检验。以P0.05为差异有统计学意义。记录学习组结节类别的精准率和召回率，绘制精确回归（precisionregression，PR）曲线，同时分析FasterR-CNN诊断的准确度、灵敏度、特异度，生成受试者工作特征（receiveroperatingcharacteristic，ROC）曲线，利用梯形法计算基于FasterR-CNN胰腺癌增强CT诊断系统的ROC曲线的曲线下面积（areaunderthecurve，AUC）。

结果

一、FasterR-CNN系统的影像识别测试

我们利用结节类的精确度和召回率绘制PR曲线，AUC为0.（图2），测试结果包括胰腺癌的诊断和肿瘤位置。将测试集合的所有标记区域分类为真阳性和假阳性，并获得真阳性率和假阳性率。绘制FasterR-CNN的人工智能辅助诊断的ROC曲线（图3），根据梯形规则计算的ROC曲线的AUC为0.，准确度、特异度、灵敏度分别为0.、0.、0.。

图2　基于区域的卷积神经网络胰腺癌增强CT识别系统精确回归曲线（曲线下面积为0.）

图3　基于区域的卷积神经网络胰腺癌增强CT识别系统受试者工作特征曲线（曲线下面积为0.）

二、FasterR-CNN系统的临床识别测试

对例胰腺占位的临床病例的测试中，判断1例患者的平均时间为15s，其中FasterR-CNN系统判定为阳性影像张，阴性张，诊断为胰腺癌者98例，男性62例，女性36例，位于胰头、胰体、胰尾分别为54、23、21例。

三、对FasterR-CNN系统诊断结果随访

其中53例经外科手术后病理证实为胰腺导管癌、21例为胰腺囊腺癌、12例为胰腺囊腺瘤、5例为胰腺囊肿，真阳性率81.3%；7例患者未手术治疗，6例患者在随访期间死亡，其中肝转移、肝功能衰竭2例，腹腔浸润3例，肺转移1例，生存时间5~17个月；在FasterR-CNN判定为阴性的52例患者中，有9例患者经后期随访、复查，诊断胰腺癌可能，经外科术后证实为胰腺导管癌，假阴性率17.3%。

讨论

胰腺癌恶性程度高，早期诊断及手术干预是获得良好预后的关键[9]，增强CT是胰腺癌的最常用的检查方法，其可重复性好，避免了影像的解剖结构的重叠，依靠多平面三维重建和三相动态对比增强扫描，影像科医师可以对肿瘤病变部位、大小、血供，周围淋巴结转移情况、血管及邻近器官的侵犯进行准确的判断，对早期胰腺癌的诊断及肿瘤的可切除性进行评估具有重要价值[10]，也是本实验选择增强CT训练与测试的依据。本次研究中，我们使用FasterR-CNN深度神经网络，建立了一个基于增强CT图像辅助胰腺癌诊断的人工智能系统，影像测试取得了良好的效果，在先前的研究中，没有进行临床病例的应用性测试，本次实验中，我们选取例胰腺占位的病例进行了该系统的应用性诊断检测。

一、FasterR-CNN的优势

FasterR-CNN实现了快速的实时目标识别，已成为人工智能自动识别领域的主流技术，因此，我们使用FasterR-CNN进行自动识别，FasterR-CNN使用VGG16作为特征提取网络，并使用ImageNet数据集上预训练的分类网络作为该网络的初始化参数。在这项研究中，我们使用深度迁移学习技术，以便我们可以使用少量的顺序CT图像和位置标签作为训练数据集。经过训练，FasterR-CNN系统ROC曲线的AUC为0.，在临床应用性病例的测试中，真阳性率达到81.3%，取得了令人满意的效果。辅助诊断的持续时间为15s/例，而影像科医师判定1例腹部增强CT的时间约为s，FasterR-CNN的诊断时间明显短于影像科医师诊断所需的时间。本次研究中，涉及部分最大径2cm早期胰腺癌的判定，其影像学特征不明显，人工判定需要更多的时间，FasterR-CNN系统对于这部分影像的判定更具有意义。该系统能够提高影像科医师的工作效率、降低漏诊率，同时避免因影像科医师诊断水平不同导致的诊断差异。

二、研究不足及后续改进

本实验来自单个中心的患者的回顾性分析，实验结果存在偏倚，为了进一步验证FasterR-CNN在胰腺癌人工智能诊断中的临床应用价值，我们下一步计划基于多中心临床数据进行前瞻性研究。在临床随访过程中，术后病理学检查结果印证了人工智能系统诊断的正确性，但测试病例相对较少并对测试病例进行了筛选，其影像学表现相对单一，不能完全反映真实的应用效果。虽然第一阶段的影像测试结果显示，该系统诊断的准确度、特异度分别达到了0.、0.的理想数值，但在使用训练后的FasterR-CNN系统对临床患者进行判断的过程中，我们注意到假阴性率17.3%，假阴性结果的存在，可能会导致漏诊的严重后果，这有待计算机技术的进一步发展，对医学影像特征的形态、密度等属性的进一步提取、学习，后期我们将进一步扩大临床病例的测试量和病例类型，会同影像学专家建议、病理结果、术中情况等对诊断结果进一步评估，建立数据库，对该系统进行进一步的优化、调整，以期待获得更好的诊断效果。目前FasterR-CNN系统的临床应用准确性尚需进一步测定，要求影像科医师对FasterR-CNN系统诊断结果进行确认，因此，人工智能平台可以作为一种辅助诊断工具，而不能完全代替影像科医师。

FasterR-CNNAI系统是一种新型的影像诊断平台，它能够协助影像科医师实现对胰腺癌的高效、准确的诊断，具有重要的临床应用价值。

参考文献

（在框内滑动手指即可浏览）

[1]FerlayJ,SoerjomataramI,DikshitR，etal.Cancerincidenceandmortalityworldwide:sources，methodsandmajorpatternsinGLOBOCAN[J].IntJCancer，，(5):E-E.DOI:10.2/ijc..

[2]RenS,HeK,GirshickR，etal.Objectdetectionnetworksonconvolutionalfeaturemaps[J].IEEETransPatternAnalMachIntell，，39(7):-.DOI:10./TPAMI...

[3]LiangM,TangW,XuDM，etal.Low-dosectscreeningforlungcancer: