python影像组学系列
PYTHON
影像组学全流程梳理
- 07·13-
宜分享
影像组学全流程梳理
Brief Introduction
01
影像组学背景简介：
“Radiomics”最早是由荷兰的学者Philippe Lambin提出来的。简言之，旨在用“高级特征分析法”从医学影像中提取出更多的信息来协助临床的一种辅助诊断方式。
图片
DOI: 10.1016/j.ejca.2011.11.036
所谓“高级特征分析法”其实也就是：针对“影像”中的某个“区域”，用特定的“工具”提取“信息”、“分析”信息，进而对临床进行“辅助诊断”。
下面，我们来分别看看这些双引号“”都意味着什么？
① 影像：
常见的有平扫/增强CT、磁共振MRI、PET影像、超声、X-ray等，图像搜集完毕后可能需要进行格式转化、配准的内容。
图片
② 区域：
区域就是指需被研究的内容，官方称“ROI，即Region Of Interest感兴趣区域”。这个ROI是需要被勾画出来的，也可以称“分割”，目前分割的方法有：
全自动分割法（滑降区域生长法（region-growing methods）、图割法（graph cut methods）、基于容量CT的分割法（volumetric CT-based segmentation）或是基于深度学习模型结晶而成等等）；
半自动分割算法（semiautomatic segmentations）；
手动分割法（ITK-SNAP(地址http://www.itksnap.org/pmwiki/pmwiki.php)、3D-slice(地址https://www.slicer.org/）是目前最常用的。
图片
DOI: 10.1016/j.ejca.2011.11.036
③ 工具：
目前常用的工具有：
Pyradiomics（网址：https://pyradiomics.readthedocs.io/en/latest/index.html），这是一个基于Python语言环境下的开源库，可以理解为R语言内的函数包，可以用来提取特征，但需在Python环境下进行编码，才能完成，也有很多其他资料，请参考官网；
IBSI(Image Biomarker Standardisation Initiative)，这是特征的定义、公式等纯理论具体内容，常用MATLAB、C++等语言实现；
IBEX，是MATLAB的一个程序，也是可以用于提取特征；
公司开发的软件，比如GE公司的AK、IF等；
④ 信息：
信息指的就是这些晦涩难懂的特征变量。常用的信息有：组学特征，目前还常常引入稍微好理解的基因数据、病理、临床指标。
组学特征常用的有：
IBSI(Image Biomarker Standardisation Initiative)，因此也可以称影像组学特征为影像(肿瘤/病理)标志物；
Pyradiomics，这些本质上是基于计算机视觉领域的图像分析领域-数据图像，因为说白了图像就是数字本身，因此可以通过一定的公式运算，形成有计算机含义的特征；
这两者基本上是一样的，只是在分类和数量上有点差异，大家选择其一使用即可。公式中存在几个如步长、翻转角的参数，改变他们就可以算出同名系列特征，这就是为什么有的人只提取几百个，而有的人能提取几千个特征的区别，但不一定越多越好，这目前尚无实证研究。特征的种类大致有以下几类（参考Pyradiomics）
图片
中文可以理解为：一阶统计特征、2D/3D形状特征、灰度共生矩阵、灰度游程长度矩阵、灰度大小区域矩阵等等。
对于其他信息，大致包括如下种类：
图片
DOI: 10.1016/j.ejca.2011.11.036
⑤ 分析信息：具体指的就是统计分析，影像组学绝大部分都是在做统计分析的工作，挖掘内在联系和模型构建与验证。影像组学开山之作paper内的一张图，简单阐述了其运作模式：
图片
DOI: 10.1016/j.ejca.2011.11.036
获取图像 -> 勾画 -> 特征提取 -> 统计分析其中，前三步骤是一个“清洗”与“标准化”的过程，目的是为统计分析做准备，因此重点在最后的统计分析模块。说到底，影像组学核心底层实际上就是统计分析内容，比如特征数据的清洗、不平衡处理、PCA等特征筛选、机器学习模型构建，预测手段和评价指标。
⑥ 辅助诊断：医学影像辅助诊断，辅助是的临床大夫对疾病的判断，包括：良恶性判断、分子分型、病理分级、疗效评估、预后预测。这具有重要的临床意义。影像均为数字图像，因此也成为“计算机辅助诊断（computer aided diagnosis，CAD）”。
概括而言：
影像组学就是：高通量、自动地从放射影像 (CT、PET、MRI等)中提取并分析大量定量的影像特征。
图片
临床-影像组学模型对比：
影像组学可以有助于揭示图片表型与基因型的关系。
图片
DOI:10.1038/nrclinonc.2017.141
02
影像组学处理流程
影像组学的一般流程可以表述为：数据选择、医学成像、特征提取、探索性分析和建模。
图片
图片
DOI: 10.1148/radiol.2015151169
流程图显示了放射学影像学的过程以及放射学影像学在决策支持中的应用。患者的工作需要将来自不同来源的信息组合成一个连贯的模型，描述病变的位置、性质和状态。放射学影像学从获取高质量图像开始。从这些图像中，可以确定包含整个肿瘤或肿瘤内子区域（即栖息地）的感兴趣区域（ROI）。这些区域经过操作员的编辑，最终以三维形式呈现。从这些呈现的体积中提取定量特征，生成一份报告，并将其与其他数据（如临床和基因组学数据）一起放入数据库中。然后，这些数据被分析，以开发与感兴趣的结果相关的诊断、预测或预后模型。
图片
DOI:10.1038/nrclinonc.2017.141
该工作流程包括放射学影像分析中的必要步骤。RQS（放射学影像学质量评分）既奖励又惩罚研究的方法和分析，从而鼓励最佳的科学实践。RSQ代表放射学影像学质量评分；VOI代表兴趣区域的体积。
影像组学探索放射学标志物的典型流程：
图片
DOI:10.1038/s41571-021-00560-7
使用影像学和深度学习方法开发人工智能（AI）放射学生物标志物的典型流程，以及它们在临床应用中的应用。这两种方法可以在癌症预后预测和评估治疗反应、预测和影像基因组学的生物标志物发现的背景下应用。DICOM，数字影像和医学通信；ML，机器学习；OS，总生存期；PFS，无进展生存期；RFS，无复发生存期。
深度学习方法在影像组学中的应用：
图片
DOI:10.1038/s41571-021-00560-7
a | 一个用于预测的卷积神经网络（CNN）模型示例。输入的图像或体积通过CNN层进行传递，这些层执行操作并将其转化为目标输出向量。卷积层是一组将成像数据转换为深层特征表示的操作。每个滤波器在图像上滑动，并与非线性激活函数配对，以突出与特定任务相关的视觉模式。随着叠加更多的卷积层，CNN可以学习图像中更复杂的视觉模式。在整个CNN分类器中，深层特征通过池化操作周期性地聚合。在经过卷积和池化层处理后，深层特征表示最终被展平为一个向量。接下来，全连接层将这些CNN导出的图像特征转化为与目标输出相对应的向量。这些模型可以用于预测治疗反应、预测、肿瘤亚型和生物标志物分类以及生理值的预测。
b | 完全卷积神经网络是一种仅由卷积层组成的CNN类型，可以生成类似图像的输出，例如肿瘤位置的地图。
c | 完全连接网络可以根据非图像数据（如影像特征和临床变量）进行训练，从而进行预测。
步骤1.研究课题选择：
图片
步骤2.影像搜集与整理：
图片
图片
现在，我们想要整理影像数据，其步骤如下：
下载DICOM格式影像，脱敏处理后，统一编号保存；
整理数据信息，以表格形式规范保存。需要添加新编号、原始影像号、性别、年龄及其他临床和病理信息，保证信息的完整性所有数据都可以追溯至原始文件，以便对部分有误信息修正；
整理后核对相关信息，确保相关信息准确无误；
步骤3.图像预处理：
图片
图片
现在，我们想要加载后续工作使用的包：
# 3、加载工作包# Radiomics packagefrom radiomics import featureextractorimport six, numpy as np步骤4.感兴趣区域的分割：
图片
图片
⑤ 步骤5.影像组学特征提取：
图片
图片
步骤6.特征筛选与优化：
图片
图片
图片
步骤7.模型构建：
图片
步骤8.性能评价与分析：
图片
图片
03
影像组学应用方向
图片
04
影像组学研究评价
图片
现在：
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。