AnatomySketch v2.0版发布

  AnatomySketch(简称AS)软件是大连理工大学数字人体与医学影像研究组开发的一款医学图像分析开源软件,旨在为科研同行提供一款便利的医学影像分析处理基础软件平台。软件包含了基本的图像处理功能,同时支持算法开发者借助软件已有界面嵌入自研的扩展功能模块,快速创建专业细分领域的软件原型。

  支持功能插件拓展是AS的一个特色功能。软件中现有的很多功能都是以插件的方式集成,用户也可以方便地使用C++或Python语言开发自己所需要的定制化插件,并集成到AS软件中。作为研究开发人员,您可以借助软件的拓展模块设计高级图像分析功能插件,借助软件平台发布推广自己的研究成果,征集潜在的合作者与用户。当然,您可以在插件中实现自己的深度学习功能,例如将自己的网络集成到AS软件中用于网络性能的实际测试。

  AS软件的v1.0版本于2020年在Github网站发布,其简洁的界面和便捷的交互操作受到试用者的欢迎。由于v1.0版本完全由高校科研团队开发,缺乏专业软件工程管理,软件稳定性欠佳。为解决稳定性问题,并为用户提供更加便利的扩展模块支持,开发团队聘请专业软件工程人员基于3D Slicer框架重新开发了软件,又经过1年的内部试用验证了其稳定和可靠性,正式于2023年12月对外发布AS v2.0版本。

下载连接

  下载链接: https://pan.baidu.com/s/15vlTbgtQPyChgm1Y2zGqsA?pwd=69ad

  请使用百度网盘下载该文件,解压并运行setup.exe软件安装向导,根据提示信息将AS v2.0安装到您的计算机中。

软件特点

  1)简洁的用户操作界面,便于图像的浏览和标注。软件在3D Slicer框架的基础上改编,并加入中文操作界面,适合对中国医生使用。

  2)具备基础的医学图像浏览功能,支持用户浏览和处理各个模态的2D、3D医学影像数据。软件所集成的图像处理、图形处理、分割、配准等功能可以覆盖常见的科研需求。

  3)具有丰富的拓展性,为用户提供了灵活的拓展接口和详细的帮助文档,协助开发者轻松地将自研的算法集成到软件中,借助AS完善的交互界面进行临床测试。由于v2.0版本是基于3D Slicer框架开发,理论上支持Slicer社区(https://extensions.slicer.org/catalog/All/30822/win)中的各种拓展功能插件,极大丰富了软件的拓展功能。

  4)拓展接口还支持深度神经网络模型的本地和远程调用,开发者可以使用AS软件链接本地电脑或远程调用深度学习服务器中的神经网络模型,可以将所开发的深度学习算法集成到AS软件界面中使用。

引用发表

  如果您在项目中使用了Anatomy Sketch软件,请引用下列文章。

  Mingrui Zhuang, Zhonghua Chen, Hongkai Wang*, Hong Tang, Jiang He, Bobo Qin, Yuxin Yang, Xiaoxian Jin, Mengzhu Yu, Baitao Jin, Taijing Li, Lauri Kettunen. AnatomySketch: An Extensible Open-Source Software Platform for Medical Image Analysis Algorithm Development. Journal of Digital Imaging, 2022.

  Mingrui Zhuang, Zhonghua Chen, Hong Tang, Jiang He, Bobo Qin, Yuxin Yang, Xiaoxian Jin, Mengzhu Yu, Baitao Jin, Taijing Li, Hongkai Wang*. Efficient Contour-Based Annotation By Iterative Deep Learning For Organ Segmentation from Volumetric Medical Images. IJCARS, 2022.

应用场景

数据浏览与处理

  用户可以借助AS实现对医学图像的浏览和处理。在算法开发过程中,开发人员需要反复对3D的图像数据、标签图等进行观察。一款支持多种图像格式的便捷工具可以为用户带来方便。AS可以叠加显示不同模态图像;原始图像和标签图;图像和目标的表面模型等,以应对各种研究场景下的需求。此外,AS集成了常用的图像和图形处理功能,包括图像重采样、裁剪、滤波、阈值分割、区域生长;图形重采样、空洞填充等等。支持用户在图形化界面下快速地对数据进行常见处理。

  AS的拓展接口支持您的常用工具集成进去,例如您所开发的针对性算法。这样AS会更具针对性,以应对您的数据处理需要。

数据标注

  运用AS软件可以实现图像标记功能,可以为图像绘制种子点、轮廓线、标定点和包围盒。这些标记可以用于深度学习的训练或其他场景,如标定点可用于图像的配准等。标记数据可以保存至硬盘中被再次打开或使用代码解析其中信息用于其他程序。下图展示了画刷工具的标注效果。

  此外,在拓展接口的支持下,开发者可以将这些标注数据作为所开发的算法的输入。例如需要种子点输入的交互式深度分割网络。您可以使用AS的界面标注种子点并通过拓展接口调用后台的分割网络,并将网络的输出以标签图的形式与输入图像叠加显示来进行观察和验证。

修正自动算法的结果

  虽然包括深度学习在内的自动医学图像分割算法在近年来取得了较大的进步,但在很多情况下仍然存在鲁棒性的问题。对于新的输入数据,分割结果可能会存在瑕疵,以至于无法用于后续的处理。针对这种情况,AS软件提供了一种基于自由形状变换(FFD)算法的交互式修正工具。用户可以通过简单的拖动操作来对自动分割结果进行修正。

3D打印

  在AS软件中,借助一些列图像处理和图形处理的工具,可以直接生成通用格式的模型文件(*.ply**,*.stl,*.obj),这些模型文件可以直接导入到3D打印机中用于3D打印。这样,您可以借助AS软件进行医学影像的分割和模型的生成,来完成3D模型的设计,在打印后即可得到实体模型。

交互式算法开发

  交互式算法往往需要用户频繁的交互式输入并实施来显示算法结果。对于此类算法开发时如果没有一个方便的用户界面,会对算法的开发造成不便。一些开发人员会使用python等语言编写交互式页面,但这种方式不仅工作量较大,同时不能轻松实现窗位窗宽、图像缩放平移、叠加显示等功能。

  AS的软件界面与拓展接口可以助力此类算法的开发。AS所具有的多种标注工具都可以作为拓展接口的输入,而拓展接口可以通过python或c/c++调用用户开发的算法,从而完成了交互式算法的整个流程。

典型案例

脊柱侧弯矫形支具自动设计及患者模板匹配

  在这个例子中,AS被用于实现脊柱侧弯患者统计形状模型与患者体表扫描、患者X光图像的全自动迭代配准与矫形支具的自动设计。针对目前的研究工作以及脊柱矫形支具设计流程的繁琐和国内日益严峻的青少年脊柱侧弯疾病的现状,急需简化矫形技师的设计步骤,有效利用获取的相应数据进行患者与模板之间的匹配,所以需要开发全自动匹配及矫形支具设计算法来解决当前问题。我们开发了相关算法并制作了AS插件模块,利用该模块,设计师只需要将患者X光图像以及患者体表扫描导入软件,即可实现模板匹配以及矫形支具的自动设计。

义齿设计

  在这个例子中,AS被用于自动设计人类患者的牙冠修复体。该模块嵌入了我们提出的一种牙冠智能设计算法,利用大量的临床数据构建形状先验模板库,并基于模板匹配方法快速设计个性化牙冠形态。用户只需要导入患者口腔扫描的局部模型(半透明模型),选择需要设计的牙位编号,即可快速完成模板变形匹配(浅绿色)与牙冠设计(黄色)。下图显示了插件模块的GUI。

矫形鞋垫自动设计与快速力学仿真算法

  在本示例中,AS被用于设计治疗扁平足的矫形鞋垫,面对用户是医生或专业矫形设计师。用户仅需将患者足部体表扫描三维数据输入,通过点击配准按钮,将患者足部体表数据与模板库进行配准,生成配准后的足部模型及配准精度,;点击设计按钮,调用配准后的足部模型生成对应的矫形鞋垫模型;用户可手动拖动隆起分量滑动条,对矫形鞋垫进行细节调整;点击仿真按钮,可以实时快速获得当前鞋垫下足部力学仿真结果;矫形设计师参考有效性与舒适性原则,可重复进行鞋垫调整和力学仿真工作,参考力学仿真结果获得最适合的矫形鞋垫模型。用该模块进行矫形鞋垫设计,总用时小于3min,单次仿真时间小于1min,矫形设计师1h可以完成10例以上的设计。

AnatomySketch 1.0

  Anatomy Sketch 1.0(简称AS 1.0)是上一版本的医学图像分析开源软件。该软件与AS 2.0的定位相同,为医工交叉合作提供了一个便利的工具。AS 1.0软件较AS 2.0更为轻量化,界面简洁,交互方便。同样支持拓展编程,来集成用户自定义功能。但软件的稳定性略差。

  Anatomy Sketch 的开源地址为:https://github.com/DlutMedimgGroup/AnatomySketch-Software