研究进展：基于光片荧光显微镜的三维病理分析

荧光显微镜是生物医学研究中的重要工具，通过使用荧光染料或荧光蛋白标记特定的细胞或分子，使其在显微镜下发出荧光，从而实现高分辨率的成像。

光片荧光显微镜是一种革命性的新兴三维成像技术，通过快速扫描薄片样本，实现高通量、高分辨率的三维成像。该技术具有光漂白与光毒性低、光子利用效率高、成像速度快和分辨率高等优点，广泛应用于神经科学、细胞生物学、病理学等生物医学领域。光片荧光显微成像技术在三维病理分析中展现出了巨大的潜力。

相比于传统的二维病理切片，三维病理分析能够提供组织结构的完整空间信息，有助于更全面地理解疾病的发生和发展机制。三维病理分析领域的发展，将极大地推动病理学研究的深入和临床诊断的精确化，为疾病的早期发现、精准治疗和个性化医疗提供强有力的支持。

华中科技大学光学与电子信息学院的费鹏团队发表综述，介绍了光片显微成像技术的发展及其在病理领域的应用，然后介绍了目前三维病理分析的主要工作和方法，着重讨论了新兴的多模态大语言模型在病理分析领域的应用前景。

光片显微镜的发展及应用

光片显微镜的发展历程
2004年，Huisken课题组提出SPIM，首次将光片显微镜带入人们的视野，大大降低了光漂白和光毒性，并能连续采集长时间序列图像。

2007年，基于之前工作提出mSPIM，减少了SPIM中的条纹伪影。2008年，Keller等人提出DSLM，其通过扫描高斯光束形成虚拟光片。SPIM和DSLM奠定了光片显微镜的基本模式。

光片生成的并行化。SPIM同时照明并捕捉整个视野的荧光，而mSPIM通过围绕其中心旋转光片来减少条纹伪影。DSLM通过时间共享光束生成虚拟光片，任何给定时间内仅有被照明条带产生荧光。为了保持相同信噪比，随着视野大小（沿扫描轴）相对于光片厚度的增加，DSLM需要更高的峰值强度Ipeak

近年来，光片显微镜朝着更高分辨率、更低光漂白和光毒性、更快成像速度以及更大成像体积发展。例如贝塞尔光片显微镜、Lattice显微镜、平面扫面共焦（SCAPE）显微镜及其改进版等多种先进显微镜技术被提出。

传统荧光显微镜在三维成像、长时间活体成像、光漂白和光毒性方面存在局限性，宽场荧光显微镜图像对比度低，共聚焦显微镜成像速度慢且光漂白和光毒性较大。

为解决这些问题，光片荧光显微镜应运而生。它用一束薄薄的光片从侧面照射样品，减少了总曝光量，大大降低了光漂白和光毒性，同时实现了快速、高分辨率的三维成像。

光片显微镜的重要技术发展
组织透明化技术：组织透明化技术通过化学试剂置换、冲洗等方法对生物样本进行脱水、脱脂等操作，然后填充试剂使样本具有均匀折射率，最后放入折射率匹配的试剂中实现光的透明。该技术与光片显微镜结合，可提取复杂哺乳动物和大型人类标本的结构信息，如构建单细胞分辨率小鼠大脑图谱。

光片显微镜在病理组织样本中的应用
肿瘤病理学研究：光片显微镜可实现肿瘤组织的三维成像，提供详细结构信息，用于评估药物疗效和指导个性化治疗。如开顶光片显微镜可对前列腺组织样本进行成像，还有研究对乳腺癌、膀胱肿瘤等的相关组织进行了成像研究，展示了其在肿瘤病理诊断和药物研究中的价值。

神经病理学和大脑研究：在研究神经网络结构方面具有优势，可观察脑组织及神经元等结构的三维形态特征。如对脑部标本的透明化方法进行可视化，在人脑组织中寻找感兴趣区域并进行相关研究，以及对人脑枕叶组织、厚人脑切片中的淀粉样斑块等进行成像研究，体现了其在研究神经系统疾病病理机制中的重要性。

其他病理学研究：在皮肤、眼球、口腔等病理组织研究中也有重要应用。如对人体皮肤活检组织样本、人眼、人类牙髓等进行成像，展示了其在临床环境的体内组织原位体积成像中的重要作用。

病理分析的应用及发展
病理分析是一门医学分支，其主要包含组织学、细胞学、免疫组织化学、分子病理学等方面。对于许多常见的癌症和肿瘤，比如乳腺癌、前列腺癌、肺癌、胃肠道癌、皮肤癌以及各种良性和恶性的肿瘤等，病理分析通过对这些疾病的组织样本进行详细检查，提供了明确的诊断依据，帮助医生制定有效的治疗方案。

光片显微镜作为一种新兴的显微成像技术，能够以高速度、高分辨率和低光毒性成像大体积样本。这种技术极其适用于三维组织成像、活体成像、多色荧光成像等场景，在病理分析中有着广泛的应用前景。随着光片显微镜技术的不断发展，算法的进步也在推动病理分析迈向新的高度。

虚拟染色技术
传统组织染色方法如H&E染色虽对病理学发展有重要作用，但存在时间成本高、操作繁琐、样本损坏和染色一致性差等问题。

虚拟染色技术兴起得益于数字病理学和计算机视觉技术的快速发展。它利用图像算法将显微镜下的无染色或轻度染色的生物组织图像转换为类似于传统染色效果的技术。其显著减少染色过程所需时间和成本，在组织病理学中，除固定样本外，只需用类似H&E染色的荧光标记物进行标记，整个样本准备过程少于3分钟，并且减少额外材料开支。其图像算法在GPU上并行处理时可在亚毫秒级处理每帧图像。例如Jonathan T.C.Liu课题组提出的快速数字染色软件包（FalseColor-Python）通过GPU加速处理大规模数据集，实现高效虚拟染色。

不同研究者针对各种视觉的定量指标进行对比，发现虚拟染色的结果与传统染色结果非常接近。同时对一些临床分析的结果进行对比，发现虚拟染色的结果并不会影响最终的判断。这些结果表明通过虚拟染色生成的病理图像是可靠的，可以在不影响诊断信息的情况下提供高质量的组织图像。

虚拟染色技术允许研究者在同一图像上应用不同的染色方案，无需对样本进行多次处理，减少对样本的损耗和操作成本，提供更加灵活和多样化的选择。例如Zhang等人通过深度学习技术对未标记的组织样本进行虚拟染色，成功复现H&E染色、Masson三色和Jones'银染色，该方法能在单个组织切片上实现多重染色，无需进行多次物理处理，大大提高组织学分析的效率和准确性。Liu等人同样利用深度学习方法，从H&E染色图像中生成虚拟的免疫组织化学（Immunohistochemistry，IHC）图像，从而在不进行实际染色的情况下，获得同样高质量的诊断信息。

虚拟染色通过算法实现，对于同样的组织样本，只要保持参数一致，就能够提供一致的染色效果，避免传统染色方法中的人为误差和实验室间差异。

传统染色方法可能对样本造成损伤，而虚拟染色技术是非破坏性的。研究者可以多次对同一样本进行不同的虚拟染色处理，保留原始样本的完整性。例如Jonathan T.C.Liu课题组的研究展示一种多分辨率非破坏性三维病理学方法，通过结合荧光染色和光学透明化技术，对淋巴结进行全方位成像，提高淋巴结转移分期的准确性。

同时，虚拟染色技术可以很好地与光片荧光显微镜相结合。例如 Jonathan T.C.Liu课题组的研究中采用开顶式光片显微镜对经过H&E染色荧光类似物标记的组织样本进行成像。

这种结合可以显著降低染色成本、提高病理分析效率、减少样品损伤等，为病理分析提供强有力的工具，具有广阔的应用前景。

病理分析的研究进展
光片荧光显微成像技术：可快速、非破坏性地获取高分辨率三维图像，在癌症研究、神经科学和发育生物学等领域有巨大潜力，能实现大样本高通量分析和动态过程实时监测。

虚拟染色技术：通过计算方法替代传统染色过程，加快病理切片处理速度，减少染色剂使用，提高环境友好性。

机器学习和数字图像处理技术：

• 二维病理分析：是病理学研究的基石，随着人工智能发展，利用深度学习算法对病理图像进行分类诊断，在乳腺癌等疾病的病理分析中有诸多应用，但存在无法充分展示组织结构复杂性和空间关系的局限性。

• 三维病理分析：光片荧光显微镜在三维病理分析中有诸多优势，能提供更全面精准的组织结构信息。如 Jonathan T.C.Liu课题组提出的TriPath平台，以及在前列腺癌、乳腺癌等组织上的一系列工作，还有其他关于不同组织的研究，都展示了三维病理分析的优势，结合自动化算法可帮助医生更准确诊断疾病。

病理分析大模型：病理分析大模型是在医疗健康领域应用的大规模预训练模型，参数量大，具备更强的特征提取和学习能力，在不同任务场景下泛化性好。如UNI模型、Prov-GigaPath模型、Virchow模型等，这些模型在不同的病理学任务中表现优异。

多模态大语言模型的应用及发展
多模态大语言模型的发展追溯到Transformer结构的提出，随后基于Transformer的GPT、BERT等语言基础模型诞生，接着ViT模型将Transformer应用到计算机视觉领域，CLIP架构实现了多模态信息的融合。

主流多模态大语言模型主要由图像编码器和文本编码器经过CLIP框架预训练，再结合预训练的LLM等组成，采用多种训练方式，如参数高效微调方法等。

多模态大语言模型在病理分析领域的应用

• 生成医学报告：根据病人影像资料和病历文本自动生成详细医学报告，节省医生时间，提高工作效率和报告准确性。

• 诊断疾病：结合影像和文本数据提高疾病诊断准确性，如在肺癌早期筛查中的应用。

• 数字病理分析：通过学习病理图像和诊断信息，自动识别、计算和分类病理组织，为病理医生提供辅助工具。

• 人机交互：实现自然和直观的人机交互，方便医学工作者获取信息和建议。

• 应用案例：如Tiu等人利用CLIP模型实现对多种疾病的检测，还有CONCH模型、PathChat模型、PathAsst模型、M3D-LaMed模型等在不同病理分析任务中的应用。

 

多模态大语言模型结合光片显微镜展望

• 模型复杂性与计算资源：模型结构复杂、参数多，三维病理图像数据处理更复杂，需要强大计算资源，这是研究机构和医疗机构的瓶颈，但随着技术发展有望突破。

• 三维病理数据获取与标注困难：需要大量三维病理图像-文本对数据，目前缺乏大规模三维病理数据集，光片显微镜可解决此问题，还可通过模态迁移与适配在现有二维病理大模型上进行改进。

• 可能存在的问题：可能存在偏见和知识抄袭问题，且容易产生幻觉和错误推荐，需要谨慎整合到病理实践中，病理学家要验证其生成内容。

• 应用前景：光片显微镜与多模态大语言模型结合可改善三维病理数据获取与标注困难，处理一系列病理分析任务，具有巨大临床价值，虽然面临挑战，但随着技术进步有望解决，应用前景广阔。

总结与展望
光片荧光显微镜具有高分辨率、成像速度快、光毒性和光漂白低等优势，在生物医学领域应用广泛且不断发展，在三维病理成像领域潜力巨大。人工智能技术在病理分析中的应用不断发展，从传统的CNN模型到通用的综合性病理分析大模型。光片荧光显微镜与多模态大语言模型结合将为病理分析领域提供更强大的工具支持，推动该领域进一步发展。

内容来源：费鹏, 思文天, 张敏超. 基于光片荧光显微镜的三维病理分析综述[J]. 光学学报（网络版）, 2024, 01(05): 02.