高效准确的流线绘制一直是流场可视化的重要研究内容, 流线可以对流场的重要特征进行有效的稀疏表示, 但流线需要长期的粒子追踪过程及大量的积分计算, 在面向大规模流场可视化时时间效率较低, 需要高性能计算设备进行辅助计算. 本文通过设计一种基于深度学习的高精度流线生成算法, 将初始的低精度流线快速映射为稠密的高精度流线, 可以在较短的时间内快速生成可靠的流线可视化结果, 并在此基础上设计了交互式实时流场可视化系统, 涵盖了流场的特征检测, 属性关联分析, 信息论分析等, 帮助用户快速了解流场数据, 找到自己感兴趣的区域进行后续进一步深度分析, 避免了获取过多冗余数据, 同时优化了分析工作的效率, 满足用户对于流场结构, 特征属性等多维度进行关联分析的需求.
Streamline rendering has long remained as one of the most common techniques for flow visualization. The streamline is an effective sparse representation of the flow field, which can capture the flow behavior, but generating streamline needs long-term particle tracing and massive integral operations. Large-scale flow visualization takes considerable computation time, and the parallel computing algorithm and high-performance equipment are needed. In this study, a high-resolution streamline generation algorithm based on deep learning is designed. The initial sparse low-resolution streamline is quickly mapped into the dense high-resolution streamline to provide reliable streamline visualization results in a short time. On this basis, an interactive real-time flow visualization system is developed, which is capable of flow-field feature detection, attribute correlation analysis, information theory analysis, etc. It can help users quickly understand the flow field data and find their areas of interest for post-hoc analysis, avoiding redundant data and enhancing work efficiency. In addition, it can meet the users’ needs for multi-dimensional correlation analysis of flow field structures, features, and attributes.
流场可视化是科学可视化的重要研究方向, 帮助优化和理解复杂的科学、工程等流体模拟与观测数据, 因此广泛应用于气候建模, 空气动力学, 湍流燃烧、计算流体力学等领域研究中. 基于积分计算的流线可视化方法是最常用的揭示流场特征走向的方式, 它是流场的一种稀疏表示[
流线可视化的质量很大程度上影响了对于流场形态与特征的理解, 过少的流线可能会遗漏流场重要的特征, 但过多的流线会产生计算浪费, 同时具有遮挡、聚集等问题. 因此关于如何合理放置种子点的研究也是流场可视化的热门方向, 其目标是在少量的计算下尽可能地去准确覆盖展示流场[
对于大规模流场, 用户难以需要获取全部数据, 因此实时了解流场数据情况, 可以帮助用户快速选择所需区域进行后续分析. 目前的流场可视化系统常采用并行计算的方式加速粒子追踪, 对计算资源的需求较高, 单机的实时性较差, 且需要存储整个流场数据. 而许多相关研究学者并没有集群计算设备的支持, 从而大大降低了可视化系统的效率和交互性. 缺少轻量级的交互可视化系统, 给用户快速了解流场整体情况提出了较大挑战, 除感兴趣区域外, 用户需要保存大量冗余数据, 影响进一步深入研究, 降低研究效率.
为此, 本文基于深度学习方法设计了流线的超精度重建算法, 通过对于流线进行超精度提升的方式, 极大地降低了流线的计算量, 以此实现流线实时的可视化生成, 使得用户在交互的同时, 可以实时查看对应的高精度流线结果, 提升用户对于大规模流场的探索效率, 且避免了对大规模计算资源的需求. 此外, 可视化系统也对流场进行多维度信息展示, 显示其对应的特征分布与属性信息, 为研究人员提供可靠的流场可视化分析与特征分析, 提高研究效率.
本文的主要贡献如下:
(1) 提出基于深度学习高精度流线映射算法, 可将流场中稀疏的低精度流线映射为高精度流线, 避免大量的积分计算.
(2) 设计交互式流场可视化系统, 帮助用户实时观测流场特征, 快速探索流场数据.
(3) 通过界面中多个视图的数据联动及交互, 多维度展示流场信息, 进行特征分析.
流线一般通过数值积分法绘制, 流线上处处与速度场相切, 对于流线
生成有代表性的流线去有效表示流场一直是流场可视化的重要研究方向. 算法主要可分为3类: 基于密度、基于特征和基于相似度计算[
基于密度的方法会倾向于生成一个统一分布的流线来描述整个流场. Hultquist等[
基于特征的算法更倾向于将种子点放置在流场的特征区域(如临界点位置)来覆盖用户可能的感兴趣区域. Verma等[
基于相似度的算法会计算流线间的相似性并从中选出有代表性的流线. Chen等[
随着深度学习在许多领域应用的巨大进步和成功, 在科学可视化领域, 应用深度学习算法解决传统问题的研究越来越多.
其中, Hong等[
交互流场可视化已经有20年的发展历史, 其可以给用户更多的自由度去控制生成的可视化结果.
Schulz等[
实时流场可视化系统(如
交互流场可视化系统流程
流程1. 基于高精度流线生成的交互可视化
1. 快速临界点检测;
2. 在临界点处放置初始稀疏种子点;
3. 基于稀疏种子点采用龙格-库塔法进行粗糙的流线追踪计算, 此时追踪步长较长, 可以快速完成流线计算;
4. 将粗糙流线集合
5. 返回流线
对于流场内流线的高精度生成问题, 我们将其定义为序列数据的多步回归任务, 即对于流场区域
神经网络由于其特有的非线性映射特性, 已经在多个研究任务和领域内被证实其学习复杂依赖的能力. 传统的插值或回归算法, 如线性插值或ARIMA模型都假定数据之间线性依赖关系, 无法进行非线性映射. 同时, 插值等方法往往只能处理单变量数据, 当流场内需要进行多条流线数据的高精度生成时, 无法同时处理, 也就无法学习到流线之间的空间关系. 近年, Transformer[
MUSE同样使用encoder-decoder结构, encoder将一个序列数据
模型的encoder是由多层MUSE模块组成, 并采用了残差学习机制和归一化层 (layer normalization). Decoder也具有相似的结构.
同时交互流场可视化系统对实时性要求较高, 由于MUSE操作的可并行性, 大大提高了计算速率, 加速了模型的推断时间, 使得应用时可以快速生成大量流线数据.
首先, 将稀疏的流线集合
MUSE模块结构
数据集可分为训练集和测试集, 其中训练数据对包含输入的稀疏流线与输出的稠密流线. 对于每个流场, 首先进行基于Poincarre Bendixon参数的临界点检测, 对于不同的临界点类型, 采用Verma等[
不同临界点的种子点模板
对该模板生成的稠密种子点进行精细的流线计算, 可得到高精度的流线真值
对于模型所生成的高精度稠密流线集合
其中,
本文在基于深度学习的流线高精度生成基础上, 开发了包含流线绘制, 统计信息展示的交互流场可视化系统, 通过不同视图之间的数据联动, 对流场所具有的临界点位置分布, 特征属性分布, 统计信息以及流场结构进行交互可视化展示, 用户可通过交互选择感兴趣的时空区域, 自由生成所需的可视化结果, 了解流场目标区域的特征信息, 提高用户对流场数据分析效率, 避免获取到大量不需要的冗余数据. 系统可满足用户不同的分析需求:
(1) 选择流场内某一区域进行流线可视化, 展示流场特征结构分布.
(2) 查看当前时刻流场, 或选择区域内流场的临界点个数, 及统计对应类型分布.
(3) 查看流场自身属性及信息量信息.
本文所用到的流场及临界点属性如下:
(1) 涡度
涡度
(2) 流线曲率
流线曲率可以用来描述流线的弯曲程度[
其中,
(3) 扭矩
扭矩可以表现流线的扭转程度[
(4) 向量场信息熵
对于任意的变量
将其应用的向量场, 我们首先对向量进行分桶, 得到其对应的直方图, 这样, 对于每一个在桶
其中,
流线可视化视图展示了当前选择区域的高精度流线, 流线围绕在临界点区域, 由第2节所述算法生成. 如
如
向量场信息量视图描述出流场内的不确定性及向量极角值的分布情况. 如
可视化系统界面
如
同时, 如
本文采用的数据集如
实验数据集
数据集 | 维度 | 时间 (s) | 大小 (GB) |
Smoke (2D) | 384×512 | 200 | 2.8 |
Smoke (3D) | 144×96×96 | 200 | 14 |
红海 | 500×500 | 60 | 1500 |
我们将基于PyTorch实现MUSE模型, 采用多头注意力模型[
对于第2节中所提到的高精度流线生成算法, 我们采用
其中,
而为了衡量所生成流线对于原始流场的代表性与描述准确性, 我们采用量化方式评价流线质量, 即通不同方式生成的流线去重建向量场. 如果流线可视化成功展示了流场内的大部分信息, 那么所重建的流场应该具有较小的误差[
我们使用Gradient Vector Flow (GVF) [
其中,
越高的
由于
其中,
为了衡量高精度流线生成算法的准确性与高效性, 我们将线性插值方法作为比较的baseline, 并与原始经过积分计算的高精度流线进行比较分析, 分别从定性与定量角度, 从精确度、还原性与时间效率评价算法模型.
如
比较低精度流线, 插值与MUSE生成算法
数据集 | 方法 | |||
Smoke (2D) | 低精度 | — | 23.34 | 0.42 |
插值 | 0.43 | 26.24 | 0.23 | |
MUSE | 0.36 | 28.52 | 0.17 | |
Smoke (3D) | 低精度 | — | 20.63 | 0.54 |
插值 | 0.52 | 23.20 | 0.36 | |
MUSE | 0.44 | 25.12 | 0.23 | |
红海 | 低精度 | — | 20.24 | 0.48 |
插值 | 0.48 | 25.86 | 0.27 | |
MUSE | 0.41 | 27.53 | 0.19 |
此外, 我们也对比了插值方法生成的高精度流线与MUSE模型所生成的高精度流线的对应指标. 可以看出, 模型的生成的流线与原始高精度流线更为接近,
如
模型时间效率对比分析
数据集 | 运算方式 | 种子点数 | 时间 (s) |
Smoke (2D) | RK4.5 | 300 | 1.12 |
MUSE | 0.69 | ||
Smoke (3D) | RK4.5 | 600 | 2.64 |
MUSE | 0.72 | ||
红海 | RK4.5 | 1000 | 5.26 |
MUSE | 0.77 |
从
可以看到, 从流线可视化的角度来看, 在3个数据集上, 尽管模型所生成的流线仍具有一定的粗糙性, 但都能够较为准确的还原出原始的高精度流场及对应的特征. 且由于种子点增多和流线精度提升, 相比于低精度流线, 模型生成的高精度流线对于流场特征的描述更为准确和清晰, 如在红海海洋流场数据中, 一些低精度流线没有很好展示的螺旋结构和鞍点结构, 在高精度流线中都能够被很好地还原.
高精度流线生成可视化
基于本文所提的流场可视化交互系统, 选择红海数据集对红海海域进行可视化分析, 多维度分析其流场特征.
从高精度流线与关键情况可以看出, 红海海域的涡旋(即临界点)更多的分布在海岸附近, 尤其是红海北部涡旋数量更多. 而南部的亚丁湾区域, 涡旋分布数量较少, 但可以从流线看出涡旋结构都较大, 包含有3个较大的螺旋涡, 以及分布在周围的鞍点区域.
根据流场的不同属性可以进行等值面绘制, 由于海洋流场数据的特殊性, 用户可以选择查看其速度, 涡度大小的等值面, 也可以查看温度、盐度的等值面数据. 如
从
从
红海区域内高精度流线可视化
红海海域不同属性等值面
红海某一区域内流场信息熵
为对所选流场内的临界点特征信息进行量化展示,
红海某一区域内向量极角分布与流线可视化
红海某一区域内临界点特征分布情况
文本将深度学习中进行序列映射学习的MUSE模型应用到流线的高精度生成任务中, 避免了大量的粒子追踪积分计算, 大大提高流线生成的效率, 同时相比于简单的线性插值计算, 生成流线更接近于原始流线, 且对向量场描述更加准确. 在此基础上, 使用算法生成的高精度流线, 结合流场特征检测, 信息论分析等方法, 开发了流场实时交互可视化系统, 用户可通过交互选取所需时空域快速查看流场信息, 了解流场特征, 帮助用户选择自己所需的数据进行后续进一步深度分析. 本文使用Scivis Contest 2020所提供的红海海域流场及属性信息作为案例, 展示了系统对于流场结构, 特征分布, 信息量分析等多维度关联分析的高效性与准确性, 验证了系统可以有效对于大规模流场进行快速实时的可视化说明与分析, 提高用户的工作效率, 简化复杂的分析流程.
本文的工作局限于对于流场的流线可视化, 需要对不同时刻的流场进行多次流线计算, 增加了数据读取的I/O操作, 之后, 我们可以考虑进行迹线的分析与高精度生成, 进一步提高可视化效率, 提供更多的交互分析操作, 帮助用户了解流场的时序变化情况. 另一方面, 本系统可以用于原位可视化中对于数据模拟的实时监督, 帮助用户了解当前模拟数据情况, 是否产生模式坍塌, 以及是否要及时停止模拟. 这样, 就需要进一步提高系统的数据读取速率, 结合多分辨率的数据结构来优化系统效率.
McLoughlin T, Laramee RS, Peikert R,
Cash JR, Karp AH. A variable order runge-kutta method for initial value problems with rapidly varying right-hand sides. ACM Transactions on Mathematical Software, 1990, 16(3): 201–222.
Li LY, Shen HW. Image-based streamline generation and rendering. IEEE Transactions on Visualization and Computer Graphics, 2007, 13(3): 630–640.
Sane S, Bujack R, Garth C,
Liu ZP, Moorhead R, Groner J. An advanced evenly-spaced streamline placement algorithm. IEEE Transactions on Visualization and Computer Graphics, 2006, 12(5): 965–972.
Chen Y, Cohen J, Krolik J. Similarity-guided streamline placement with error evaluation. IEEE Transactions on Visualization and Computer Graphics, 2007, 13(6): 1448–1455.
Han J, Tao J, Zheng H,
He WB, Wang JP, Guo HQ,
Han J, Wang CL. TSR-TVD: Temporal super-resolution for time-varying data analysis and visualization. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(1): 205–215.
et al. Volume upscaling with convolutional neural networks. Proceedings of the Computer Graphics International Conference. Yokohama: ACM, 2017. 1–38.]]>
et al. SSR-VFD: Spatial super-resolution for vector field data analysis and visualization. Proceedings of 2020 IEEE Pacific Visualization Symposium. Tianjin: IEEE, 2020. 71–80.]]>
et al. Interactive visualization of fluid dynamics simulations in locally refined Cartesian grids. Proceedings Visualization’99. San Francisco: IEEE, 1999. 413–416.]]>
et al. Investigating swirl and tumble flow with a comparison of visualization techniques. Proceedings of the IEEE Visualization 2004. Austin: IEEE, 2004. 51–58.]]>
et al. Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2017. 6000–6010.]]>
et al. MUSE: Parallel multi-scale attention for sequence to sequence learning. arXiv: 1911.09483, 2019.]]>
Xu LJ, Lee TY, Shen HW. An information-theoretic framework for flow visualization. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1216–1224.
Kim B, Azevedo VC, Thuerey N,
Jänicke H, Weidner T, Chung D,
Tao J, Ma J, Wang CL,