DataMesh FactVerse DFS

概述

DFS（Data Fusion Service）是一款用于连接和处理工业数据的融合引擎，能够整合、处理来自不同工业软件的数据，以便进行更全面的数据分析和洞察。DFS 通过运行在 DFS Hub 内部的适配器与数采平台集成，支持多种主流通信协议和工业软件数据源，确保数据能够被转化为多种业务应用可以访问和使用的格式，从而保证与数字孪生应用的兼容性。

主要组成

DFS 数仓：DFS 数仓负责整体管理、数据存储、统计计算、报表服务等功能。其主要特点包括：

• • 连接多个 DFS 适配器，并进行统一管理和配置。
  • 提供存储服务，通过连接存储硬件（硬盘阵列）来存储数据，并支持外挂扩展。
  • 采用双网卡设计，分隔接入与输出，提高安全性。
  • 在私有部署情况下，通常以柜式服务器形式部署在用户的机房中。

DFS Hub：DFS Hub 是连接各种适配器和 DFS 的中心点，负责数据的接收、处理和分发。其主要特点包括：

• • 负责将外部数据接入 DFS 系统，并进行初步的处理、转换和清洗。
  • 所有数据存储于 DFS 数仓的存储服务之中，DFS 适配器自身不做数据存储。
  • 一套 DFS 系统可以有多个 DFS 适配器，每一个 DFS 适配器都连接到 DFS 数仓。
  • 支持 RS485、MQTT、HTTP、Modbus、OPC UA 等主流通信协议，能够对接 MES、PLM、WMS、SCADA 等工业软件数据。
  • 在私有部署情况下，DFS 适配器通常部署在设备现场或产线附近，通过有线或无线方式与 DFS 数仓连接。

部署

关键步骤

以下是 DFS 部署中的关键步骤和连接过程：

1. 1. 客户设备连接数采系统：首先，客户的设备需要连接到数采系统，以便从设备中采集数据并传输到 DFS 系统中。
   2. 连接数采系统到 DFS Hub：

• • • DFS Hub 是连接各种适配器和 DFS 的中心点，负责数据的接收、处理和分发。
    • 数采系统通过与 DFS Hub 连接，将采集到的数据发送到 DFS 中进行进一步处理。

1. 3. 连接 DFS Hub 到 DFS 数仓：从 DFS Hub，数据进一步传输到 DFS 数仓系统，DFS 数仓中的 Node-RED 模块负责采集数据源至 ODS 数仓，并通过 ETL 清洗数据，去除异常。
   4. 连接 DFS 数仓到 FactVerse：处理后的数据根据业务需求导入到 Data Mart 中，并通过数据映射接口连接 ODS、ETL、Data Mart，选取所需数据连到数字孪生体。这一步骤确保了将清洗并符合业务需求的数据导入到 FactVerse，用于构建数字孪生环境。

云主机部署

云主机部署适用于对数据实时性要求不高的场合，通过云市场镜像快速部署 DFS 云主机，并配置连接 FactVerse 服务的环境。

优点

• • 快速部署：通过云市场镜像，可以快速搭建 DFS 环境，节省部署时间。
  • 灵活性：根据需求灵活选择云主机规格和配置。

典型用例

• • 快速验证环境 POC（Proof of Concept）：企业想要快速验证 DFS 与现有系统的兼容性和效果，可以通过云主机部署进行POC测试。
  • 历史数据的场景回放：可以利用云主机部署 DFS 来进行历史数据的场景回放，以模拟特定时间段内的数据情况，进行分析和测试。
  • 基于模拟数据发生器的推演和计算：企业需要进行基于模拟数据的推演和计算，可以在云主机上部署 DFS，并结合模拟数据发生器进行实验和计算。

私有化部署

私有化部署适用于对数据实时性要求高的场合，可以通过 DFS 数仓和 DFS Hub 一体机在现场环境部署。

优点

• • 实时性：私有化部署可以更好地控制数据传输和处理的实时性，适用于对实时数据处理要求较高的场景。
  • 安全性：私有化部署可以提高数据的安全性和隐私保护，满足企业对数据安全的需求。
  • 可控性：企业可以完全掌控 DFS 环境，根据自身需求进行定制和优化。

典型用例

• • 现场数据采集平台对接：在工厂等现场环境需要进行实时数据采集和监控的场景下，可以通过私有化部署搭建 DFS 环境，与现场数据采集平台进行对接和集成。
  • 生产环境实时监控与管理：对于生产环境需要进行实时监控和管理的场景，可以通过私有化部署搭建 DFS 环境，实现对生产数据的实时处理和监控。
  • 基于较大数据量的分析推演计算：需要进行大规模数据分析和推演计算的场景，可以通过私有化部署搭建 DFS 环境，满足对大数据量处理和计算的需求。

典型应用场景

DFS 适用于多种场景，包括但不限于以下几个方面：

1. 1. 模拟/回溯（历史数据）

描述： 通过数据发生器建立模拟/历史数据源，将数据映射到数字孪生体，用于模拟和回溯分析。

应用：

• • 在生产环境中，通过模拟数据发生器生成模拟数据，用于测试和优化生产流程，预测生产状况。
  • 利用历史数据源回溯分析，了解过去生产数据的趋势和特征，为未来的决策提供参考依据。

1. 2. 实时连接以供业务查看

描述：连接数采平台，将实时数据从现场设备、传感器或其他数据源直接传输到 DFS，然后映射到数字孪生体中，以建立实时数据管道，支持数字孪生业务的实时监控和应用。

应用：

• • 在工厂生产过程中，通过实时连接将各类传感器数据实时采集到 DFS 中，实现对生产过程的实时监控和管理。
  • 将实时监控的数据映射到数字孪生体，构建实时数字孪生环境，帮助企业实现实时预测和优化。

1. 3. 分析计算

描述：输出清洗后的数据集，供给 BI、机器学习、AI平台使用，用于进一步的数据分析和洞察。

应用：

• • 将经过清洗和转换的数据集输出给 BI 工具箱，进行数据可视化分析，生成报表和图表，帮助企业了解数据背后的趋势和规律。
  • 将清洗后的数据集提供给机器学习和 AI 平台，进行预测建模、异常检测等高级分析，为企业提供更深层次的数据洞察和决策支持。

使用流程

1. 系统部署：根据需求和场景选择适合的部署方式，可以是云主机部署或私有化部署。

2. DFS 数据接入准备

a) 定义场景：根据业务需求定义场景，确定用户业务系统数据的格式、需要接入的数据源和数据处理流程。

b) 数据处理流程：由 DataMesh 提供配置模板。

i. 数据处理和转换规则：包括数据清洗、转换、映射等操作，确保数据格式符合业务需求。

ii. 数据输出规则：将处理后的数据输出到需要的业务应用或工具中，如 BI 工具箱、机器学习平台等。

3. DFS 数据接入配置：进行数据接入配置，将需要的数据源接入到 DFS 中，可以选择模拟/回溯数据源或实时连接数据源。

4. 孪生体和设备绑定：将数据接入的场景绑定到相应的孪生体和设备上，实现数据与设备的关联，确保数据能够正确地映射到数字孪生环境中。

DFS 数据接入配置

您需要进行一系列设置和连接步骤，以确保数据能够成功发送到 DFS 服务，并实现后续的处理和应用。

设置数据接入接口

在DFS管理平台中，需要配置好数据接入接口，确保 DFS 能够正确地接收到从数采系统发送过来的数据。

具体步骤如下：

1. 1. 登录 DFS 管理平台。
   2. 在 DFS 适配器 > 适配器实例页面，点击【新建】按钮创建一个新的适配器实例。
   3. 在新建窗口中，填写适配器实例名称、DFS 适配器IP地址（DFS 适配器的被管理IP）及接口等信息。

IP 地址的设置规则：

• • 单机 DFS 适配器多个适配器实例时，IP 地址相同端口不同；
  • 多机 DFS 适配器时，IP 地址不同。

1. 4. 填写完成后，点击【确认】。

设置数据处理和加工规则

在 DFS 管理平台中，需要设置一系列的数据处理和加工规则，以满足用户特定的业务需求。这可能包括数据清洗、转换、聚合、计算等操作，以确保处理后的数据符合用户的预期。

具体步骤如下：

1. 1. 在 DFS 适配器 > 适配器模板页面，点击【新建】打开新建窗口。
   2. 在新建窗口中，填写模板名称和模板数据。
   3. 打开 DFS 适配器 > 适配器实例页面，点击适配器实例相应的【选择模板】按钮 ，选择适配器模板为适配器实例设置数据处理规则。

1. 4. （可选）在 Node-RED 中编辑数据处理和加工规则。

a) 点击【编辑适配器】按钮 ，即可打开 Node-RED 编辑界面。

b) 在 Node-RED 编辑界面中编辑节点。

孪生体和设备绑定

孪生体和设备绑定是将实际设备与数字孪生环境中的虚拟对象（孪生体）进行关联的过程，以实现数据驱动的模拟和优化。

具体步骤如下：

1. 1. 使用 FactVerse Designer 创建数字孪生场景，确保场景中包含实际设备对应的孪生体。例如，创建一个名为“DFS-DEMO”的场景，场景中包含一个机械臂“Robot for DFS data validation”，这个机械臂将在后面步骤绑定业务场景中的实际设备。

1. 2. 导入数字孪生场景：

a) 登录DFS管理平台。

b) 在孪生体关联 > 场景配置页面中，点击【导入】打开导入窗口。

c) 在导入窗口中，选择要导入的场景（例如“DFS-DEMO”），然后点击【确认】按钮。

1. 3. 绑定设备与数字孪生体：

a) 在孪生体关联 > 设备绑定页面中，找到要绑定的设备，例如设备 Robot，点击相应的详情按钮，打开设备的详情页。

b) 在设备配置栏里，点击【配置孪生体】按钮，打开配置孪生体窗口。

c) 在配置孪生体窗口中，点击设备所属场景的下一级按钮。

d) 选中要绑定的孪生体，点击【确认】完成设备与孪生体的绑定。

1. 4. 播放场景。

a) 在 FactVerse Designer 中，打开场景 DFS-DEMO。

b) 点击播放按钮，观察机械臂在数据驱动下的姿态变化。

术语表

Data Fusion Services (DFS)：FactVerse 数据融合服务，用于持续连接真实世界数据到 FactVerse。

DFS Adapter（DFS 适配器）：DFS 用于对接各类数据源持续获取数据的适配器。

DFS Hub：承载多个 DFS 适配器的服务器/集线中心。

DFS Data Warehouse（DFS 数仓）：承载 DFS 各类数据存储、处理、使用的服务器。

DFS ODS：DFS 数仓中的原始数据存储服务。

Node-RED：基于流程编程的开源物联网低代码可视化设计工具，在 DFS 中用于前置 ODS 数据规则设计。

DFS ETL：DFS 数仓中的ETL服务，主要用于持续的数据抽取和清洗。

DFS Data Mart （DFS 数据集市）：DFS 数仓中的处理后数据分发服务，用于为业务系统、报表系统、分析学习系统等提供处理好后的数据包。