功能说明

数据探索

数据探索是 DFS 平台中面向分析与预警的关键功能。通过对数据集进行深度处理和建模，用户可以快速发现规律、配置预警规则，并将结果输出为新的探索数据集，用于后续分析、看板展示或业务决策。

关键概念

• 数据探索数据集：执行探索任务后生成的结果数据集，通常已包含处理逻辑和特征变量。
• 预警规则：在探索过程中设定的触发条件，用于自动识别风险或异常情况。
• 数据探索模板：预定义的探索逻辑和处理规则，便于复用，提高探索效率。

发起数据探索

在数据探索页面发起

操作步骤

1. 在数据探索页面，点击【新建】。

2. 在弹出的窗口中填写任务信息。

• • 名称（必填）：输入数据探索任务名称。
  • 数据集（必填）：选择要分析的数据集。
  • 数据集时间范围（必填）：通过开始时间和结束时间选择数据集的分析范围。
  • 描述（选填）：补充说明任务用途或背景。

3. 点击【确认】，进入数据探索编辑面板进行任务配置。

从数据集直接发起

操作步骤

1. 在通用数据集页面选择目标数据集，点击数据集名称或详情按钮进入数据查看页面。
2. 点击数据表标签页中的【发起数据探索】按钮。

3. 在弹出的窗口中填写任务信息：

• 名称（必填）：输入探索任务名称。
• 描述（选填）：补充说明任务背景或目标。

4. 点击【确认】，进入数据探索编辑面板进行任务配置。

数据探索编辑面板

工具栏

• 选择参数：用于通过参数标签和数据集标签选择原始数据。
• 执行：运行当前任务并生成数据处理后的结果。
• 保存：存储当前任务配置。
• 发布：发布时可选择多个同构型的不同飞机号，支持复用探索方法。对同构型数据会自动执行对应的数据分析、预警检测逻辑。

节点栏

“节点栏”提供多种数据处理、分析、模型运算及输出节点，用户可根据业务需求和数据分析逻辑进行灵活编排。以下为各类节点的详细说明、适用场景及使用方法。

• 预处理方法节点：预处理节点用于对原始数据进行初步处理，以便更好地进行后续分析。
  • 线性插值：
    • 功能：通过假设数据在缺失点前后的变化是线性的，推算缺失数据。即沿着一条直线连接相邻已知数据点，填补空缺。
    • 适用场景：处理时间序列数据中存在的小量缺失值，保证数据的连贯性和完整性。
  • 数据降频：
    • 功能：将原始高频数据转换为低频数据，例如将高频采样的数据降低为每秒一次。
    • 适用场景：需要将过于频繁的数据简化为更易分析的低频数据。
  • 数据填充–时间重采样：
    • 功能：对低频数据进行重采样，将其转换为高频数据，适用于同时分析高频与低频数据的场景。
    • 适用场景：当高频数据与低频数据混合使用时，使用此方法填充低频数据以与高频数据匹配。
  • 自定义预处理方法：
    • 功能：用户可以根据特定需求创建自定义的数据预处理逻辑。
    • 适用场景：当标准预处理方法不能满足需求时，提供灵活的扩展性。
  • 特征指提取方法节点：特征提取节点用于从数据中提取重要的统计特征，用于后续建模和分析。
    • 提取最大值：提取数据中的最大值
    • 提取四分位数：将数据排序并分成四等份，提取三个分割点（25%、50%、75%）的位置数值。
    • 提取标准差：计算数据的标准差，反映数据的波动程度。
    • 提取中位数：提取数据集的中位数（50%分位数）。
    • 提取平均值：提取数据的平均值。
    • 提取方差：计算数据集的方差，反映数据的分散程度。
    • 提取最小值：提取最小值。
    • 自定义特征值提取方法：根据特定需求编写自定义的特征提取规则。
• 运算节点：运算节点用于在数据处理过程中进行数学运算，通常用于构建计算模型或生成新的数据指标。

• 输出节点：输出节点用于将处理结果导出或传递到其他模块
  • 预处理输出节点：将经过预处理的数据输出，以供后续分析使用。
• 模型节点：模型节点用于集成第三方AI算法模型，对数据进行预测和智能分析。

画布（任务编排区域）

您可以在此区域进行数据探索任务配置，主要支持的功能如下：

• 添加节点：支持从左侧的节点栏拖动节点到画布上，创建任务的基本框架。
• 连接节点：通过拖动节点之间的连接线（箭头）来定义数据流向。箭头表示数据从一个节点流向另一个节点的顺序，确保任务按正确的顺序执行。
• 查看节点详情：
  • 基础信息：例如处理方法的名称、类型、创建者、状态等信息。
  • 相关代码：该节点关联的代码或脚本。

• 查看节点处理后的数据：在任务执行后，用户可以在画布上查看各个节点处理后的数据，帮助分析任务运行的结果。

交互按钮

• 帮助：查看快捷键。
• 清空画布：清空画布上的所有节点和连接，恢复为初始空白状态。
• 撤销：撤销上一步的操作，将画布恢复到上一个操作状态。
• 重做：重做已撤销的操作，将画布恢复到撤销前的状态。
• 缩小：缩小画布视图，使画布上的内容显示得更加宽广，方便查看全局。
• 放大：放大画布视图，使画布上的内容更加清晰，方便用户专注于某一部分。
• 重置：将画布视图恢复为默认设置，通常会将画布大小和显示比例恢复到初始状态。
• 适配：自动调整画布中的内容显示，使其适配当前的视窗或显示区域。

画布缩略图

画布右下角的缩略图提供了快速导航和视图调整功能，便于用户在复杂画布中定位和调整显示区域，以下是缩略图的主要功能及其使用方法：

缩放视窗：拉拽绿色视窗右下角的圆形缩放柄，可以扩大或缩小视窗，从而调整画布中的显示范围。

移动视窗：通过拖拽绿色视窗本身或点击视窗外的空白区域，可以改变视窗的位置，从而调整画布中显示的具体内容区域。

配置数据探索

通过拖拉拽和连线，完成数据处理方法和原始数据之间的关系配置，实现工作流形式的数据探索配置。

1. 打开数据探索编辑面板：

• • 自动打开：创建新数据探索后，系统会自动打开“数据探索编辑面板”。
  • 手动打开：在数据探索页面，选择需要编辑的数据探索，点击数据探索的名称或【编排规则】按钮打开“数据探索编辑面板”。

2. 选择原始数据:

a) 点击工具栏中的【选择参数】按钮，打开数据选择窗口。

b) 在弹出的窗口中，通过以下方式筛选所需数据：

• • 参数：从数据集中选择所需的参数。
  • 参数规则：通过设定参数的取值范围，进一步筛选并缩小范围，快速定位目标数据。

c) 点击【确认】按钮，系统将在画布上添加一个“原始数据”节点。

3. 选择数据处理方法

a) 从左侧的节点栏中找到所需的节点，将节点拖动到画布上。

b) 从一个节点的输出端连接到另一个节点的输入端，箭头表示数据的处理顺序。

4. 保存任务配置：点击 【保存】，存储当前任务配置。

执行和验证

通过执行和验证步骤来确保数据处理任务的有效性和准确性。以下是进行数据分析并验证数据处理有效性的操作说明：

1. 执行任务：点击画布右上角的【执行】按钮，系统将根据画布中定义的数据处理逻辑，执行节点处理并生成数据分析结果。

执行过程可能涉及数据清洗、特征提取、模型运算等操作，依赖于画布中配置的节点。通过执行任务，分析师可以获得根据业务需求和逻辑处理后的数据结果，数据结果将自动保存到通用数据集中，供后续查看和分析。

2. 数据验证：点击数据处理节点上的查看按钮 ，打开展示该节点输出结果的数据图表和数据表。
   • 查看数据趋势、规律、异常值等，进而分析数据是否符合预期。
   • 对比数据图表和数据表中的结果，检查是否符合预期的计算结果或分析结果。
   • 通过与原始数据、外部数据源或者已知标准的对比，来验证数据处理的准确性。
3. 优化数据处理：如果数据处理结果存在问题，分析师可以通过调整节点配置、重新运行任务等方式，进行修正和优化。