使用轻易云平台进行金蝶云星空API接口的ETL转换

2021-10-21 06:15:42
轻易云集成顾问-黄宏棵

新宝采购订单-金蝶销售订单系统对接集成案例分享

在企业信息化领域中，数据集成常常扮演着至关重要的角色。本篇文章重点解析新宝-产业链协同平台与金蝶云星空之间的数据对接方案，即如何将新宝上的采购订单高效且准确地转化为金蝶星空中的销售订单。以下内容主要围绕API接口使用、数据格式转换和异常处理等多方面展开。

首先，新宝-产业链协同平台提供了丰富的API接口，其中关键之一便是获取采购订单数据的/order/orderList接口。通过此接口，我们能够定时可靠地抓取到最新的采购订单，确保每一笔有效的数据都不会遗漏。在实际操作过程中，这一步骤尤其重要，不仅需要实时监控其执行情况，还需保持高可用性以应对可能出现的网络波动或服务器故障。

为了实现从新宝平台到金蝶云星空的大量数据快速写入，我们采用了批量处理机制。具体来说，通过调用金蝶云星空的batchSave API，可以一次性写入多个销售订单，大幅提升效率，同时减轻网络和系统负载。但值得注意的是，在进行批量操作时，需要充分考虑两者间的数据格式差异。如果不做适当转换与映射，很可能导致部分字段无法正确存储，进而影响业务流程。

此外，由于两者在分页和限流方面存在差异，需要特别设计分页处理逻辑，以避免单次请求超出限制。在这个过程中，每个环节都必须有详尽日志记录与实时监控，以保障整个链条上的问题能被及时发现并解决。一旦发生异常，通过预先设定好的重试机制，将失败任务自动重新执行，这样可以最大限度减少因临时错误造成的数据缺失。

综上所述，新宝-产业链协同平台与金蝶云星空之间的数据对接不仅要确保过程透明、高效，还需注重细节处理，如分页管理、错误重试以及日志监控等。下一部分我们将详细介绍具体配置步骤及代码示例，以更好帮助技术人员掌握这套集成解决方案。用友与外部系统接口集成开发

调用新宝-产业链协同平台接口/order/orderList获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的第一步。本文将深入探讨如何通过轻易云数据集成平台调用新宝-产业链协同平台的接口/order/orderList，获取并加工数据。

接口配置与请求

首先，我们需要配置元数据以便正确调用接口。根据提供的元数据配置，我们可以看到以下关键参数：

API路径: /order/orderList
请求方法: POST
唯一标识字段: poNo
分页字段: page_no
查询时间字段: queryTime

我们需要构建一个POST请求来获取订单列表。请求体中的queryTime字段用于指定查询时间范围，只支持查询跨度1个月内的数据。为了确保我们能够持续获取最新的数据，可以使用上次同步时间（LAST_SYNC_TIME）作为查询起点。

{
  "queryTime": "{{LAST_SYNC_TIME|dateTime}}"
}

数据清洗与转换

在成功调用接口并获取数据后，下一步是对数据进行清洗和转换。根据元数据配置，我们可以提取出有用的信息：

错误信息键: msg
数据列表键: data

假设我们从接口返回了以下响应：

{
  "msg": "success",
  "data": [
    {
      "poNo": "PO123456",
      "orderDate": "2023-10-01",
      "supplierName": "Supplier A",
      "totalAmount": 10000
    },
    {
      "poNo": "PO123457",
      "orderDate": "2023-10-02",
      "supplierName": "Supplier B",
      "totalAmount": 20000
    }
  ]
}

我们需要从响应中提取出data字段，并对每个订单进行必要的清洗和转换。例如，将日期格式标准化、金额单位转换等。

def clean_and_transform(data):
    cleaned_data = []
    for item in data:
        cleaned_item = {
            '订单编号': item['poNo'],
            '订单日期': standardize_date(item['orderDate']),
            '供应商名称': item['supplierName'],
            '总金额': convert_currency(item['totalAmount'])
        }
        cleaned_data.append(cleaned_item)
    return cleaned_data

def standardize_date(date_str):
    # 假设日期格式为YYYY-MM-DD，将其转换为其他标准格式
    return datetime.strptime(date_str, '%Y-%m-%d').strftime('%d/%m/%Y')

def convert_currency(amount):
    # 假设金额单位为元，将其转换为其他货币单位（如美元）
    return amount / 6.5  # 示例汇率

数据写入目标系统

完成清洗和转换后，最后一步是将处理后的数据写入目标系统。在这个案例中，我们假设目标系统是金蝶销售订单系统。可以通过轻易云平台提供的SDK进行写入操作。

from Adapter.Donlim.SDK.DonlimSDK import DonlimSDK

sdk = DonlimSDK()
cleaned_data = clean_and_transform(response['data'])

for record in cleaned_data:
    sdk.write_sales_order(record)

以上代码展示了如何利用轻易云平台的SDK将清洗后的采购订单数据写入金蝶销售订单系统。

总结

通过上述步骤，我们实现了从新宝-产业链协同平台接口获取采购订单数据，并经过清洗和转换后，将其无缝集成到金蝶销售订单系统中。这一过程不仅提高了数据处理的效率，还确保了各个环节的数据准确性和一致性。如何开发企业微信API接口

使用轻易云数据集成平台实现金蝶云星空API接口的ETL转换

在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL（提取、转换、加载）处理，转为目标平台金蝶云星空API接口所能够接收的格式，并最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台配置元数据，实现这一过程。

配置元数据解析

在进行ETL转换时，首先需要理解和配置元数据。以下是一个典型的元数据配置示例：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FBillNo",
      "label": "单据编号",
      "type": "string",
      "describe": "单据编号"
    },
    {
      "field": "FSaleOrgId",
      "label": "销售组织",
      "type": "string",
      "describe": "销售组织",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      },
      "value": "101"
    },
    {
      ...
    }
  ],
  ...
}

数据字段映射与转换

在上述配置中，request字段定义了需要传递给金蝶云星空API的数据字段。每个字段包含以下信息：

field: 字段名
label: 字段标签
type: 数据类型
describe: 字段描述
parser: 可选，用于指定如何解析该字段的值
value: 字段值，可以是固定值或动态值

例如，FSaleOrgId字段通过ConvertObjectParser解析器将销售组织编号转换为金蝶系统所需的格式。

子对象数组处理

对于复杂的数据结构，如订单明细，需要使用嵌套数组来表示。在元数据配置中，通过children字段定义子对象数组。例如：

{
  ...
  {
    "field": "FSaleOrderEntry",
    "label": "订单明细",
    ...
    "children": [
      {
        ...
        {
          "field": "FMaterialId",
          ...
          "value": "{{orderDetail.materialNo}}"
        },
        {
          ...
        }
      }
    ]
  }
}

这里，FSaleOrderEntry表示订单明细，每个子对象（如物料编码、含税单价等）都通过模板变量（如{{orderDetail.materialNo}}）从源数据中提取相应的值。

API请求与执行

元数据配置完成后，通过指定API请求方法和执行参数来实现数据写入操作。例如：

{
  ...
  {
    field: 'FormId',
    label: '业务对象表单Id',
    type: 'string',
    describe: '必须填写金蝶的表单ID如:PUR_PurchaseOrder',
    value: 'SAL_SaleOrder'
  },
  {
    field: 'Operation',
    label: '执行的操作',
    type: 'string',
    describe: '执行的操作',
    value: 'BatchSave'
  },
  ...
}

这些配置确保了请求被正确发送到金蝶云星空API，并执行批量保存操作。

实际应用案例

假设我们有一条采购订单需要转化为销售订单并写入金蝶云星空系统。以下是一个具体应用案例：

提取源数据：从新宝采购订单系统提取原始订单数据。
清洗与转换：根据上述元数据配置，将原始订单数据中的各个字段映射到目标格式。例如，将采购订单号映射为销售订单号，将物料编码转换为金蝶系统所需格式。
构建请求：根据转换后的数据构建POST请求，包含所有必要的字段和子对象数组。
发送请求：通过轻易云平台发送POST请求至金蝶云星空API接口，执行批量保存操作。

通过以上步骤，我们可以实现从源平台到目标平台的数据无缝对接，确保每个环节的数据准确性和一致性。

总结

本文深入探讨了使用轻易云数据集成平台进行ETL转换，将源平台的数据转化为目标平台金蝶云星空API接口可接收的格式，并最终写入目标系统。通过详细解析元数据配置和实际应用案例，我们展示了如何高效地实现异构系统间的数据集成。企业微信与OA系统接口开发配置