如何将吉客云货品数据集成到金蝶云星空

ETL转换实现：从吉客云到金蝶云星空的数据写入

2021-10-25 11:47:10
轻易云集成顾问-李国敏

吉客云数据集成到金蝶云星空：查询吉客云货品

在企业数据管理的日常操作中，如何有效地实现不同系统之间的数据对接和集成显得尤为重要。本文将详细探讨利用轻易云数据集成平台，将吉客云中的货品数据高效、安全地传输到金蝶云星空系统的具体技术方案。

技术背景

在此案例中，我们主要聚焦于通过调用吉客云提供的erp-goods.goods.getforqimen API接口来获取货品信息，并利用金蝶云星空API完成数据写入工作。这个过程不仅需要具备较高吞吐量的数据处理能力，还要能够应对可能出现的数据质量问题、分页请求限流以及两者之间的数据格式差异等挑战。

数据获取与转换逻辑

首先，通过自定义的数据转换逻辑，我们可以确保从吉客云拉取的大量货品数据经过适当的处理后，符合金蝶云星空所需的格式。这一步骤包括字段映射、值转化以及结构调整等操作，同时确保不会遗漏任何一条关键信息。在轻易云平台上，这些步骤都能通过可视化设计工具进行拖拽式配置，使整个流程更加直观且便于管理。

实时监控与异常处理机制

为了保证任务执行过程中各个环节的顺利进行，我们启用了集中监控和告警系统，对每一个API调用及其响应状态进行实时跟踪。一旦发现任何异常情况，如请求失败或返回数据不完整，将立即触发告警并启动自动重试机制，确保最终所有预定的数据都能准确无误地被送达目标数据库。

下一部分我们将深入解读具体实施步骤，包括配置参数详解、分页与限流策略，以及如何优化批量写入性能，以满足实际业务需求。

金蝶与MES系统接口开发配置

调用吉客云接口erp-goods.goods.getforqimen获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的第一步。本文将详细探讨如何通过轻易云数据集成平台调用吉客云接口erp-goods.goods.getforqimen，并对获取的数据进行加工处理。

接口调用配置

首先，我们需要根据元数据配置来设置API调用参数。以下是元数据配置的关键部分：

{
  "api": "erp-goods.goods.getforqimen",
  "method": "POST",
  "number": "goodsCode",
  "id": "goodsCode",
  "pagination": {
    "pageSize": 100
  },
  "omissionRemedy": {
    "crontab": "1 * * * *",
    "takeOverRequest": [
      {
        "field": "startDate",
        "label": "修改时间开始段",
        "type": "string",
        "is_required": true,
        "describe": null,
        "value": "{{DAYS_AGO_1|datetime}}"
      }
    ]
  },
  "idCheck": true,
  "request": [
    {
      "field": "pageIndex",
      "label": "分页页码",
      "type": "string"
    },
    {
      "field": "pageSize",
      "label": "分页页数",
      "type": "string",
      "value": 50
    },
    {
      "field": "goodsCode",
      "label": "货品编号",
      "type": "string"
    },
    {
      "field":"barCode","label":"条码","type":"string"
    },
    {
      "field":"startDate","label":"创建起始时间","type":"string","value":"{{LAST_SYNC_TIME|datetime}}"
    },
    {
       "field":"endDate","label":"创建结束时间","type":"string","value":"{{CURRENT_TIME|datetime}}"
    }
  ],

![用友与外部系统接口集成开发](https://pic.qeasy.cloud/S30.png~tplv-syqr462i7n-qeasy.image)
### 轻易云数据集成平台生命周期的第二步：ETL转换与写入金蝶云星空API接口

在轻易云数据集成平台中，数据处理的全生命周期管理极大地提升了业务的透明度和效率。本文将聚焦于该生命周期的第二步，即将已经集成的源平台数据进行ETL转换，并转为目标平台金蝶云星空API接口所能够接收的格式，最终写入目标平台。

#### 元数据配置解析

在进行ETL转换之前，我们首先需要理解元数据配置。以下是我们将在案例中使用的元数据配置：

```json
{
  "method": "POST",
  "idCheck": true,
  "distributionOrg": "100132,100133,100134,100135,100136,100137,100138,100139,100140,100141,100142,100143,100144,100145,100146,100147",
  "operation": {
    "rowsKey": "array",
    "rows": 20,
    "method": "batchArraySave"
  },
  "api": "api"
}

method: 指定HTTP请求方法为POST。
idCheck: 启用ID检查，以确保数据唯一性。
distributionOrg: 分配组织列表，用于标识不同组织的数据分布。
operation: 定义操作参数，包括批量保存方法和每次处理的行数。
api: API接口路径。

数据转换过程

在ETL过程中，最关键的一步是将源平台的数据转换为目标平台能够接受的格式。以查询吉客云货品为例，我们需要将其转换为金蝶云星空API所需的数据格式。

提取源数据：从吉客云提取货品信息，这一步通常通过API调用完成，例如：
```
{
 "goodsId": "12345",
 "goodsName": "商品A",
 "price": 150.00,
 ...
}
```
清洗与标准化：对提取的数据进行清洗和标准化，确保所有字段符合目标系统要求。例如，将价格字段统一为两位小数：
```
{
 "goodsId": "12345",
 "goodsName": "商品A",
 "price": 150.00,
 ...
}
```

转换为目标格式：根据金蝶云星空API的要求，将清洗后的数据转换为目标格式。例如：

{
 "method": "batchArraySave",
 "data": [
   {
     "FMaterialId": {"FNumber":"12345"},
     "FMaterialName":"商品A",
     ...
   }
 ]
}

数据写入金蝶云星空

完成数据转换后，下一步是将这些数据通过API写入金蝶云星空。在此过程中，我们需要遵循元数据配置中的参数设置。

构建请求体：

根据元数据配置，我们需要构建一个包含多个记录的批量保存请求体。例如：

{
 "method": "POST",
 "idCheck": true,
 "distributionOrg": ["100132", ...],
 "operation": {
   "rowsKey": ["data"],
   "rows": 20,
   ...
 },
 ...
}

发送HTTP请求：

使用HTTP POST方法发送请求至指定API接口路径。可以使用如requests库（Python）或其他HTTP客户端工具来实现这一过程。
处理响应：

接收并处理来自金蝶云星空API的响应，确保所有记录都成功写入。如果出现错误，根据错误信息进行相应处理和重试。

import requests

url = 'https://api.kingdee.com/api'
headers = {'Content-Type': 'application/json'}
payload = {
    'method': 'batchArraySave',
    'data': [
        {'FMaterialId': {'FNumber': '12345'}, 'FMaterialName': '商品A', ...},
        ...
    ]
}

response = requests.post(url, json=payload, headers=headers)
if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud")
else:
    print(f"Error occurred: {response.text}")

通过以上步骤，我们实现了从吉客云到金蝶云星空的数据ETL转换和写入。这一过程不仅确保了数据的一致性和完整性，还极大地提升了系统间的数据流动效率。金蝶与外部系统打通接口