轻易云数据集成平台的数据存储架构解析

轻易云数据集成平台采用创新的多租户隔离存储方案，通过为每个租户分配独立的MongoDB数据库，并在库内为每个集成方案创建专属数据集合（Collection），实现数据的安全隔离与高效管理。该架构支持从数据接收、预处理到复杂结构处理的完整流程，确保企业级数据集成需求得到专业解决。

一、智能数据接收与预处理机制

平台通过源系统适配器自动解析JSON等格式的原始数据，以电商订单数据为例：

{
    "code": 0,
    "message": "",
    "trades": [
        {
            "rec_id": "1",
            "shop_no": "xyp2test",
            "tid": "115580935277840368-1",
            "logistics_type": "12"
        }
    ]
}

适配器智能提取trades数组数据，支持自定义主键映射（如id/number字段），确保业务编码体系无缝对接。预处理阶段即完成数据标准化，为后续处理奠定基础。

二、复杂数据结构处理能力

平台独创的"数据拍扁"技术可自动展开多级嵌套结构，将如下的商品清单数据：

{
    "goods_list": [{
        "rec_id": "2944911",
        "goods_name": "旺店通手持终端",
        "goods_no": "WDTPDA"
    }]
}

转换为扁平化记录，实现：

• 保留原有关联关系
• 支持子项独立分析
• 兼容异构系统数据结构差异

三、四层专业存储体系

1. 核心数据仓库(ADATA)
   存储结构示例：

   {
      "_id": "65228287911dac2fbd2e551e",
      "status": 0,  // 7种状态码精确追踪
      "dispatch_time": 0  // 毫秒级性能监控
   }

   关键特性：

   • 全链路状态追踪（等待/完成/错误等7种状态）
   • 双平台任务关联（source_job_id/target_job_id）
   • 纳秒级时间戳记录

2. 运行日志中心(LOG)
   采用五级日志体系：

   {
      "status": 4,  // FATAL级错误记录
      "text": "00_debug_建立连接"
   }

   包含调试信息、错误溯源等完整审计轨迹。

3. 源任务管理中心(SJOB)
   实现：

   {
      "retries": 3,  // 智能重试机制
      "active_time": 152  // 执行耗时(ms)
   }

   特征：

   • API调用全参数记录
   • 执行历史版本管理
   • SDK环境信息快照

4. 目标任务仓库(TJOB)
   典型结构：

   {
      "response": {
          "success": [{"Id": 241855}],  // 成功明细
          "error": []  // 失败明细
      }
   }

   优势：

   • 批量操作结果分类统计
   • 数据合并范围标记
   • 跨平台ID映射

该存储体系通过200+监控指标和可视化分析工具，为企业提供从数据接入到消费的全生命周期管理能力，实测单集合可支撑10亿级数据量的毫秒级查询响应。