集成化事件数据的工作原理和流程，集成事件是什么？

本文讲了集成化事件数据的工作原理和流程，集成事件是什么？

集成事件的工作原理

集成事件的目的是为了实现系统集成。用于系统内多个微服务间传递事件。

集成事件的实现方式有两种，一种是通过 Event Bus 发布订阅的方式实现，一种是通过观察者模式实现。本文实现的是 Event Bus 的方式。

集成事件的实现

.Net开源社区提供了 DotNetCore.CAP 框架，借助 CAP 框架，可以很轻松的实现消息的发布和订阅。

CAP框架

CAP框架：CAP 。

CAP框架实现了Outbox的设计模式：在每个微服务的数据库内部建立两张表：publish事件表和receive事件表。publish事件表用于存储微服务发出的集成事件，receive事件表用于存储微服务接收到的集成事件。发布集成事件时，CAP会把事件的存储逻辑和业务逻辑绑定在一起，在同一事务提交，保证业务数据修改与集成事件消息发布的一致性。

什么是数据集成

所谓数据集成，顾名思义就是将分散在若干数据源中的数据，通过一定的思维逻辑或物理逻辑集成到一个统一的数据集合中。

实现数据集成的系统称作数据集成系统，它为用户提供统一的数据源访问接口，执行用户对数据源的访问请求。

数据集成的核心任务即通过将互相关联的分布式异构数据源集成（集成指维护数据源整体上的数据一致性、提高信息共享利用的效率）到一起，使用户能够以透明的方式（指用户无需关心如何实现对异构数据源数据的访问，只关心以何种方式访问何种数据）访问这些数据源，令数据对访问它的人来说更具可操作性和价值。

数据集成的分类层次

根据需要解决的问题不同，数据集成可以分为如下4个层次：

1.基本数据集成

基本数据集成面临的问题很多。

通用标识符问题是数据集成时遇到的最难的问题之一。由于同一业务实体存在于多个系统源中，并且没有明确的办法确认这些实体是同一实体时，就会产生这类问题。处理该问题的办法如下。

1)隔离。保证实体的每次出现都指派一个唯一标识符。

2)调和。确认哪些实体是相同的，并且将该实体的各次出现合并起来。

当目标元素有多个来源时，指定某一系统在冲突时占主导地位。

数据丢失问题是最常见的问题之一，一般解决的办法是为丢失的数据产生一个非常接近实际的估计值来进行处理。

2.多级视图集成

多级视图机制有助于对数据源之间的关系进行集成：底层数据表示方式为局部模型的局部格式，如关系和文件；中间数据表示为公共模式格式，如扩展关系模型或对象模型；高级数据表示为综合模型格式。

视图的集成化过程为两级映射：

1)数据从局部数据库中，经过数据翻译、转换并集成为符合公共模型格式的中间视图。

2)进行语义冲突消除、数据集成和数据导出处理，将中间视图集成为综合视图。

3.模式集成

模型合并属于数据库设计问题，其设计的好坏常视设计者的经验而定，在实际应用中很少有成熟的理论指导。

实际应用中，数据源的模式集成和数据库设计仍有相当的差距，如模式集成时出现的命名、单位、结构和抽象层次等冲突问题，就无法照搬模式设计的经验。

在众多互操作系统中，模式集成的基本框架如属性等价、关联等价和类等价可最终归于属性等价。

4.多粒度数据集成

多粒度数据集成是异构数据集成中最难处理的问题，理想的多粒度数据集成模式是自动逐步抽象。

数据综合(或数据抽象)指由高精度数据经过抽象形成精度较低、但是粒度较大的数据。其作用过程为从多个较高精度的局部数据中，获得较低精度的全局数据。在这个过程中，要对各局域中的数据进行综合，提取其主要特征。数据综合集成的过程实际上是特征提取和归并的过程。

数据细化指通过由一定精度的数据获取精度较高的数据，实现该过程的主要途径有：时空转换，相关分析或者由综合中数据变动的记录进行恢复。数据集成是最终实现数据共享和辅助决策的基础。