适用对多种数据源处理的ETL工具？

软件 2023-11-01

ETL工具主流产品有哪些？

几种ETL工具的比较(DataPipeline，Kettle，Talend，Informatica等)

四种工具的比较主要从以下几方面进行比对：

1、成本：

软件成本包括多方面,主要包括软件产品,售前培训,售后咨询,技术支持等。

开源产品本身是免费的，成本主要是培训和咨询，所以成本会一直维持在一个较低水平。

商业产品本身价格很高，但是一般会提供几次免费的咨询或支持，所以采用商用软件最初成本很高，但是逐渐下降。

手工编码最初成本不高，主要是人力成本，但后期维护的工作量会越来越大。

2、易用性：

DataPipeline：有非常容易使用的GUI，具有丰富的可视化监控；

Kettle：GUI+Coding；

Informatica：GUI+Coding，有GUI，但是要专门的训练；

Talend：GUI+Coding，有GUI图形界面但是以Eclipse的插件方式提供；

3、技能要求：

DataPipeline：操作简单，无技术要求；

Kettle：ETL设计,SQL,数据建模；

Informatica：ETL设计,SQL,数据建模；

Talend：需要写Java；

4、底层架构：

DataPipeline：分布式，可水平扩展；

Kettle：主从结构非高可用；

Informatica：分布式；

Talend：分布式；

5、数据实时性：

DataPipeline：支持异构数据源的实时同步，速度非常快；

Kettle：不支持实时数据同步；

Informatica：支持实时，效率较低；

Talend：支持实时处理，需要购买高级版本，价格贵；

6、技术支持：

DataPipeline：本地化原厂技术支持；

Kettle：无；

Informatica：主要在美国；

Talend：主要在美国；

7、自动断点续传：

DataPipeline：支持；

Kettle：不支持；

Informatica：不支持；

Talend：不支持；

大数据etl工具有哪些

ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage，Informatica，Kettle。一、什么是ETL？ ETL，Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。数据仓库结构通俗的说法就是从数据源抽取数据出来，进行清

有没有好的ETL工具，大家推荐一下吧

我感觉Informatica用着挺好的，很大公司都用这个IBM的，我们公司就是用这个

开源的ETL产品有哪些？

优秀的 ETL 工具

1、Apache Camel

Apache Camel 是一个非常强大的基于规则的路由以及媒介引擎，该引擎提供了一个基于 POJO 的企业应用模式(Enterprise Integration Patterns)的实现，你可以采用其异常强大且十分易用的 API (可以说是一种 Java 的领域定义语言 Domain Specific Language)来配置其路由或者中介的规则。通过这种领域定义语言，你可以在你的 IDE 中用简单的 Java Code 就可以写出一个类型安全并具有一定智能的规则描述文件

2、Apache Kafka

Apache Kafka 是一个开源的消息系统，用 Scala 和 Java 写成。该项目为处理实时数据提供了一个统一、高通量、低延时的平台。有如下特性：

通过 O(1) 的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件 kafka 也可以支持每秒数十万的消息。
支持通过 kafka 服务器和消费机集群来分区消息。
支持 Hadoop 并行数据加载。

3、Apatar

Apatar 用 Java 编写，是一个开源的数据抽取、转换、装载(ETL)项目。模块化的架构。提供可视化的 Job 设计器与映射工具，支持所有主流数据源，提供灵活的基于 GUI、服务器和嵌入式的部署选项。它具有符合 Unicode 的功能，可用于跨团队集成数据，填充数据仓库与数据市场，在连接到其他系统时在代码少量或没有代码的情况下进行维护。

来自 Mozilla 的 Heka 是一个用来收集和整理来自多个不同源的数据的工具，通过对数据进行收集和整理后发送结果报告到不同的目标用于进一步分析。

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。Logstash 现在是 ElasticSearch 家族成员之一。

ETL的工具应用

ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle、久其ETL……
开源的工具有eclipse的etl插件:cloveretl
数据集成：快速实现ETL
ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。
实现ETL，首先要实现ETL转换的过程。体现为以下几个方面：
1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。
2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。
3、拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。
4、验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。
5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。
6、Lookup：查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。
7、建立ETL过程的主外键约束：对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。