10月26日，北京站源创会，聊聊高性能计算与大模型推理

在现代数据驱动的业务环境中，高效的数据集成与处理是企业成功的关键。随着数据量的快速增长和多样化需求的增加，传统的数据处理工具已经无法满足企业的需求。ETLCloud与Doris的组合为企业提供了一种简单而高效的数据集成解决方案，助力企业在数据处理和分析方面迈向新的高度。

一、Doris简介

Doris是一款现代化的分布式数据分析引擎，具有高性能、高并发和易扩展的特点。它特别适用于实时数据分析场景，并支持大规模的数据聚合、查询和分析。Doris的主要特点包括：

实时性：支持高吞吐量的实时数据写入和查询，适合实时BI和在线分析。

高性能：通过列式存储、向量化执行、数据压缩等技术，极大提升了查询性能。

易用性：提供SQL接口，支持丰富的数据类型和分析功能，易于与现有的BI工具集成。

弹性扩展：可以根据业务需求动态扩展计算和存储资源。

二、ETLCloud与Doris的集成

ETLCloud与Doris的集成提供了一种端到端的数据集成与分析解决方案。通过ETLCloud，用户可以轻松地将不同数据源的数据抽取、清洗、转换后，直接加载到Doris中，实现数据的实时分析和可视化。集成的主要步骤包括：

• 数据源配置：在ETLCloud中配置需要集成的数据源，如MySQL、Oracle、Kafka等。

• 数据转换：使用ETLCloud的拖拽式界面进行数据转换，包括字段映射、数据清洗、聚合等操作。

• 目标配置：选择Doris作为数据的目标系统，并配置相关的连接信息和加载选项。

• 任务调度与监控：设置数据加载任务的调度策略，并通过ETLCloud的监控模块实时查看任务状态，确保数据集成的准确性和及时性。

三、ETLCloud实操指南

接下来，我们以一个简单的场景演示ETLCloud如何将MySQL数据集成到Doris中：

步骤一：配置MySQL和Doris数据源

登录ETLCloud平台，进入数据源管理页面，选择"添加数据源"并选择MySQL。

填写MySQL数据库的连接信息，包括主机地址、端口、用户名和密码等。

同理继续创建Doris数据源。

步骤二：创建数据转换任务

进入数据集成模块，选择"新增流程"，进入流程设计页面。流程设计界面如下：

拖拽库表输入组件到工作区，选择需要处理的Mysql数据表。

可以预览源表数据（数据都是随机生成，不涉及真实信息）

拖拽Doris快速输出组件到工作区，并配置Doris目标表。

拖拽库表映射组件到工作区，进行字段映射转换操作。

映射关系

双击流程线，配置多线程运行，提升传输效率

步骤三：任务调度与执行

先手动启动任务，并通过ETLCloud的监控面板查看任务执行情况。

保存流程，点击运行，选择执行一次

等待流程运行结束，查看日志

查看数据输出效果（数据都是随机生成，不涉及真实信息）

确保流程配置无误后，就可以返回流程管理界面，配置调度策略

步骤四：监控任务运行

在监控中心模块，可以查看任务运行情况等

四、集成优势

将ETLCloud与Doris结合使用，企业可以显著提高数据处理的效率和质量：

• 提升数据处理速度：ETLCloud强大的ETL能力结合Doris的高效查询性能，确保数据从源头到分析结果的高速流转。

• 简化数据集成流程：通过可视化的操作界面和自动化调度，降低了数据集成的复杂度。

• 增强数据分析能力：实时的数据加载和查询能力，使企业能够快速响应业务变化，作出数据驱动的决策。

• 降低运维成本：可视化界面操作，无代码实现数据操作，简单易上手，减少了传统数据集成和分析系统的运维成本。

五、总结

ETLCloud与Doris的组合为企业的数据集成和分析提供了一种高效、灵活且易于使用的解决方案。从数据的抽取、清洗、转换到实时加载和分析，实现数据驱动决策的目标。