当前位置: 代码网 > 服务器>网络>网络协议 > [AIGC] Doris:一款高效的MPP数据仓库引擎

[AIGC] Doris:一款高效的MPP数据仓库引擎

2024年07月31日 网络协议 我要评论
在大数据处理的领域中,Apache Doris(原百度 Palo)是一个高效的MPP(大规模并行处理)数据仓库,最初由百度开发,现在已经成为Apache的孵化项目。(图片取自百度)

(图片取自百度)

1. doris的基础知识

doris基于google的dremel和f1技术构建,设计目标是通过简洁易用的sql界面,为超大规模实时分析提供解决方案。它使用面向列的存储设计和并行计算来满足数据查询和分析的需求。

doris独特的特性包括:

  • 实时流式加载:doris直接由生产系统中摄取数据,以支持近实时查询。

  • 高并发低延迟查询处理:doris通过并行执行计划和大规模并行处理技术,实现高并发和低延迟的查询。

  • 基于向量化和编码的高效存储扫描:doris通过向量化和编码进行大规模的列式存储扫描,显著提高查询的效率和系统的吞吐量。

2. spring boot,mybatis-plus连接doris

首先,我们需要在项目的pom.xml中添加mysql的jdbc依赖:

<dependency>
    <groupid>mysql</groupid>
    <artifactid>mysql-connector-java</artifactid>
    <version>8.0.17</version>
</dependency>

然后在application.properties中添加与doris的连接属性:

spring.datasource.url=jdbc:mysql://dorisendpoint:9030/testdb
spring.datasource.username=root
spring.datasource.password=
spring.datasource.driver-class-name=com.mysql.cj.jdbc.driver

mybatis-plus.mapper-locations=classpath:mapper/*.xml

请注意,doris使用的是mysql的连接协议,因此可以使用mysql的jdbc驱动进行连接。

接着是mybatis-plus的相关配置与使用,在你的配置类中添加以下配置:

@autowired
private datasource datasource;

@bean
public sqlsessionfactory sqlsessionfactory() throws exception {
    mybatissqlsessionfactorybean sqlsessionfactory = new mybatissqlsessionfactorybean();
    sqlsessionfactory.setdatasource(datasource);
    sqlsessionfactory.setmapperlocations(new pathmatchingresourcepatternresolver().getresources("classpath*:mapper/*mapper.xml"));
    return sqlsessionfactory.getobject();
}

再创建对应的mapper接口和mapper.xml文件,就可以开始使用mybatis-plus进行增删改查操作了。

public interface usermapper extends basemapper<user>{
}

这样,我们就完成了在spring boot中通过mybatis-plus操作doris数据库的设置。

结语:大规模并行处理(mpp)引擎doris和spring boot以及mybatis-plus之间的相结合,使得我们在使用简单且强大的spring boot编程模型的同时,也能享受到doris在大数据处理中的强大能力。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com