云原生最佳实践系列 5：基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
2024-07-31 22:34 | 分类：数据库 | 评论：0 次 | 浏览: 376
在大数据 ETL 场景，将 Kafka 中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，...
B树和B+树
2024-07-31 22:24 | 分类：数据库 | 评论：0 次 | 浏览: 93
B+树结点的关键字数范围是[1, m]（根结点）和[\lceil \frac{m}{2} \rceil, m-1]（非根内部结点），B树则是...
【mysql】聚簇索引和非聚簇索引（B树和B+树）
2024-07-31 22:24 | 分类：数据库 | 评论：0 次 | 浏览: 88
B+树，作为B树的升级版，在B树基础上，MySQL在B树的基础上继续改造，使用B+树构建索引。B+树和B树最主要的区别在于非叶子节点是否存储...
MySQL的索引——索引的介绍及其数据结构B+树 & 索引的类型 & 索引的使用及其失效场景 & 相关名词解释
2024-07-31 22:23 | 分类：数据库 | 评论：0 次 | 浏览: 117
本篇博客尝试阐述数据库索引的相关内容，涉及什么是索引，索引的数据结构；对比了聚集索引和非聚集索引，分析了索引的类型以及使用原则，对于MySQ...
FISCO BCOS(三十七)———FISCOBCOS应用开发，交易hash、区块高度的获取
2024-07-31 22:14 | 分类：数据库 | 评论：0 次 | 浏览: 93
得到了交易hash之后我们就可以将它存起来放在redis或者mysql，查询起来更加快速，毕竟webase的查询效率是很低的。根据块高查询区...
【Rust光年纪】Rust 库解析：掌握哈希表、有序浮点数、多维数组和图算法的精髓
2024-07-31 22:11 | 分类：数据库 | 评论：0 次 | 浏览: 157
本文将分别介绍 hashbrown、ordered-float、ndarray、petgraph、num-traits 和 bit-set ...
【From C To Go】1.3 map（哈希表）
2024-07-31 22:11 | 分类：数据库 | 评论：0 次 | 浏览: 137
Go运行时就是利用maptype参数中的信息确定key的类型和大小的，map所用的hash函数也存放在maptype.key.alg.has...
Kafka 如何保证数据不丢失？不重复？
2024-07-31 21:57 | 分类：数据库 | 评论：0 次 | 浏览: 144
这份文档从构建一个键值数据库的关键架构入手，不仅带你建立起全局观，还帮你迅速抓住核心主线。除此之外，还会具体讲解数据结构、线程模型、网络框架...
实现分布式锁，Zookeeper 与 Redis 哪个更好一点？
2024-07-31 21:56 | 分类：数据库 | 评论：0 次 | 浏览: 131
# 1. 为什么使用分布式锁？分布式锁有什么用途？## (1)使用分布式锁的目的使用分布式锁的目的很简单，就是为了保证在同一时间里面，只有一...
ZooKeeper 搭建详细步骤之二（伪集群模式）
2024-07-31 21:54 | 分类：数据库 | 评论：0 次 | 浏览: 106
ZooKeeper 伪集群是指在一个单一的物理或虚拟机环境中模拟出一个由多个 ZooKeeper 节点构成的集群。尽管这些节点实际上运行在同...
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
2024-07-31 21:54 | 分类：数据库 | 评论：0 次 | 浏览: 83
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建Hadoop高可用集群搭建...
关于Flink的旁路缓存与异步操作
2024-07-31 21:51 | 分类：数据库 | 评论：0 次 | 浏览: 91
将数据库中的数据,比较经常访问的数据,保存起来,以减少和硬盘数据库的交互比如: 我们使用mysql时 经常查询一个表 , 而这个表又一般...
FlinkSQL开发经验分享
2024-07-31 21:51 | 分类：数据库 | 评论：0 次 | 浏览: 65
最近做了几个实时数据开发需求，也不可避免地在使用Flink的过程中遇到了一些问题，比如数据倾斜导致的反压、interval join、开窗导...
Flink的扩展与插件化
2024-07-31 21:50 | 分类：数据库 | 评论：0 次 | 浏览: 72
Flink 的扩展与插件化1. 背景介绍1.1 问题的由来随着大数据时代的到来，实时数据处理逐渐成为各行业的关键需求。Apache Flin...
大数据最新FlinkCDC全量及增量采集SqlServer数据_flink cdc sql server
2024-07-31 21:50 | 分类：数据库 | 评论：0 次 | 浏览: 67
TABLE_CATALOGTABLE_SCHEMATABLE_NAME TABLE_TYPEtest db...
Flink常见面试问题(附答案)
2024-07-31 21:49 | 分类：数据库 | 评论：0 次 | 浏览: 161
Apache Flink是一个开源的流处理和批处理框架，可以实现快速、可靠、可扩展的大数据处理。窗口是Flink中用于对无限数据流进行...
flink cdc，standalone模式下,任务运行一段时间taskmanager挂掉
2024-07-31 21:49 | 分类：数据库 | 评论：0 次 | 浏览: 68
这个配置的含义是,超时(以毫秒为单位)，在此之后任务取消超时并导致致命的 TaskManager 错误。
Flink SQL 中 CAST 函数报错: “null“. 无效编程
2024-07-31 21:49 | 分类：数据库 | 评论：0 次 | 浏览: 70
Flink SQL 中 CAST 函数报错: “null”. 无效编程在 Flink SQL 中，CAST 函数用于将一个数据类型转换为另一...
Flink架构底层原理详解：案例解析（43天）
2024-07-31 21:49 | 分类：数据库 | 评论：0 次 | 浏览: 115
本文主要详解了Flink架构，通过案例详解Flink流式开发，本地提交，阿里云平台提交。
万字详解数据仓库、数据湖、数据中台和湖仓一体
2024-07-31 21:47 | 分类：数据库 | 评论：0 次 | 浏览: 61
数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数...
数据仓库数据分层详解
2024-07-31 21:47 | 分类：数据库 | 评论：0 次 | 浏览: 66
原始数据层（Raw Data Layer）：这是数仓中最底层的层级，用于存储从各个数据源获取的原始数据。这些数据通常是未经处理和清洗的，包括...
云数据仓库实践：AWS Redshift在大数据储存分析上的落地经验分享
2024-07-31 21:47 | 分类：数据库 | 评论：0 次 | 浏览: 68
本文从主流的数据仓库出发进行讲解，然后重点分析了一下这款产品的特点，及其在数据分析领域的优劣势。然后根据平时在工作用的实际应用实践，给出了常...
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 114
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
HDFS之Router-based Federation
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 104
最简单的实现是在每个Namenode的机器上部署Router，但是为了高可用及灵活性，会使用多个Router监控同一个Namenode(St...
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 94
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身...
hdfs的透明加密记录
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 104
我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储...
Hadoop 之文件读取
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 95
3.客户端对 FSDataInputStream 调用 read() 方法，DFSInputStream 从它所存储的起始几个块的 data...