Flink架构底层原理详解：案例解析（43天）
2024-07-31 21:49 | 分类：数据库 | 评论：0 次 | 浏览: 162
本文主要详解了Flink架构，通过案例详解Flink流式开发，本地提交，阿里云平台提交。
万字详解数据仓库、数据湖、数据中台和湖仓一体
2024-07-31 21:47 | 分类：数据库 | 评论：0 次 | 浏览: 94
数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数...
数据仓库数据分层详解
2024-07-31 21:47 | 分类：数据库 | 评论：0 次 | 浏览: 98
原始数据层（Raw Data Layer）：这是数仓中最底层的层级，用于存储从各个数据源获取的原始数据。这些数据通常是未经处理和清洗的，包括...
云数据仓库实践：AWS Redshift在大数据储存分析上的落地经验分享
2024-07-31 21:47 | 分类：数据库 | 评论：0 次 | 浏览: 101
本文从主流的数据仓库出发进行讲解，然后重点分析了一下这款产品的特点，及其在数据分析领域的优劣势。然后根据平时在工作用的实际应用实践，给出了常...
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 162
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
HDFS之Router-based Federation
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 149
最简单的实现是在每个Namenode的机器上部署Router，但是为了高可用及灵活性，会使用多个Router监控同一个Namenode(St...
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 133
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身...
hdfs的透明加密记录
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 155
我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储...
Hadoop 之文件读取
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 135
3.客户端对 FSDataInputStream 调用 read() 方法，DFSInputStream 从它所存储的起始几个块的 data...
Hadoop中的HDFS wordcount实验过程详细视频
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 135
这个实验很简单，照着ppt一步步弄就行，但是有时要注意一下自己的版本号，和自己创建的目录的名称都对应了就没问题了，弄成个视频更直观一点，方便...
HDFS的安全身份验证
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 150
hadoop.security.group.mapping.ldap.bind.password.file：指定了LDAP服务器管理员用户的...
HDFS文件浏览器功能OOM排查
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 125
涉及HDFS文件浏览器的某个功能运行一段时间后会出现OOM的情况，根据dump文件排查问题，最终在代码中定位，由于调用函数不当导致，通过新增...
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS
2024-07-31 21:37 | 分类：数据库 | 评论：0 次 | 浏览: 157
一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
2024-07-31 21:36 | 分类：数据库 | 评论：0 次 | 浏览: 152
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
phoenix连接hbase
2024-07-31 21:36 | 分类：数据库 | 评论：0 次 | 浏览: 101
phoenix简化hbase连接操作，对sql操更友好，能和spark、flink无缝对接，实在是海量数据操作的利器
一文搞懂大数据开发，大数据开发体系详解
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 110
大数据，你可能就简单理解为数据量大，那是多大才算大数据呢？如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发， 那么起码要满...
Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase(2)
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 127
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。...
HBase基础
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 129
在 HBase 表中，一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)，一列或多列组成一个列族(Column Fa...
68道Hbase高频题整理(附答案背诵版)
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 146
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话...
数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 148
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选...
HBase的数据分析和报告：实时监控系统性能
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 165
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态...
Hive中的NVL函数与COALESCE函数
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 96
说明： COALESCE是一个函数， (v1, v2, …,vn)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都...
一招教你搞定Hive
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 141
Hive 组件需要基于 Hadoop 系统进行安装。因此，在安装 Hive 组件前，需要确保 Hadoop系统能够正常运行Hive 组件的部...
Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
2024-07-31 21:32 | 分类：数据库 | 评论：0 次 | 浏览: 104
在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中，应评估和验证配置参...
explode与lateral view使用详解（spark及hive环境对比）
2024-07-31 21:32 | 分类：数据库 | 评论：0 次 | 浏览: 120
explode函数能够将array及map类型的数据炸开，实现一行变多行。
Hive On Spark 报错：Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
2024-07-31 21:30 | 分类：数据库 | 评论：0 次 | 浏览: 96
脚本中含有：数据装载进hive表的sql语句，在执行脚本的时候发生报错。
解决Error while loading conda entry point: conda-libmamba-solver (libarchive.so.19: cannot open shared
2024-07-31 21:30 | 分类：数据库 | 评论：0 次 | 浏览: 137
我在使用conda安装别的包的时候可能不小心更新了别的包，以至于后面每次使用conda都会出现这个报错。