HDFS之Router-based Federation
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 88
最简单的实现是在每个Namenode的机器上部署Router，但是为了高可用及灵活性，会使用多个Router监控同一个Namenode(St...
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 79
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身...
hdfs的透明加密记录
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 80
我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储...
Hadoop 之文件读取
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 81
3.客户端对 FSDataInputStream 调用 read() 方法，DFSInputStream 从它所存储的起始几个块的 data...
Hadoop中的HDFS wordcount实验过程详细视频
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 80
这个实验很简单，照着ppt一步步弄就行，但是有时要注意一下自己的版本号，和自己创建的目录的名称都对应了就没问题了，弄成个视频更直观一点，方便...
HDFS的安全身份验证
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 85
hadoop.security.group.mapping.ldap.bind.password.file：指定了LDAP服务器管理员用户的...
HDFS文件浏览器功能OOM排查
2024-07-31 21:38 | 分类：数据库 | 评论：0 次 | 浏览: 67
涉及HDFS文件浏览器的某个功能运行一段时间后会出现OOM的情况，根据dump文件排查问题，最终在代码中定位，由于调用函数不当导致，通过新增...
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS
2024-07-31 21:37 | 分类：数据库 | 评论：0 次 | 浏览: 82
一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
2024-07-31 21:36 | 分类：数据库 | 评论：0 次 | 浏览: 79
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
phoenix连接hbase
2024-07-31 21:36 | 分类：数据库 | 评论：0 次 | 浏览: 63
phoenix简化hbase连接操作，对sql操更友好，能和spark、flink无缝对接，实在是海量数据操作的利器
一文搞懂大数据开发，大数据开发体系详解
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 68
大数据，你可能就简单理解为数据量大，那是多大才算大数据呢？如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发， 那么起码要满...
Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase(2)
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 73
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。...
HBase基础
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 70
在 HBase 表中，一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)，一列或多列组成一个列族(Column Fa...
68道Hbase高频题整理(附答案背诵版)
2024-07-31 21:34 | 分类：数据库 | 评论：0 次 | 浏览: 82
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话...
数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 74
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选...
HBase的数据分析和报告：实时监控系统性能
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 100
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态...
Hive中的NVL函数与COALESCE函数
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 55
说明： COALESCE是一个函数， (v1, v2, …,vn)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都...
一招教你搞定Hive
2024-07-31 21:33 | 分类：数据库 | 评论：0 次 | 浏览: 80
Hive 组件需要基于 Hadoop 系统进行安装。因此，在安装 Hive 组件前，需要确保 Hadoop系统能够正常运行Hive 组件的部...
Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
2024-07-31 21:32 | 分类：数据库 | 评论：0 次 | 浏览: 59
在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中，应评估和验证配置参...
explode与lateral view使用详解（spark及hive环境对比）
2024-07-31 21:32 | 分类：数据库 | 评论：0 次 | 浏览: 72
explode函数能够将array及map类型的数据炸开，实现一行变多行。
Hive On Spark 报错：Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
2024-07-31 21:30 | 分类：数据库 | 评论：0 次 | 浏览: 54
脚本中含有：数据装载进hive表的sql语句，在执行脚本的时候发生报错。
解决Error while loading conda entry point: conda-libmamba-solver (libarchive.so.19: cannot open shared
2024-07-31 21:30 | 分类：数据库 | 评论：0 次 | 浏览: 86
我在使用conda安装别的包的时候可能不小心更新了别的包，以至于后面每次使用conda都会出现这个报错。
Hive 之 UDF 运用（包会的）
2024-07-31 21:30 | 分类：数据库 | 评论：0 次 | 浏览: 78
Hive 支持两种 UDF 函数自定义操作，分别是：GenericUDF（通用UDF）：用于实现那些可以处理任意数据类型的函数。它们的输入和...
spark on k8s两种方式的原理与对比
2024-07-31 21:28 | 分类：数据库 | 评论：0 次 | 浏览: 60
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管...
大数据集群（PySpark）+MySQL+PyEcharts+Flask：购物篮数据分析与挖掘
2024-07-31 21:28 | 分类：数据库 | 评论：0 次 | 浏览: 73
Assignment-1_Data”数据集，包含与消费者购物行为相关的数据，用于市场购物篮分析（MBA）和关联规则挖掘（Associatio...