【Hadoop】--基于hadoop和hive实现聊天数据统计分析,构建聊天数据分析报表[17]
2024-07-28 18:56 | 分类:数据库 | 评论:0 次 | 浏览: 71
BI:Business Intelligence,商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行分析以实现商业...
Hadoop上传文件到HDFS的步骤
2024-07-28 18:55 | 分类:数据库 | 评论:0 次 | 浏览: 75
随着大数据时代的到来,数据存储和处理变得至关重要。Hadoop作为大数据处理的基石,其分布式文件系统HDFS提供了高效、可靠的数据存储方案。...
Hadoop编写MapReduce程序计算超市销售数据月份销售总额
2024-07-28 18:55 | 分类:数据库 | 评论:0 次 | 浏览: 83
Hadoop分布式文件系统(HDFS)是Apache Hadoop生态系统的核心组件之一,用于存储和管理大规模数据集。它设计用于在廉价的硬件...
Hadoop+Hive数据分析综合案例
2024-07-28 18:52 | 分类:数据库 | 评论:0 次 | 浏览: 95
聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对聊天数据的统计分析,可以更好的对用户构建精准的用户画像,为用户提供更好的服务以...
Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整
2024-07-28 18:50 | 分类:数据库 | 评论:0 次 | 浏览: 92
本文描述的是在Hadoop3.1.3的完全分布式环境下,slave节点的DataNode节点未能成功启动的问题以及通过修改配置来解决的办法,...
HBase-15-Phoenix
2024-07-28 18:45 | 分类:数据库 | 评论:0 次 | 浏览: 59
图中展示了,通过phoenix和hive对基于HDFS和HBase的数据记性查询的时候,随着数据量的增长,查询时间的变化曲线。◆使用本地的H...
HBase命令行操作
2024-07-28 18:44 | 分类:数据库 | 评论:0 次 | 浏览: 78
更改Student表的列族baseInfo的存储版本的限制为3(默认情况下,列族只存储一个版本的数据,如果需要存储多个版本的数据,则需要修改...
HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 72
HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is...
【Hbase】Hbase TableInputFormat、TableOutputFormat
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 79
TableInputFormat是Apache HBase中的一个重要的类,它允许MapReduce作业直接从HBase表中读取数据作为其输...
JDK从8升级到11,使用 G1 GC,HBase性能下降20%。JDK 到底干了什么
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 77
结论:使用 G1 GC,JDK 11 相对于 JDK 8 来说性能明显下降。3原因分析=====从 JDK 8 到 JDK 11, G1 G...
大数据基础知识-Hadoop、HBase、Hive一篇搞定
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 71
相应的,数据库由于规模较小,因此可以支持的数据规模较小,一般单张表中能存储百万条数据(最新版的MySQL经过优化,单表中可以存储千万条或者上...
HBase安装,配置,启动,检查
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 87
HBase安装,配置,启动,安装检验 (进程查看,web UI界面,客户端交互)
archive
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 69
就拿时间这个变量来说,我们一般认为时间是连续的,它确实是连续的,但是,我们用科学的测量,是没法把时间测成连续的,也就是说,我们哪怕用微秒纳秒...
Hive-存储-文件格式
2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 77
数据存储是Hive的基础,选择合适的底层数据存储格式,可以在不改变Hql的前提下得到大的性能提升。类似mysql选择适合场景的存储引擎。Hi...
HiveSQL题——炸裂函数(explode/posexplode)
2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 60
HiveSQL题——炸裂函数(explode/posexplode)
【超详细】HIVE 日期函数(当前日期、时间戳转换、前一天日期等)
2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 75
【超详细】HIVE 日期函数(当前日期、时间戳转换、前一天日期等)常量:当前日期、时间戳前一天日期、后一天日期获取日期中的年、季度、月、周、...
大数据Hadoop之——部署hadoop+hive+Mysql环境(Linux)
2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 81
-是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->--是否启动一个线程检查...
【hive】hive进阶:案例解析(第18天)
2024-07-28 18:41 | 分类:数据库 | 评论:0 次 | 浏览: 57
本文主要介绍hive的表操作,内外部表,分区分桶表,hive复杂类型,Hive乱码解决。
HiveSQL分区的作用及创建分区表案例演示(图解)
2024-07-28 18:40 | 分类:数据库 | 评论:0 次 | 浏览: 63
本篇文章主要介绍HiveSQL分区表的作用和如何创建单级分区表和多级分区表以及查询规则等.
hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask
2024-07-28 18:40 | 分类:数据库 | 评论:0 次 | 浏览: 74
执行完报错了:FAILED: Execution Error, return code 1 from org.apache.hadoop.h...
HIve安装配置(超详细)
2024-07-28 18:40 | 分类:数据库 | 评论:0 次 | 浏览: 74
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到...
hive anti join 的几种写法
2024-07-28 18:39 | 分类:数据库 | 评论:0 次 | 浏览: 92
注意 left join 中 b.c1 is null 不能谓词下推。我们要在t_a 中出现,而不在 t_b中出现的记录。t_a 表的记录...
【Pyspark-驯化】spark中高效保存数据到hive表中:stored as PARQUET
2024-07-28 18:39 | 分类:数据库 | 评论:0 次 | 浏览: 102
在PySpark中,数据可以以不同的文件格式存储,其中最常见的是TEXTFILE和PARQUET。这两种格式在存储效率、查询性能以及使用场景...
hive 中少量数据验证函数的方法-stack,2024年最新首发10万字大数据开发开发实战文档
2024-07-28 18:38 | 分类:数据库 | 评论:0 次 | 浏览: 92
数据准备: stock表有3个字段: stock_name(股票名称)、stock_price(股票价格)、stats_date(日期)la...
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
2024-07-28 18:36 | 分类:数据库 | 评论:0 次 | 浏览: 62
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决