当前位置: 代码网 > it编程>

数据库

【Hadoop】--基于hadoop和hive实现聊天数据统计分析,构建聊天数据分析报表[17]

【Hadoop】--基于hadoop和hive实现聊天数据统计分析,构建聊天数据分析报表[17]

2024-07-28 18:56 | 分类:数据库 | 评论:0 次 | 浏览: 71

BI:Business Intelligence,商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行分析以实现商业...

Hadoop上传文件到HDFS的步骤

Hadoop上传文件到HDFS的步骤

2024-07-28 18:55 | 分类:数据库 | 评论:0 次 | 浏览: 75

随着大数据时代的到来,数据存储和处理变得至关重要。Hadoop作为大数据处理的基石,其分布式文件系统HDFS提供了高效、可靠的数据存储方案。...

Hadoop编写MapReduce程序计算超市销售数据月份销售总额

Hadoop编写MapReduce程序计算超市销售数据月份销售总额

2024-07-28 18:55 | 分类:数据库 | 评论:0 次 | 浏览: 83

Hadoop分布式文件系统(HDFS)是Apache Hadoop生态系统的核心组件之一,用于存储和管理大规模数据集。它设计用于在廉价的硬件...

hadoop词频统计

hadoop词频统计

2024-07-28 18:52 | 分类:数据库 | 评论:0 次 | 浏览: 88

此文章基于搭建好hadoop之后做的词频统计实验,以上是链接。

Hadoop+Hive数据分析综合案例

Hadoop+Hive数据分析综合案例

2024-07-28 18:52 | 分类:数据库 | 评论:0 次 | 浏览: 95

聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对聊天数据的统计分析,可以更好的对用户构建精准的用户画像,为用户提供更好的服务以...

Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

2024-07-28 18:50 | 分类:数据库 | 评论:0 次 | 浏览: 92

本文描述的是在Hadoop3.1.3的完全分布式环境下,slave节点的DataNode节点未能成功启动的问题以及通过修改配置来解决的办法,...

HBase-15-Phoenix

HBase-15-Phoenix

2024-07-28 18:45 | 分类:数据库 | 评论:0 次 | 浏览: 59

图中展示了,通过phoenix和hive对基于HDFS和HBase的数据记性查询的时候,随着数据量的增长,查询时间的变化曲线。◆使用本地的H...

HBase命令行操作

2024-07-28 18:44 | 分类:数据库 | 评论:0 次 | 浏览: 78

更改Student表的列族baseInfo的存储版本的限制为3(默认情况下,列族只存储一个版本的数据,如果需要存储多个版本的数据,则需要修改...

HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 72

HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is...

【Hbase】Hbase TableInputFormat、TableOutputFormat

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 79

TableInputFormat是Apache HBase中的一个重要的类,它允许MapReduce作业直接从HBase表中读取数据作为其输...

JDK从8升级到11,使用 G1 GC,HBase性能下降20%。JDK 到底干了什么

JDK从8升级到11,使用 G1 GC,HBase性能下降20%。JDK 到底干了什么

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 77

结论:使用 G1 GC,JDK 11 相对于 JDK 8 来说性能明显下降。3原因分析=====从 JDK 8 到 JDK 11, G1 G...

大数据基础知识-Hadoop、HBase、Hive一篇搞定

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 71

相应的,数据库由于规模较小,因此可以支持的数据规模较小,一般单张表中能存储百万条数据(最新版的MySQL经过优化,单表中可以存储千万条或者上...

HBase安装,配置,启动,检查

HBase安装,配置,启动,检查

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 87

HBase安装,配置,启动,安装检验 (进程查看,web UI界面,客户端交互)

hbase远程客户端连接单机hbase2.4.15

hbase远程客户端连接单机hbase2.4.15

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 91

hbase远程客户端连接单机hbase2.4.15

archive

archive

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 69

就拿时间这个变量来说,我们一般认为时间是连续的,它确实是连续的,但是,我们用科学的测量,是没法把时间测成连续的,也就是说,我们哪怕用微秒纳秒...

Hive-存储-文件格式

Hive-存储-文件格式

2024-07-28 18:43 | 分类:数据库 | 评论:0 次 | 浏览: 77

数据存储是Hive的基础,选择合适的底层数据存储格式,可以在不改变Hql的前提下得到大的性能提升。类似mysql选择适合场景的存储引擎。Hi...

Hive常见错误及解决办法

Hive常见错误及解决办法

2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 63

Hive常见错误及解决办法

HiveSQL题——炸裂函数(explode/posexplode)

2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 60

HiveSQL题——炸裂函数(explode/posexplode)

【超详细】HIVE 日期函数(当前日期、时间戳转换、前一天日期等)

2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 75

【超详细】HIVE 日期函数(当前日期、时间戳转换、前一天日期等)常量:当前日期、时间戳前一天日期、后一天日期获取日期中的年、季度、月、周、...

大数据Hadoop之——部署hadoop+hive+Mysql环境(Linux)

大数据Hadoop之——部署hadoop+hive+Mysql环境(Linux)

2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 81

-是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->--是否启动一个线程检查...

Hive SQL中的列转行(lateral view与explode)、行转列

Hive SQL中的列转行(lateral view与explode)、行转列

2024-07-28 18:42 | 分类:数据库 | 评论:0 次 | 浏览: 59

列转行、行转列的灵活运用

【hive】hive进阶:案例解析(第18天)

【hive】hive进阶:案例解析(第18天)

2024-07-28 18:41 | 分类:数据库 | 评论:0 次 | 浏览: 57

本文主要介绍hive的表操作,内外部表,分区分桶表,hive复杂类型,Hive乱码解决。

HiveSQL分区的作用及创建分区表案例演示(图解)

HiveSQL分区的作用及创建分区表案例演示(图解)

2024-07-28 18:40 | 分类:数据库 | 评论:0 次 | 浏览: 63

本篇文章主要介绍HiveSQL分区表的作用和如何创建单级分区表和多级分区表以及查询规则等.

hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask

2024-07-28 18:40 | 分类:数据库 | 评论:0 次 | 浏览: 74

执行完报错了:FAILED: Execution Error, return code 1 from org.apache.hadoop.h...

HIve安装配置(超详细)

HIve安装配置(超详细)

2024-07-28 18:40 | 分类:数据库 | 评论:0 次 | 浏览: 74

文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到...

hive anti join 的几种写法

2024-07-28 18:39 | 分类:数据库 | 评论:0 次 | 浏览: 92

注意 left join 中 b.c1 is null 不能谓词下推。我们要在t_a 中出现,而不在 t_b中出现的记录。t_a 表的记录...

【Pyspark-驯化】spark中高效保存数据到hive表中:stored as PARQUET

2024-07-28 18:39 | 分类:数据库 | 评论:0 次 | 浏览: 102

在PySpark中,数据可以以不同的文件格式存储,其中最常见的是TEXTFILE和PARQUET。这两种格式在存储效率、查询性能以及使用场景...

大数据开发面试题【Hive篇】

2024-07-28 18:38 | 分类:数据库 | 评论:0 次 | 浏览: 93

吐血整理,小编亲身体验

hive 中少量数据验证函数的方法-stack,2024年最新首发10万字大数据开发开发实战文档

hive 中少量数据验证函数的方法-stack,2024年最新首发10万字大数据开发开发实战文档

2024-07-28 18:38 | 分类:数据库 | 评论:0 次 | 浏览: 92

数据准备: stock表有3个字段: stock_name(股票名称)、stock_price(股票价格)、stats_date(日期)la...

Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决

Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决

2024-07-28 18:36 | 分类:数据库 | 评论:0 次 | 浏览: 62

Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决

Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com