热数据存储在HDFS，冷备数据存储于对象存储中
2024-08-06 01:25 | 分类：人工智能 | 评论：0 次 | 浏览: 47
将日常常用热数据采用HDFS存储（存储时间2～3个月），超过该时间段数据采用对象存储。改方案均采用同一套Hadoop架构，使用hive均可以...
【人工智能】逻辑回归（二）
2024-08-06 01:00 | 分类：人工智能 | 评论：0 次 | 浏览: 48
一、读取ex2data1.txt中的数据，建立样本集，使用逻辑回归算法得到参数估计值。并在坐标图中画出分界图。1. 读取数据2. 画散点图3...
基于Doris的日志存储分析平台（同步Kafka日志数据）
2024-08-06 00:47 | 分类：人工智能 | 评论：0 次 | 浏览: 46
【代码】基于Doris的日志存储分析平台（同步Kafka日志数据）
zookeeper+kafka消息队列群集部署
2024-08-06 00:44 | 分类：人工智能 | 评论：0 次 | 浏览: 45
消息(Message)是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列(Messag...
Flink状态State | 大数据技术
2024-08-06 00:35 | 分类：人工智能 | 评论：0 次 | 浏览: 43
在 Flink 中，状态是流处理程序中非常重要的一部分，它允许你保存和访问数据，以实现复杂的计算逻辑。可以简单理解为：历史计算结果
![Flink Kafka[输入/输出] Connector](https://images.3wcode.com/3wcode/20240806/s_0_202408060034518321.png)
Flink Kafka[输入/输出] Connector
2024-08-06 00:35 | 分类：人工智能 | 评论：0 次 | 浏览: 59
本章重点介绍生产环境中最常用到的。使用Flink的同学，一定会很熟悉kafka，它是一个分布式的、分区的、多副本的、 支持高吞吐的、发布订阅...
IT学习笔记--Flink
2024-08-06 00:34 | 分类：人工智能 | 评论：0 次 | 浏览: 50
Data Sources 就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数...
hive中使用iceberg表格式时锁表总结
2024-08-06 00:30 | 分类：人工智能 | 评论：0 次 | 浏览: 46
1. 原因写入iceberg表时，会在hive_locks表中插入一条记录，表示该表正在被写入(hive中的独占锁)当数据插入完成后，会自动...
耗时n年，38页《数据仓库知识体系
2024-08-06 00:30 | 分类：人工智能 | 评论：0 次 | 浏览: 46
元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，...
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
2024-08-06 00:29 | 分类：人工智能 | 评论：0 次 | 浏览: 43
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本，参考B站up主哈喽鹏程视频撰写而成，感...
数据仓库【分层设计】
2024-08-06 00:27 | 分类：人工智能 | 评论：0 次 | 浏览: 53
数据仓库，通过数仓建模更好的组织管理和存储数据，以便在性能、成本、效率和质量之间取得最好的平衡。
HDFS 的健壮性体现在哪里？
2024-08-06 00:03 | 分类：人工智能 | 评论：0 次 | 浏览: 42
HDFS 的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。常见的三种出错情况是 Namenode 出错、Datanode 出错和网...
HDFS中的NAMENODE元数据管理（超详细）
2024-08-06 00:02 | 分类：人工智能 | 评论：0 次 | 浏览: 44
文件自身属性信息文件名称、权限、修改时间，文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个...
AI系统HBase原理与代码实战案例讲解
2024-08-05 23:58 | 分类：人工智能 | 评论：0 次 | 浏览: 43
AI系统HBase原理与代码实战案例讲解1. 背景介绍1.1 大数据时代的数据存储挑战在当前大数据时代,海量数据的存储和管理面临着前所未有的...
如何学习Hbase：糙快猛的大数据之路（ 用讲故事的方式）
2024-08-05 23:58 | 分类：人工智能 | 评论：0 次 | 浏览: 47
想要征服HBase这头大数据"猛兽"，但不知从何下手？这篇文章为你提供了从入门到精通的完整指南！涵盖了HBase的基础知...
大数据最新Doris实战——结合Flink构建极速易用的实时数仓_flink doris(1)，实践出真知
2024-08-05 23:46 | 分类：人工智能 | 评论：0 次 | 浏览: 40
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris...
【赵渝强老师】基于大数据组件的平台架构
2024-08-05 23:44 | 分类：人工智能 | 评论：0 次 | 浏览: 49
在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平...
如何有效利用AI工具提高工作效率？探索这5款顶级AI写作工具！
2024-08-05 23:42 | 分类：人工智能 | 评论：0 次 | 浏览: 36
不知道大家有没有发现，随着人工智能技术的快速发展，AI工具正逐渐渗透到我们日常生活的各个方面，极大地提高了我们的工作和学习效率。无论是AI写...
有没有英文ai写作工具?
2024-08-05 23:41 | 分类：人工智能 | 评论：0 次 | 浏览: 45
AIPaperPass是AI原创论文写作平台，免费千字大纲，5分钟生成3万字初稿，提供答辩汇报ppt、开题报告、任务书等，40篇真实中英文知...
论文查重是真实的吗 智能写作
2024-08-05 23:41 | 分类：人工智能 | 评论：0 次 | 浏览: 46
然而，由于算法和数据库资源的局限性，论文查重结果可能会出现一定的误差。因此，不能完全依赖查重工具的结果，还需要人工审查和修改来确保论文的质量...
这篇文章给你一个ai绘画工具合集，快来码起
2024-08-05 23:28 | 分类：人工智能 | 评论：0 次 | 浏览: 42
Stable Diffusion是一个可成长性的人工智能数据绘画工具，我们可以通过将一些初始的图像提供给算法，这款工具可以学习如何对图像进行...
【Stable Diffusion初学者指南】模型指南
2024-08-05 23:03 | 分类：人工智能 | 评论：0 次 | 浏览: 51
Stable Diffusion模型或checkpoint模型是预先训练的稳定扩散权重，用于生成特定风格的图像。模型生成什么样的图像取决于训...
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
2024-08-05 22:45 | 分类：人工智能 | 评论：0 次 | 浏览: 45
llama3 刚出来时，其长度只有8K对于包括我司在内的大模型开发者是个小小的缺憾，好在很快，在7.23日，Meta发布了Llama 3.1...