大数据：Hadoop基础常识hive，hbase，MapReduce，Spark
今天关于面试的分享就到这里，还是那句话，有些东西你不仅要懂，而且要能够很好地表达出来，能够让面试官认可你的理解，例如Handler机制，这个是面试必问之题。有些晦涩的点，或许它只活在面试当中，实际工作当中你压根不会用到它，但是你要知道它是什么东西。最后在这里小编分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。还有。
hadoop是根据google三大论文为基础研发的，google 三大论文分别是: mapreduce、 gfs和bigtable。
hadoop的核心是两个部分：
一、分布式存储（hdfs，hadoop distributed file system）。
二、分布式计算（mapreduce）。
mapreduce
mapreduce是“ 任务的分解与结果的汇总”。
map把数据切分——分布式存放、计算。
reduce把分布计算得到的结果进行整合，汇总（shuffle）得出最终的结果。
mapreduce是一种“分治”计算思想，把一个大任务分割成许多小单元，最后再将每个小任务单元结果汇总，求得最终结果。
hdfs
hdfs把文件切分成block块进行存储（默认block大小尺寸为128m），然后这些block块被复制到多个计算机中（datanode）。这有一个容错机制，副本策略，默认一块数据会有三个block，当前机器存储一份（数据本地化），另外一个机架存储一份，该机架的不同机器存储一份。
hadoop在处理大数据时候特别需要注意：
1、 非常适合处理超大规模的数据集（tb，pb量级），非常不适合处理大量小文件。
2、 hadoop一次写入，多次读写。hadoop不支持随机修改文件。
3、hadoop数据处理高延迟，数据的实时性不高。原因很显然，因为处理的数据规模非常大且是以分布式方式存储，读写访问需要花费更多时间。
hadoop特点总结
相关文章:
-
-
腾讯云高性能应用服务 HAI（Hyper Application Inventor）是一款面向 AI 和科学计算的 GPU/NPU 应用服务产品，提供即插即用的强大算力和常见环境。…
-
实名认证，网站备案的目的，备案准备的材料，个人备案流程，主办单位信息，个人主体信息，网站信息，接入商核验信息，管局下发备案号…
-
深入探索腾讯云 Cloud Studio，一款引领云端开发环境的工具。其独特特点在于高效率的一键运行、并行工作、规范开发，以及强大的AI功能，包括技术沟通、智能代码补全和错误建议、…
-
安全组是一种虚拟防火墙,用于控制安全组内ECS实例的入流量和出流量,从而提高ECS实例的安全性。安全组具备状态检测和数据包过滤能力,您可以基于安全组的特性和安全组规则的配置在云端划…
-
版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2386932994@qq.com 举报，一经查实将立刻删除。
我要评论
发表评论