我要评论
今天向分区表插入数据
insert into table--------的时候
执行完报错了:failed: execution error, return code 1 from org.apache.hadoop.hive.ql.exec.statstask
重启了电脑也没用，
修改了yarn-site.xml和mapred-site.xml增加yarn和mapreduce可用内存都没用
然后同学让我加了一句话
set set hive.stats.column.autogather=false
执行这个以后再执行insert语句，就不报错，插入数据成功了！
不过！！！需要注意的是，之前的insert语句虽然报错了，但是已经向表里插入数据了，有可能会造成重复的数据
用 truncate table 表名 就可以清空表里的数据，然后再重新执行insert语句就好了
BI：Business Intelligence，商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行分析以实现商业价值。简单来说，就是借助BI工具，可以完…
MapReduce思想在生活中处处可见。MapReduce 的思想核心是“分而治之”，适用于大规模数据处理场景。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理…
我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂（岗位…
版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2386932994@qq.com 举报，一经查实将立刻删除。
发表评论