博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop概念学习系列之为什么hadoop/spark执行作业时,输出路径必须要不存在?(三十九)...
阅读量:6495 次
发布时间:2019-06-24

本文共 316 字,大约阅读时间需要 1 分钟。

 很多人只会,但没深入体会和想为什么要这样?

  拿Hadoop来说,当然,spark也一样的道理。

  输出路径由Hadoop自己创建,实际的结果文件遵守part-nnnn的约定。

  如何指定一个已有目录作为Hadoop作业的输出路径,作业将无法进行,并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录,它必须是不存的目录。其实,我们可以把这个特点当做Hadoop的一种安全机制,它可以防止Hadoop重写有用的文件以及用户总是忘记弄清的事。

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6092396.html,如需转载请自行联系原作者

你可能感兴趣的文章
剑指offer之字符串是否为数值
查看>>
WPF DataGrid自定义分页控件_实现下拉刷新数据
查看>>
django基础知识~RBAC实验部分代码记录
查看>>
spring boot properties
查看>>
ArcGIS中标格乱码??
查看>>
移动网页 ----仿淘宝使用flex布局实现页面 固定顶部和底部
查看>>
嘿,兄弟!
查看>>
关于c++风格 code style
查看>>
1025. 反转链表 (25)
查看>>
Dapper.Extension的基本使用
查看>>
spring boot 打jar包,获取resource路径下的文件
查看>>
[HAOI2011]Problem b&&[POI2007]Zap
查看>>
.emacs
查看>>
Python十讲 - 第一讲:从零开始学Python
查看>>
继承与接口课堂作业
查看>>
RN 使用第三方字体
查看>>
Ubuntu系统在VMware虚拟机中显示显示过小
查看>>
关于swift使用CocoaPods倒入三方库的framework后父类倒入子类无法继承的问题
查看>>
PO设计模式
查看>>
WebGL Hello World Triangle Test
查看>>