tencentyun/hadoop-cos

使用hadoop-cos-3.3.0-8.3.2对接专有云csp,hdfs dfs上传文件报空指针异常。DEBUG日志:Retrieve the file metadata. crc64ecm: null

weigu520 opened this issue · 3 comments

使用hadoop-cos-3.3.0-8.3.2对接专有云csp,hdfs dfs上传文件报空指针异常。DEBUG日志:Retrieve the file metadata. crc64ecm: null

感谢反馈,专有云的早期版本可能没有支持CrC64校验,因此在配置选项中关掉上传校验即可。

fs.cosn.upload.checks.enabled 设置为false即可。

目前是腾讯专有云3100版本,上传check关闭之后会有其他风险么,设置为false之后是可以正常上传了。

目前是腾讯专有云3100版本,上传check关闭之后会有其他风险么,设置为false之后是可以正常上传了。

还好,没有太大风险,默认开始校验主要是为了保证公有云链路上的极小概率的不可靠传输。

这块也可以联系私有化的同学做升级,新版本的私有化COS是支持了CRC64校验的。