/spark-matchimg

Spark+Hbase+HDFS 大数据图片匹配技术

Primary LanguagePythonGNU General Public License v3.0GPL-3.0

spark-matchimg

基于 Spark+Hbase+HDFS 大数据高速图片匹配技术

  • 运行前使用 cmd/upload_pkg.sh -i 上传Python依赖,并再其他节点安装第三方库
  • HDFS需要上传$SPARK_HOME/jars
  • 目录下的spark-examples_pythonconverter.jar需要和Hbase的一些jar包的放在一起,配置到spark-env.sh中,每个节点的Spark都要一样