/HIW

基于Django和Hadoop集群进行的大数据分析平台

Primary LanguageCSS

HIW

基于Django和Hadoop集群进行的大数据分析平台
登录用户名/密码：thinkgamer/123456
后台登录用户名/密码：thinkgamer/thinkgamer

基本环境

  • python3.4
  • diango1.9.6
  • pip install hdfs
  • pip install hdfs[avro,dataframe,kerberos]

注意事项

远程客户端执行hdfs操作，上传和下载文件时，需要将集群的ip和用户名填写在自己本机的hosts文件里，否则会报错
集群的hiveserver2服务要启动

搭建平台参考文章

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
http://blog.csdn.net/gamer_gyt/article/details/51991893
基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装
http://blog.csdn.net/gamer_gyt/article/details/52032579
基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装
http://blog.csdn.net/gamer_gyt/article/details/52045663
三台PC服务器部署Hadoop HA（Hadoop 高可用性架构）
http://blog.csdn.net/gamer_gyt/article/details/52350528