zaz5630/bigdata-learning-notes

大数据学习笔记

bigdata-learning-notes

大数据学习笔记

大数据

Zookeeper

• Zookeeper3.4.5 分布式安装部署
• Zookeeper 常用命令行操作
• Zookeeper 实现分布式锁

Hadoop

• Hadoop3.0 完全分部署安装部署
• Hadoop 基准测试
• Hadoop 数据迁移

git

• git 基操

Flume

• Flume 安装部署

HBase

• HBase 生产环境调优

Hive

• Hive 安装部署
• Hive beeline连接
• Hive 导出 csv 文件
• Hive drop database删除数据库
• Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
• Hive DDL 数据定义
• Hive 查询

Kudu

• kudu异常

Kafka

• kafka 安装部署
• kafka 常用命令
• kafka 杂谈
• kafka stop 脚本有时候不起作用的原因

debezium/confluent

• 使用 confluent 实现 SqlServer 实时同步数据到 PostGreSql
• confluent6.0.1 平台搭建

Sentry

• CDH 安装配置Sentry
• hue: There are currently no roles defined

Phoenix

• CDH 平台安装 Apache Phoenix

ClickHouse

• ClickHouse 入门概述
• ClickHouse 安装
• ClickHouse 数据类型
• ClickHouse 表引擎
• ClickHouse 表操作

WaterDrop

• WaterDrop入门
• Hive to Hdfs

Atlas

• Atlas 安装

DolphinScheduler

• DolphinScheduler 安装
• DolphinScheduler 使用

CDH

• CentOS7.3 CDH5.13.3 安装教程
• CentOS7.7 CDH6.2.1 安装教程
• CDH 安装 Hue 连接不上MySQL
• CDH 查询 Hive执行过的SQL语句

Scala

• 1. scala 变量和数据类型
• 2. scala 流程控制
• 3. scala 函数之-语法
• 3. scala 函数之-高阶函数(高阶算子)
• 4. scala 函数之-闭包和柯里化
• 5. scala 包声明和包导入
• 6. scala 类和对象
• 7. scala 给类取别名
• 8. scala 的 trait
• 9. scala 集合的 map 映射、高阶函数使用、集合的压平、 集合的过滤、集合的简化、集合的折叠、集合的扫描、集合的拉链、集合的迭代器、集合的分组
• 10.scala 模式匹配
• 11.scala 部分应用函数与偏函数
• 12.scala 隐式转换
• 13.scala 的排序
• 14.scala API
• 15.scala 数组
• 16.scala 值调用、名调用和控制抽象

Spark

• Spark 安装部署

• Spark 常用 API

• Hive on Spark 参数调优

• Spark Streaming 的 reduceByKeyAndWindow 窗口函数

• Spark 任务停止后自动重启

• Spark源码之-CDH6下Spark2.4写Hive分区表异常

• Spark 内核

  • [Spark 内核概述(待补充)]
  • Spark 部署模式
  • Spark 任务调度机制
  • Spark Shuffle解析
  • Spark 内存管理

• Spark 性能优化和故障处理

  • Spark 性能优化
  • Spark 数据倾斜解决方案
  • Spark 问题及解决

• Spark 读取HDFS失败

Flink

• Flink 简介
• Flink HelloWorld
• Flink 部署和运行
• CDH6.3.2 集成FLink
• Flink 运行时架构之运行时组件
• Flink 运行时架构之作业提交流程
• Flink 运行时架构之任务调度原理(一)
• Flink 运行时架构之任务调度原理(二)
• Flink 运行时架构之任务调度原理(三)
• Flink 运行时架构之任务调度原理(四)
• Flink 运行时架构之任务调度原理(五)
• Flink 运行时环境和处理过程
• Flink Source
• Flink Transform
• Flink 支持的数据类型
• Flink UDF函数
• Flink Sink
• Flink Window
• Flink 时间语义与 Watermark

Canal

• 使用 canal 实时监控 mysql 并读取到 Kafka(scala 版)

Elasticsearch

• Docker 安装Elasticsearch
• Elasticsearch 常用操作

Kibana

• Docker 安装Kibana

Azkaban

• Azkaban 安装部署

MySQL

• CentOS7 安装 MariaDB
• 修改MySQL中文乱码

Java

GitLab

• rpm方式 安装 gitlab
• docker方式 安装 gitlab
• gitlab 关闭注册功能

Nginx

• nginx
• alias和root的区别

Redis

• centos7 安装redis
• Redis 安装(docker)
• redis 数据类型
• redis conf详解
• redis 持久化
• redis 事务
• redis 发布订阅
• redis 主从复制
• redis java客户端
• redis 数据备份与恢复
• redis 安全
• redis 性能测试

运维

软件部署

• ubuntu部署ftp服务.md

Zabbix

• Centos7.7 安装 Zabbix
  • 编译源码安装zabbix4.4
    • Centos7.7 编译源码安装使用 Zabbix(zabbix-server)
    • Centos7.7 编译源码安装使用 Zabbix(zabbix-agent)
  • 二进制文件安装使用 Zabbix5.0
    • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-server)
    • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-agent)
• Zabbix5.0 中文乱码
• Zabbix: 添加被监控主机、创建主机、监控项、触发器、图形和模板
• Zabbix: 自定义邮件告警

Docker

• CentOS7 YUM安装 docker
• CentOS7 离线安装 docker
• Docker 常用命令
• Docker 镜像
• Docker 容器数据卷
• DockerFile 解析
• Docker 常用安装
• Docker 本地镜像发布到阿里云

Kubernetes

• K8s 部署
• K8s 扩容
• K8s YAML文件配置详解
• K8S Token过期的问题
• K8s 污点及容忍度
• K8s 常用操作命令
• K8s Pod
• K8s label
• K8s Controller
• K8s Volume挂载相关
• K8s Secret
• K8s ConfigMap
• K8s 副本机制和水平扩展&滚动更新
• K8s Service
• K8s statefulset
• K8s DaemonSet
• K8s job
• K8s cronjob
• K8s Ingress
• K8s helm
• K8s NFS-PV-PVC
• K8s 部署Java

Linux 相关

Linux

• vi和vim的使用
• 开机、重启和用户登录注销
• 用户管理
• Linux 集群分发脚本
• Linux下卸载 MySQL
• Linux Swap分区
• Linux扩展/删除swap分区
• kill pid 和 kill -9 pid 的区别
• This account is currently not available（用户当前不可用）
• CentOS top命令详解
• CentOS 集群时间同步
• CentOS 修改主机和IP
• CentOS 系统更换yum源镜像为国内镜像
• CentOS 安装 JDK
• Linux CPU性能优化

Shell

• shell 基础入门
• shell 变量
• shell 运算符
• shell 流程控制
• shell 读取控制台输入数据
• shell 函数
• shell 工具
• echo 命令详解
• 集群同步脚本
• 集群批量执行脚本

科学上网

科学上网

• 科学上网指南

---

欢迎加我微信一起交流

我的微信