Danny5487401/go_package_example

Gopher常用包: grpc discipline and some common go packages

Table of Contents generated with DocToc

• go_package_example(Go常用包)
  • 第零章 rpc实现选项
  • 第一章 服务注册中心consul
  • 第二章 日志库
  • 第三章 消息队列
  • 第四章 服务注册及配置文件中心 Nacos
  • 第五章 关系型数据库
  • 第六章 获取对外可用IP和端口
  • 第七章 Gin前端form验证器
  • 第八章 GRPC编程及调优
  • 第九章 Nosql 非关系型数据库
  • 第十章 链路追踪(Distributed Tracing)
  • 第十一章 依赖注入容器(Dependency Injection Container)
  • 第十二章 clockwork 虚拟时钟库-->etcd使用
  • 第十三章 序列化反序列化-涉及多种协议
  • 第十四章 系统监控
  • 第十五章 分布式事务
  • 第十六章 数据复制
  • 第十七章 数据加解密
  • 第十八章 日志收集项目 log_collect
  • 第十九章 熔断,限流及降级
  • 第二十章 应用的命令行框架
  • 第二十一章 配置文件解析:viper(依赖mapstructure,fsnotify,yaml,toml)
  • 第二十二章 ETCD
  • 第二十三章 Go-Micro框架 (不推荐使用)
  • 第二十四章 搜索引擎es
  • 第二十五章 监控sentry
  • 第二十六章 图数据库Neo4j
  • 第二十七章 Mysql的binlog
  • 第二十八章 OLAP(Online Analytical Processing 联机分析处理)
  • 第二十九章 分布式锁及源码分析
  • 第三十章 Zookeeper
  • 第三十一章 分布式Id
  • 第三十二章 Consensus algorithm 共识算法
  • 第三十三章 压缩
  • 第三十四章 本地缓存
  • 第三十五章 sonar静态代码质量分析-涉及与golangci-lint对比使用
  • 第三十六章 Proto管理工具Buf
  • 第三十七章 CI持续集成
  • 第三十八章 Mergo实现 struct 与 map 之间转换-->k8s中应用
  • 第三十九章 权限管理 casbin
  • 第四十章 规则引擎 rule engine
  • 第四十一章 hashicorp/go-plugin 插件使用-->httprunner 4.0 使用
  • 第四十二章 prometheus
  • 参考

go_package_example(Go常用包)

第零章 rpc实现选项

• 1 手动实现rpc
  • 客户端
  • 服务端
• 2 手动实现stub中间人
  • 客户端
  • 客户端中间人stub
  • 业务方法
  • 服务端
  • 服务端中间人stub
• 3 json_rpc
  • 客户端
  • 服务端
• 4 http_rpc
  • 服务端

第一章 服务注册中心consul

• consul架构

• 分布式锁-->consul实现)

• 1 http服务注册发现加健康检查

• 2 grpc服务注册发现加健康检查

第二章 日志库

• 1 标准库 log
• 2 slog-->go 1.21 引入
  • 2.1 自定义 level
  • 2.2 使用 handler
  • 2.3 使用 group 汇总多个属性
• 3 zap使用及源码分析
  • 3.1 两种打印风格
  • 3.2 定义多种输出位置: 控制台输出及文件输出
  • 3.3 并发安全logger
  • 3.4 zap(配合lumberjack库或go-file-rotatelogs库)实现定制化log日志归档
  • 3.5 简单的基于Entry实现的hook函数-->无法接收到Fields的相关参数
• 4 logrus-->兼容 log 库
• 5 zerolog

第三章 消息队列

• 1 rabbitmq
  • 1.1 消费者：推拉模式
  • 1.1 生产者
• 2 kafka
  • 2.1 客户端sarama
  • 2.2 客户端confluent-kafka-go源码分析
    • 2.2.1 生产者
    • 2.2.2 消费者
• 3 rocketmq
  • 3.1 消费者：简单消费,延迟消费
  • 3.2 生产者：简单消息，延迟消息，事务消息
• 4 Asynq 分布式延迟队列
  • 4.1 生产者
  • 4.2 消费者

第四章 服务注册及配置文件中心 Nacos

• 1 获取配置及监听文件变化
• 2 服务注册，监听，获取
  • V1版本
  • V2版本

第五章 关系型数据库

• MySQL的主流驱动 go-mysql-driver插件源码分析
• 1 GORM
  • 1.1 GORM原理及实现
  • 1.2 连接池使用
• 2 XORM
  • 2.1 主从连接
  • 2.2 调用mysql函数
  • 2.3 事务处理
  • 2.4 crud
    • 插入Insert
    • 原生sql
    • 获取retrieve
    • 更新update
• 3 database/sql 源码分析
  • 3.1 converter把普通的值转化成driver.Value的接口
• 4 SQL生成库 Squirrel

第六章 获取对外可用IP和端口

• 通过google, 国内移动、电信和联通通用的DNS获取对外Ip和端口

第七章 Gin前端form验证器

• 1 验证器校验错误英转中
• 2 前端数据校验

第八章 GRPC编程及调优

前置知识

• makefile 在 protobuf 中应用,生成 Pb 文件

• protobuf

  • 引入其他proto文件,支持编译多个proto文件
  • 编码原理

• protobuf 工具:protoc,protoc-gen-go,protoc-gen-go-grpc,protoc-gen-gofast 等

• 1 HelloWorld 入门使用及源码分析

  • 1.1 客户端 Grpc 源码
  • 1.2 服务端 Grpc 源码

• 2 context 中的元数据 metadata

• 3 流式GRPC

• 4 jsonpb 包序列化和反序列化: protobuf 转 json

• 5 负载均衡

  • 5.1 客户端负载均衡(Resolver接口和Builder接口)
    • 第三方consul实现Resolver接口和Builder接口
    • 自定义实现Resolver接口和Builder接口
    • 自定义实现nacos服务注册与发现
  • 5.2 服务端

• 6 retry机制

• 7 grpc错误抛出与捕获

• 8 auth自定义认证

• 9 Grpc插件-引入第三方proto实现字段验证器-->

• 10 Grpc插件-使用 gRPC 转码（RPC Transcoding）实现暴露 http服务-->grpc网关在etcd中应用 -buf 在 protobuf 中应用,生成 Pb 文件-->推荐 -原始不使用 buf 生成pb文件

• 11 Grpc插件-gogo/protobuf

• 12 GRPC生态中间件(拦截器扩展)

  • 实现基于 CA 的 TLS 证书认证
  • go-grpc-middleware 实现多个中间件：异常保护，日志

• 13 channelz 分析问题

• 14 multiplex多路复用

• 15 自定义 grpc 插件

• 16 同目录 proto 文件引入

• 17 field masks

第九章 Nosql 非关系型数据库

• 1 MongoDB
  • mongo和mysql对比：储存引擎及内存结构
  • 1.1 增删改查
• 2 Redis(协议，原理，持久化方式)
  • redis底层数据结构对象源码分析
  • redis 集群
  • 2.1 redigo使用
  • 2.2 go-redis使用(官方)
    • 2.2.1 连接池分析
    • 2.2.2 连接初始化及命令执行流程
    • 2.2.3 protocol协议封装
    • 2.2.4 批处理pipeline分析

第十章 链路追踪(Distributed Tracing)

• 1 OpenTracing->Jaeger
  • 1.1 结合XORM
  • 1.2 结合redis
• 2 OpenTelemetry 两大开源社区合并
  • 跨服务组合tracer代码展示:需开启svc1和svc2两个http服务(url可以是zipkin或则jaeger)

第十一章 依赖注入容器(Dependency Injection Container)

• 1 dig依赖注入及http服务分层->不推荐
• 2 wire依赖注入->推荐
  • 2.1 不使用wire现状
  • 2.2 使用wire优化
  • 2.3 wire使用-带err返回
  • 2.4 wire使用-带参数初始化

第十二章 clockwork 虚拟时钟库-->etcd使用

第十三章 序列化反序列化-涉及多种协议

• 1 标准库 json
  • 1.1 omitempty 标签: 忽略空值字段,忽略嵌套结构体空值字段,不修改原结构体忽略空值字段
  • 1.2 string 标签: 处理字符串格式的数字,json.Number 处理json字符串中的数字
  • 1.3 自定义的时间格式解析
  • 1.4 自定义的MarshalJSON方法 和 UnmarshalJSON
  • 1.5 使用匿名结构体添加字段, 使用匿名结构体组合多个结构体
  • 1.6 inline 标签: 将嵌套结构体字段展开到父结构体中
• 2 Jsoniter(完全兼容标准库json，性能较好)-涉及标准库 encoding/json 分析
  • 2.1 序列化
    • 2.1.1 指针变量，序列化时自动转换为它所指向的值
    • 2.1.2 结构体成员为interface{}
    • 2.1.3 extra.SetNamingStrategy 统一更改字段的命名风格
  • 2.2 反序列化
    • 2.2.1 反序列化匹配规则
    • 2.2.2 json 字符串数组
    • 2.2.3 json.RawMessage 二次反序列化
    • 2.2.4 extra.SupportPrivateFields() 解析私有的字段
• 3 mapstructure 将通用的map值解码为结构体
  • 3.1 无tag标签
  • 3.2 带tag标签mapstructure
  • 3.3 embeded内嵌标签squash
  • 3.4 未映射字段保留标签remain
  • 3.5 省略字段标签omitempty
  • 3.6 元数据展示源数据未映射字段
  • 3.7 错误
  • 3.8 弱解析
  • 3.9 自定义解析器

第十四章 系统监控

• 1 systemstat包(适合linux系统，已断更)
• 2 gopsutil
  • 进程信息获取
    • 物理机和虚拟机
    • 容器环境
  • cpu,mem,disk

第十五章 分布式事务

• Note: 使用DTM的代码作为案例
• 1 两阶段提交2pc/XA
• 2 saga事务
• 3 TCC事务
• 4 etcd的STM

第十六章 数据复制

• 1 copier(不同类型数据复制)

第十七章 数据加解密

• 1 phpserialize(不推荐)

第十八章 日志收集项目 log_collect

• 1 动态选择文件
• 2 文件内容读取发送

第十九章 熔断,限流及降级

• 0 令牌桶官方包 x/time/rate
• 1 Sentinel-->滑动窗口
  • 1.1 基于流量QPS控制
    • 流量控制器的Token计算策略:direct
    • 流量控制器的Token计算策略:warmUp
  • 1.2 熔断
    • ErrorCount
    • ErrorRatio
    • SlowRequestRatio
• 2 Hystrix-->滑动窗口
  • 2.1 客户端
  • 2.2 服务端
• 3 uber-go/ratelimit-->Leaky Bucket(漏桶)
• 4 envoyproxy/ratelimit-->计数器

第二十章 应用的命令行框架

• 1 Cobra -->在 k8s 中的应用
  • 1.1 cobra 构建 time 展示及解析,flag 使用
• 2 Urfave Cli -->在 buildkit 中的应用
• 3 alecthomas/kingpin -->在 node_exporter 使用

第二十一章 配置文件解析:viper(依赖mapstructure,fsnotify,yaml,toml)

• 1 viper获取本地文件内容
• 2 监听文件变化(fsnotify)原理分析
• 3 远程读取nacos配置(源码分析)
• 4 gopkg.in/yaml.v3 使用
• 5 pelletier/go-toml 使用
• 6 gopkg.in/ini.v1 使用

第二十二章 ETCD

• 服务端server--读和写流程分析
• 服务端server--鉴权分析
• 服务端server--mvcc并发控制
• 服务端server--watch机制
• 1 基本操作CRUD及watch监听
• 2 boltdb基本操作及在etcd中的源码分析
• 3 bbolt改善boldb

第二十三章 Go-Micro框架(不推荐)

• 1 Config配置加载包

第二十四章 搜索引擎es

• es索引及索引生命周期管理
• 1 go-elasticsearch 官方包
  • 1.1 批量写入Bulk
  • 1.2 es日志
  • 1.3 并发批量BulkIndexer

第二十五章 监控sentry

• 1 结合gin基本shiyong
• 2 自定义zap core模块收集error级别日志上报sentry

第二十六章 图数据库Neo4j

• cypher语句
• 1 CRUD在web服务中

第二十七章 Mysql的binlog

• binlog,gtid介绍
• canal使用及源码分析

第二十八章 OLAP(Online Analytical Processing 联机分析处理)

• 1 列数据库ClickHouse
  • 1.1 标准库sql操作clickHouse
  • 1.2 扩展包sqlx操作clickHouse
  • go-clickHouse源码分析

第二十九章 分布式锁及源码分析

• 1 redsync(RedLock 算法官方实现)
• 2 etcd实现分布式锁

第三十章 Zookeeper

第三十一章 分布式Id

• 雪花算法
  • bwmarrin/snowflake库
  • SonyFlake(解决时间回拨问题)

第三十二章 Consensus algorithm 共识算法

• 1 Paxos协议
• 2 raft协议
  • hashicorp/raft 在consul实现
  • raft 在etcd实现原理分析
  • 2.1 使用 hashicorp/raft 调试应用

第三十三章 压缩

• 1 snappy 压缩库-->prometheus 使用

第三十四章 本地缓存

• 1 go-cache源码分析及性能分析
• 2 free-cache源码分析及性能分析
• 3 hashicorp/golang-lru实现及变体

第三十五章 sonar静态代码质量分析-涉及与golangci-lint对比使用

第三十六章 Proto管理工具Buf

第三十七章 CI持续集成

• 1 runner 源码分析

第三十八章 Mergo实现 struct 与 map 之间转换-->k8s中应用

• 1 struct 与 map 之间转换
• 2 override 覆盖选项
• 3 结构体中的切片使用
• 4 类型检查

第三十九章 权限管理 casbin

• 1 ACL（access-control-list，访问控制列表)
• 2 RBAC (role-based-access-control 基于角色的权限访问控制)
• 3 基于domain或tenant租户实现RBAC
• 4 ABAC(Attribute-based access control 基于属性的权限验证)使用 eval()功能构造来实现基于自定义规则

第四十章 规则引擎 rule engine

• 1 govaluate-->casbin 使用
• 2 bilibili/gengine
• 3 expr-lang/expr-->argo-rollouts 使用

第四十一章 hashicorp/go-plugin 插件使用-->httprunner 4.0 使用

第四十二章 prometheus

• 部署方式
  • 手工部署
  • operator 部署
• 1 exporter
  • 1.1 内置collector
  • 1.2 使用自定义collector
• 2 Prometheus Operator
• 3 AlertManager
• 4 PromQL

参考

• awesome-go