小滴大课训练营-微服务架构-海量数据商用短链平台项目大课【2023最新升级版】
一、海量数据大课+架构课程简介
海量数据项目大课，是小滴课堂准备耗时近1年的综合性实战项目，从0~1开发商用短链平台；
从产品需求文档定制出发，掌握核心要点和互联网大厂专业术语，项目周期和背景
采用新版微服务架构体系+容器编排+海量数据处理+大数据技术栈+分布式调度追踪
分布式事务+数据一致性处理+分布式锁解决方案
掌握Flink实时计算+大数据分层清洗处理+ClickHouse实战
新一代容器编排平台Rancher2.5部署多节点+动态扩容实战+容器编排急速认知
宏观上看多个中间件和JDK源码设计思想，再项目中应用落地
明白大厂面试喜欢问底层原理设计思想，而普通公司没能力
架构师的角度看问题抽思想：选多个解决方案，【部分会项目中落地，部分触类旁通】
Redis6.X惰性删除 在海量数据流量套餐包中应用
ConcurrentHashMap分段锁在秒杀中的必杀技
CopyOnWriteArrayList 读写分离+最终一致思想精髓
Kafka sender和main线程异步发送和liner.ms应用场景
技术解决方案和产品需求的博弈对抗
...更多
三、短链平台技术栈
微服务技术：新版SpringCloudAlibaba全家桶+SpringBoot2.5+Nacos2.x+MybatisPlus
缓存+MQ中间件+调度：Redis6.X+RabbitMQ+Zookeeper+Kafka + XXLJob
海量数据分库分表+文件存储：Mysql8.0+ShardingSphere多维度分库分表 + 阿里云OSS
实时计算+数据处理+存储可视化：Flink1.13 + ClickHouse + HDFS + 数据清洗分层 + Echart可视化数据
分布式链路追踪+监控+持久化存储：Apache Skywalking + ElasticSearch7.X
上线部署：Jenkins CICD + 阿里云Git仓库+ 阿里云ECS CentOS7 + Rancher2.5 + 容器编排调度
高级测试必备生产环境流量压测：Jmeter5.X单接口压测+混合流量录制+流量压测扩大重放
四、海量数据商用短链平台项目亮点
海量数据下-商用短链平台从0~1实战（P1、P2、P3 难度逐级下降）
账号微服务
账号模块
图形验证码防刷设计（P2）
短信验证码接入(P2)
高并发下新用户免费流量包处理（P1）
分布式文件存储（P2）
流量包模块(重点：多场景分布式事务+锁、数据一致性、业务复杂)
流量包使用管理（P1）
海量数据下流量包过期处理解决方案：惰性+随机（P1）
海量数据下每日流量包更新解决方案：惰性（P1）
高并发下流量包扣减处理（P1）
高并发、多案例分布式事务+锁、复杂业务逻辑（P1）
冷热数据归档和处理（P1）
商品微服务
商品模块
商品列表和详情（P3）
支付模块(重点)
AOP应用+自定义注解防重提交设计（P1）
新版微信扫码支付V3接口文档对接（P1）
PC端支付宝支付扫码对接（P2）
多渠道支付回调通知+异步MQ承接(P1)
ShardingSphere从0到1到商业项目实战（P1）
订单数据快照+常规分库分表（P3）
分库分表后C端解析和B端查询处理解决方案一:NoSQL法（P1）
短链服务
短链模块
多案例短链码设计方案和落地（P1）
高性能短链解析（P1）
多案例数据上报设计和方案对比（P1）
C端解析+B端查询 分库分表常见解决方案（P1）
海量数据分库分表处理（P1）
分库分表后C端解析和B端查询处理解决方案二：冗余双写法（P1）
分库分表后短链CURD【冗余双写】 分布式事务数据一致性解决方案（P1）
单一PartitionKey做分库分表解决方案三：基因法（P1）
短链库表数据库【免迁移扩容】解决方案四：基因法(P1)
数据可视化服务
从0~1掌握ClickHouse新一代OLAP数据库（P2）
从从0~1掌握新版分布式调度任务xxl-job+alibabcloud实战（P2）
ClickHouse多场景查询、echart可视化数据对接（P1）
违规短链站点动态黑名单检测解决方案（P1）
实时计算服务
后端工程师角度进阶数据仓库+分层+大数据领域技术视野（P1）
Flink+Kafka短链数据实时计算+多维度数据处理（P1）
Async异步关联查询+多维度宽表拓展（P1）
Flink多流合并+dws层整合ClickHouse存储（P1）
DevOps全链路流程+新一代容器编排平台部署（P1、P2、P3 难度逐级下降）
Jenkins CICD搭建+阿里云Git仓库+Docker私有镜像仓库构建部署(P1)
Rancher2.x部署+快速入门+容器编排核心知识上手+部署Linux公有云（P1）
Skywalking链路追踪+SpringCloud容器化整合+ElasticSearch7.X持久化部署(P2)
Jmeter5.x压测 + 混合流量录制 + 流量压测扩大重放（P1）
汇报、分析、沟通软技能+面试跳槽简历编写
技术选型/团队管理方法论+互联网大厂跨团队职责配合讲解(P1)
需求文档分析/商业化能力讲解（P2）
大课简历编写+项目亮点抽取+面试回答(P1)