目录
分布式处理基础
分布式系统：是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。
分布式：不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署在不同的服务器上，解决高并发的问题。
集群：同一个业务部署在多台机器上，提高系统可用性。
举例讲解：
摊煎饼卖煎饼，卖煎饼需要进行三道的工序：准备原料、加工、销售。主人A发现这样一天太累了，根本忙不过来，于是乎招人B准备原料，招人C来帮忙加工，这样主人A就可以之进行销售，B和C呢相对于A来说就是分布式；后来随着销量的增加，B和C忙不过来，又找了B1加入到准备原料，C1加入到加工小组。这样B和B1之间就是集群关系，C和C1之间也是集群关系。B小组和C小组属于分布式关系。
一、基础概念
分布式系统定义与特点：资源共享、无共享内存、透明性（位置、访问、迁移、复制等）；
集中式 vs 分布式 vs 并行处理；
BASE理论（基本可用、软状态、最终一致性）；
分布式架构类型：主从结构、P2P、微服务架构、无中心架构等。
二、通信与网络
进程间通信（IPC）：消息队列、管道、共享内存；
消息中间件：如 Kafka、RabbitMQ、ActiveMQ；
通信协议：TCP/IP、HTTP/REST、WebSocket；
三、分布式协调与一致性
分布式一致性协议：
分布式锁
基于数据库、Redis、ZooKeeper 的实现；
分布式事务：
两阶段提交（2PC）、三阶段提交（3PC）；
补偿事务（SAGA）、TCC 模型；
四、分布式存储与数据库
分布式文件系统：如 HDFS、Ceph；
分布式数据库：
NoSQL：MongoDB、Cassandra、HBase；
NewSQL：CockroachDB、TiDB；
分库分表、中间件（如 ShardingSphere）；
一致性模型：
强一致性、最终一致性、读写一致性；
Quorum机制；
五、分布式计算框架
批处理系统：Hadoop、Spark；
流处理系统：Flink、Storm、Kafka Streams；
图计算：Pregel、GraphX；
MapReduce 编程模型；
并行任务调度与 DAG 执行
六、容错与高可用
副本机制（Replication）
主备切换（Failover）
心跳检测与故障检测机制
熔断、降级、限流机制
幂等性处理
七、负载均衡与调度
负载均衡策略：轮询、最少连接、加权、随机；
服务发现与注册中心：如 ZooKeeper、Consul、Eureka、Etcd；
调度系统：如 Kubernetes 调度器、YARN、Mesos；
八、安全与监控
分布式系统安全：认证、授权、传输加密（SSL/TLS）；
日志与监控：Prometheus、ELK、Grafana；
链路追踪（Tracing）：如 OpenTracing、Jaeger、Zipkin；
九、常见分布式系统设计模式
微服务架构设计模式；
分布式缓存设计（如 Redis Cluster）；
事件驱动架构（EDA）；
数据复制、分片与同步机制；
去中心化系统（如区块链）设计模式
十、典型系统与工具学习
| 类别 | 示例工具/框架 |
|---|---|
| 文件系统 | HDFS, Ceph |
| 消息中间件 | Kafka, RabbitMQ |
| 计算框架 | Hadoop, Spark, Flink |
| 配置中心 | ZooKeeper, Etcd |
| 服务注册 | Eureka, Consul |
| 容器/调度 | Docker, Kubernetes |
区块链
区块链是一种去中心化的、由多个节点共同维护的分布式账本技术（DLT）；
本质上是一个按时间顺序连接的区块链式数据结构，每个区块中记录一组交易或操作数据；
区块链具有：
去中心化、开放性，匿名性，信息不可篡改，公开透明，让每个人均可参与数据库记录。
区块链的核心技术
| 技术名称 | 简要说明 |
|---|---|
| ⛓ 区块结构 | 区块由区块头（包括前一个区块哈希、时间戳等）和区块体（交易数据）组成 |
| 🔐 哈希函数 | 将任意长度输入映射为固定长度输出，确保数据完整性（如SHA-256） |
| 📃 数字签名 | 通过非对称加密技术验证交易身份与合法性 |
| 🔁 共识机制 | 网络中节点达成一致的规则（如PoW、PoS、PBFT等） |
| 🔒 加密算法 | 包括对称加密、非对称加密，确保隐私性与安全性 |
| 🧾 智能合约 | 部署在链上的自动化程序，满足条件自动执行 |
| 类型 | 特点 | 举例 |
|---|
| 公有链 | 所有人可参与，无需许可 | 比特币、以太坊 |
| 私有链 | 仅授权节点可访问和写入 | Hyperledger Fabric |
| 联盟链 | 多方共同维护，部分开放 | 金融、供应链企业联合应用 |
| 混合链/跨链 | 不同链间的数据互操作 | Cosmos、Polkadot |
区块链系统由数据层、网络层、共识层、激励层、合约层和应用层组成。其中：
数据层封装了底层数据区块以及相关的数据加密和时间戳等基础数据和基本算法；
网络层则包括分布式组网机制、数据传播机制和数据验证机制等
共识层主要封装网络节点的各类共识算法；
激励层将经济因素集成到区块链技术体系中来，主要包括经济激励的发行机制和分配机制等；
合约层主要封装各类脚本、算法和智能合约，是区块链可编程特性的基础；
应用层则封装了区块链的各种应用场景和案例。
区块链应用：
比特币
智能合约
证券交易
电子商务
物联网
社交通讯
文件存储
存在性证明
身份验证
股权众筹
物联网（IoT，Internet of Things）
一、什么是物联网？
物联网(The Internet of Things) 是指通过信息传感设备， 按约定的协议， 将任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。物联网主要解决物品与物品(Thing to Thing， T2T) 、人与物品(Human to Thing， H2T) 、人与人(Human to Human， H2H)之间的互连。
两层意思：
第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；
第二，物联网是把用户端延伸和扩展到了任何物品和物品之间的信息交换的通信。
二、物联网的基本组成
| 组成层 | 功能说明 | 举例 |
|---|---|---|
| 感知层（底层） | 负责信息采集和识别 | 传感器、RFID（射频识别）、摄像头、二维码 |
| 网络层（中间层） | 负责信息传输和通信 | WiFi、4G/5G、NB-IoT、蓝牙、ZigBee、LoRa、以太网 |
| 应用层（顶层） | 负责数据处理、分析和服务应用 | 智慧城市、智能家居、工业自动化、智慧农业 |
三、核心技术要素
| 技术类别 | 内容 |
|---|---|
| 感知技术 | RFID、二维码、传感器、摄像头 |
| 通信技术 | 蜂窝通信（4G/5G）、蓝牙、WiFi、ZigBee、LoRa、NB-IoT、卫星通信 |
| 网络协议 | TCP/IP、MQTT、CoAP、HTTP、ZigBee协议栈 |
| 平台与云计算 | 阿里云IoT、华为IoT、亚马逊AWS IoT、边缘计算平台 |
| 大数据与AI | 数据分析、预测、行为识别、智能控制 |
| 安全技术 | 加密认证、访问控制、隐私保护、边缘防护 |
四、物联网通信协议分类
| 协议类型 | 举例 | 特点 |
|---|---|---|
| 短距离通信 | 蓝牙、ZigBee、Wi-Fi | 适合室内或局部范围设备连接 |
| 低功耗广域通信（LPWAN） | NB-IoT、LoRa、Sigfox | 低速率、长距离、低功耗 |
| 蜂窝通信 | 4G、5G、eMTC | 高带宽、高可靠，适合车联网等高实时场景 |
| 应用层协议 | MQTT、CoAP、AMQP、HTTP | 设备与平台通信协议，轻量、高效或通用 |
五、物联网发展面临的挑战
| 类型 | 说明 |
|---|---|
| 安全问题 | 数据泄露、设备劫持、身份认证弱等 |
| 互操作性差 | 不同设备、平台之间协议和标准不统一 |
| 功耗与带宽限制 | 远程或电池供电设备功耗需控制 |
| 大规模部署管理难度大 | 数十亿设备运维管理需要高效平台 |
| 隐私保护 | 需要合法采集和合规使用用户数据 |
六、物联网与相关技术关系
| 技术 | 与物联网的关系 |
|---|---|
| 大数据 | 分析处理物联网设备产生的海量数据 |
| 人工智能 | 提高自动决策、预测分析能力 |
| 边缘计算 | 减少延迟，提升本地响应速度 |
| 云计算 | 提供数据存储、处理与设备管理能力 |
| 区块链 | 提供安全、可信的数据共享与溯源机制 |
| 5G | 提高连接密度和传输速率，支撑大规模设备联网 |
大数据
一、什么是大数据？
大数据（Big Data）是指在传统数据处理工具难以高效处理的数据集合，具有体量大、速度快、多样性强、价值密度低等特点。
二、大数据的“5V”特征（核心）
| 特征英文 | 中文含义 | 说明 |
|---|---|---|
| Volume | 大体量 | 数据规模巨大，如TB、PB级别 |
| Velocity | 高速度 | 数据生成与处理速度快，需实时/准实时响应 |
| Variety | 多样性 | 数据类型多样：结构化、非结构化、半结构化 |
| Value | 价值密度低 | 数据中隐藏价值，需要深度挖掘 |
| Veracity | 真实性 | 数据质量和可靠性参差不齐，需清洗与验证 |
三、大数据的常见类型
| 数据类型 | 示例 |
|---|---|
| 结构化数据 | 表格、数据库（如SQL） |
| 半结构化数据 | JSON、XML、日志文件 |
| 非结构化数据 | 图片、音视频、社交媒体内容、PDF、邮件 |
四、大数据技术体系（核心架构）
1. 数据采集（Data Collection）
技术：Flume、Sqoop、Logstash、NiFi
作用：从数据库、日志、传感器、网页等采集原始数据
2. 数据存储（Data Storage）
分布式文件系统：如 HDFS、Ceph
分布式数据库：
NoSQL：HBase、MongoDB、Cassandra
NewSQL：TiDB、CockroachDB
数据湖：Iceberg、Delta Lake、Apache Hudi
3. 数据处理与计算（Data Processing）
批处理：Hadoop MapReduce、Spark
流处理：Flink、Storm、Kafka Streams
内存计算：Apache Spark（核心特征）
4. 数据分析与挖掘（Data Analytics）
技术：Spark SQL、Hive、Presto、Pandas
数据挖掘算法：聚类、分类、关联规则、预测等
5. 数据可视化（Visualization）
工具：Tableau、Power BI、ECharts、Superset、FineBI
6. 平台与调度（Data Platform & Orchestration）
大数据平台：Cloudera CDH、Hortonworks HDP、阿里云MaxCompute
调度系统：Airflow、Oozie、DolphinScheduler
五、大数据生态系统核心组件（Hadoop/Spark生态）
| 组件 | 用途 |
|---|---|
| HDFS | 分布式存储 |
| YARN | 资源调度 |
| MapReduce | 批处理框架 |
| Hive | SQL风格的查询引擎 |
| HBase | NoSQL数据库 |
| Spark | 内存计算框架，支持批处理、流处理、机器学习 |
| Kafka | 高吞吐消息队列，用于数据流转 |
| Flume | 日志数据采集 |
| Zookeeper | 分布式协调服务 |
六、大数据与人工智能的关系
大数据是 AI的燃料，AI是 大数据的大脑
AI依赖于大数据提供的训练样本，深度学习效果常常“靠数据堆出来”
常见交叉应用：精准推荐、智能预测、图像识别、自然语言处理等
七、大数据安全与隐私保护
| 内容 | 举例 |
|---|---|
| 数据加密 | 传输层TLS、数据库加密 |
| 数据脱敏 | 隐去身份证号、电话等敏感字段 |
| 权限管理 | 基于角色的访问控制（RBAC） |
| 法规遵循 | GDPR、网络安全法、数据出境合规 |
八、大数据与云计算、物联网的关系
云计算：提供大数据计算和存储能力的基础设施
物联网（IoT）：产生海量传感器数据，是大数据的重要来源
边缘计算：解决大数据实时性问题，把部分计算前置到本地
云计算
一、什么是云计算？
云计算（Cloud Computing）是一种基于互联网的资源共享和按需分配的计算服务模式，用户可以像用水电一样，按需获取计算、存储、网络、软件等IT资源，而不需自行购买和管理硬件设备。
二、云计算的核心特征（5大特点）
| 特征 | 说明 |
|---|---|
| 按需自助服务 | 用户根据需要动态申请资源 |
| 广泛的网络访问 | 可通过互联网随时随地访问 |
| 资源池化 | 多用户共享资源，支持虚拟化和弹性调度 |
| 快速弹性扩展 | 支持资源的快速伸缩 |
| 计量计费 | 按实际使用量计费（如按小时、按秒） |
三、云计算服务模式（SPI三层模型）
| 模式 | 全称 | 说明 | 示例 |
|---|---|---|---|
| IaaS | Infrastructure as a Service，基础设施即服务 | 提供基础设施资源，如虚拟机、存储、网络等 | AWS EC2、阿里云 ECS、Azure VM |
| PaaS | Platform as a Service，平台即服务 | 提供应用开发和部署平台，开发者无需管底层系统 | Heroku、Google App Engine、阿里云函数计算 |
| SaaS | Software as a Service，软件即服务 | 提供直接可用的软件服务，用户通过浏览器访问 | Office 365、Google Docs、钉钉、企业微信 |
四、云计算的部署模式
| 模式 | 说明 | 应用场景 |
|---|---|---|
| 公有云 | 云资源由云服务商拥有，向公众开放 | 阿里云、腾讯云、AWS |
| 私有云 | 企业内部自建或托管，资源仅本组织使用 | 金融、政府机构 |
| 混合云 | 公有云 + 私有云组合使用 | 数据敏感部分放私有云，其他放公有云 |
| 多云（Multi-Cloud） | 同时使用多个云服务商资源 | 降低单点依赖风险 |
五、云计算核心技术
| 技术类别 | 技术内容 |
|---|---|
| 虚拟化 | 服务器虚拟化（如KVM）、存储虚拟化、网络虚拟化 |
| 容器化 | Docker、Kubernetes（K8s）实现轻量部署与调度 |
| 分布式存储 | HDFS、Ceph、对象存储（OSS、S3） |
| 分布式计算 | Hadoop、Spark、Flink |
| 自动化运维 | Ansible、Terraform、DevOps流程 |
| 云安全技术 | 防火墙、入侵检测、加密、访问控制（IAM） |
六、主流云服务商及平台
| 云厂商 | 主要产品 |
|---|---|
| Amazon AWS | EC2、S3、Lambda、RDS、CloudWatch |
| Microsoft Azure | VM、Blob Storage、Azure Functions、SQL Azure |
| Google Cloud (GCP) | Compute Engine、BigQuery、GKE |
| 阿里云 | ECS、OSS、函数计算、DataWorks |
| 腾讯云 | CVM、COS、Serverless、TDSQL |
| 华为云 | BMS、OBS、ROMA、GaussDB |
七、云计算与相关技术的关系
| 技术 | 与云计算的关系 |
|---|---|
| 大数据 | 云平台提供分布式计算与存储能力 |
| 人工智能（AI） | 提供AI训练与推理所需算力 |
| 物联网（IoT） | IoT设备接入云平台，进行数据采集与处理 |
| 边缘计算 | 将部分计算下沉到用户附近，降低延迟 |
| 区块链 | 在云上搭建链服务平台，如BaaS（区块链即服务） |
人工智能
一、什么是人工智能？
**人工智能（AI）**是指模拟、延伸和扩展人类智能的技术，使机器具备“感知、认知、决策与学习”的能力。
一句话概括：让机器“像人一样”思考与行动。
二、人工智能的核心领域
| 领域 | 内容 |
|---|---|
| 机器学习（ML） | 让计算机自动学习数据规律，如监督学习、无监督学习、强化学习 |
| 深度学习（DL） | 使用神经网络模拟人脑处理模式，擅长图像、语音、文本处理 |
| 计算机视觉（CV） | 图像识别、目标检测、人脸识别、自动驾驶视觉 |
| 自然语言处理（NLP） | 语言理解、文本生成、机器翻译、对话系统 |
| 知识表示与推理 | 知识图谱、专家系统、逻辑推理 |
| 智能控制 | 机器人运动控制、路径规划 |
| 强化学习（RL） | 智能体通过与环境交互来学习策略（如AlphaGo） |
三、人工智能常用技术
| 技术类别 | 技术示例 |
|---|---|
| 算法与模型 | 决策树、SVM、KNN、神经网络、CNN、RNN、Transformer |
| 模型训练方法 | 监督学习、无监督学习、半监督学习、强化学习 |
| 优化方法 | 梯度下降、动量法、Adam优化器 |
| 特征工程 | 特征提取、降维（PCA）、归一化、编码 |
| 评估指标 | 准确率、精确率、召回率、F1值、AUC |
四、人工智能的伦理与挑战
| 方面 | 问题 |
|---|---|
| 算法歧视 | 模型存在性别、种族、地域等偏见 |
| 隐私泄露 | 训练数据中包含个人隐私信息 |
| 可解释性差 | 黑盒模型难以理解与解释 |
| 安全风险 | 对抗样本攻击、AI武器化 |
| 监管缺失 | 法律法规和技术标准滞后 |
移动互联
一、什么是移动互联？
**移动互联（Mobile Internet）**是指借助移动通信网络（如 3G/4G/5G/Wi-Fi）和智能终端（如手机、平板、可穿戴设备等）实现的互联网访问与服务方式。
一句话总结：用手机等移动设备随时随地上网和使用各种互联网服务。
二、移动互联的基本组成
| 组成部分 | 说明 |
|---|---|
| 终端设备 | 手机、平板、智能手表、可穿戴设备、车载设备等 |
| 网络通信 | 3G、4G、5G、Wi-Fi、蓝牙、NFC 等无线通信技术 |
| 云端服务器 | 提供数据存储、处理、服务支持 |
| 应用系统 | 各类 App、Web App、微信公众号、小程序等 |
三、主要技术基础
| 技术方向 | 具体内容 |
|---|---|
| 无线通信技术 | GSM、CDMA、LTE（4G）、NR（5G） |
| 终端系统平台 | Android、iOS、HarmonyOS（鸿蒙） |
| 网络协议 | TCP/IP、HTTP、HTTPS、WebSocket |
| 移动开发语言 | Java/Kotlin（Android）、Swift/Objective-C（iOS）、Dart（Flutter） |
| 云服务与边缘计算 | 实现后端支持与本地计算协同 |
| 位置服务（LBS） | GPS、基站定位、Wi-Fi定位 |
| 人机交互 | 多点触控、语音识别、人脸识别等 |
四、移动应用类型
| 类型 | 示例 |
|---|---|
| 原生应用（Native App） | 微信、支付宝、淘宝 |
| Web App | H5 页面、手机浏览器网页 |
| 混合应用（Hybrid App） | 使用 Web + 原生混合开发，如 Cordova |
| 小程序 | 微信小程序、支付宝小程序、抖音小程序 |
五、移动互联的主要特点（6C）
| 特点英文 | 中文释义 | 说明 |
|---|---|---|
| Convenience | 便利性 | 随时随地访问服务 |
| Connection | 连接性 | 终端与网络始终保持连接 |
| Cloud | 云计算 | 云端提供计算与存储能力 |
| Content | 内容为王 | 短视频、新闻、直播、游戏等 |
| Context | 场景感知 | 基于位置、时间、用户行为推荐服务 |
| Customization | 个性化 | 推荐系统驱动的千人千面体验 |
互联网+
一、什么是“互联网+”？
“互联网+” 是指将 互联网技术 与 传统行业 深度融合，推动经济转型升级、创新商业模式、提升效率和用户体验的战略和实践。
🔹 定义来源：
2015年《政府工作报告》首次提出“互联网+”行动计划。
它不是简单的“+互联网”，而是 用互联网思维重构产业链与价值链。
互联网+(Internet+)：互联网+各个传统行业
六大特征：跨界融合、创新驱动、重塑结构、尊重人性、开放生态、连接一切
1. 作用
互联网+行动可以助推传统产业的转型升级
传统制造业企业采用移动互联网、云计算、大数据、物联网等信息通信技术，改造原有产品及研发生产方式
互联网+各个传统行业
提升制造业数字化、网络化、智能化水平
2.重点
智能制造
大规模个性化定制
网络化协调制造
服务型制造
3.发展
工业互联网通过系统构建网络、平台、安全三大功能体系，打造人、机、物全面互联的新型网络基础设施，形成智能化发展的新兴业态和应用模式
典型硬件技术基础
| 对比维度 | ARM | GPU | FPGA |
|---|---|---|---|
| 架构类型 | 基于 精简指令集架构（RISC） 的处理器架构（通用处理器） | 多核并行架构，原本是为了 图形图像处理 而设计的处理器，现在已经广泛用于 通用并行计算（GPGPU） | 可重构逻辑电路（定制硬件），可编程逻辑门阵列，其硬件逻辑可以在使用者手中根据需要重新配置 |
| 功耗 | 低 | 中等偏高 | 低至中 |
| 并行处理能力 | 一般 | 极强 | 强（可高度并行） |
| 可编程性 | 固定指令集 | 固定结构+软件编程 | 完全硬件可编程 |
| 适合场景 | 移动设备、嵌入式系统 | AI训练、图像处理、科学计算 | 实时控制、专用硬件加速、低延迟任务 |
| 编程语言 | C/C++、汇编 | CUDA/OpenCL、Python | Verilog、VHDL、HLS |
| 上手难度 | 简单 | 中等（熟悉并行模型） | 高（需要数字逻辑知识） |