一、多媒体基础概念
媒体的分类
- 感觉媒体：人类感官直接接收的信息形式（如声音、图像）。
- 表示媒体：信息的数字化表示（如JPEG图像、MP3音频）。
- 显示媒体：输入/输出设备（如键盘、显示器）。
- 存储媒体：数据存储介质（如硬盘、光盘）。
- 传输媒体：数据传输介质（如光纤、电磁波）。
多媒体的定义
通过计算机技术整合文本、图形、音频、视频等多种媒体，建立逻辑连接，实现交互性系统。
应用领域：工业、医疗、教育、娱乐、智能家居等。
二、多媒体的核心特征
| 特征 | 说明 |
|---|---|
| 多维化 | 支持多种媒体类型（如视觉、听觉）的交互与处理。 |
| 集成性 | 硬件设备与软件功能的整合（如音视频同步处理）。 |
| 交互性 | 用户主动控制信息（如游戏中的实时操作）。 |
| 实时性 | 时间敏感型媒体（如直播视频、语音通话）需即时处理。 |
三、多媒体系统组成
- 硬件层
- 输入设备：摄像头、麦克风、扫描仪。
- 输出设备：显示器、扬声器、打印机。
- 存储设备：SSD、光盘、云存储。
- 软件层
- 驱动软件：设备底层控制（如声卡驱动）。
- 操作系统：资源调度（如Windows多媒体服务）。
- 数据处理软件：音视频编辑工具（如Adobe Premiere）。
- 创作工具：多媒体内容生成平台（如Unity）。
四、关键技术详解
1. 视音频技术
- 视频处理：
- 数字化：模拟信号→数字信号（如ADC转换）。
- 编码标准：
- 静态图像：JPEG、JPEG 2000（高压缩比）。
- 动态视频：MPEG系列（MPEG-4支持低带宽传输）。
- 实时通信：H.26L（高容错性，适用于视频会议）。
- 音频处理：
- 语音识别：将语音转为文本（如Siri）。
- 合成技术：文本转语音（TTS）。
2. 数据压缩技术
| 压缩类型 | 原理 | 典型格式 |
|---|---|---|
| 无损压缩 | 保留全部数据（统计冗余消除） | FLAC、WAV（音质优先） |
| 有损压缩 | 舍弃人眼/耳不敏感信息（不可逆） | MP3、WMA（体积小，适合传输） |
3. 通信技术
- 传输介质：光纤（高速）、无线（灵活性高）。
- 数据传输技术：
- 多路复用：频分/时分复用（提升信道利用率）。
- 差错控制：CRC校验（保障数据完整性）。
4. VR/AR技术
| 技术类型 | 特点 | 应用场景 |
|---|---|---|
| 桌面式VR | 低成本，易实现（需外设交互） | 3D建模、模拟训练 |
| 沉浸式VR | 全感官沉浸（头盔、数据手套） | 虚拟旅游、医疗仿真 |
| 增强现实AR | 叠加虚拟信息到现实世界（需空间定位） | 工业维修导航、教育互动 |
关键技术挑战：
- 数据采集优化（如激光扫描动态地形）。
- 实时交互反馈（力觉/触觉手套）。
五、重点考点与典型考题
考点1：多媒体特征
考题：多媒体技术的“实时性”主要针对哪类媒体？举例说明其应用场景。
答案：针对时间敏感型媒体（如直播视频、语音通话），需保证低延迟处理。考点2：压缩技术对比
考题：有损压缩与无损压缩的核心区别是什么？各举一个音频格式例子。
答案：有损压缩舍弃部分信息（如MP3），无损保留全部数据（如FLAC）。考点3：VR/AR分类
考题：AR技术的核心依赖哪些技术？说明其在工业维修中的价值。
答案：依赖计算机图形学、空间定位技术；可叠加维修指引到设备实体，提升效率。
六、总结
多媒体系统的核心在于集成异构媒体并保障实时交互，关键技术涵盖编解码、压缩、传输及新型VR/AR应用。架构师需关注：
- 硬件选型（如支持4K编解码的GPU）。
- 软件栈适配（如选择低延迟通信协议）。
- 平衡质量与性能（有损压缩在传输中的取舍）。