XFile 系统架构设计文档

XFile 系统架构设计文档

1. 系统概述

XFile 是一个高性能、安全的分布式文件存储系统，采用模块化设计，支持文件加密、分块存储、高效索引和网络传输等功能。系统设计注重安全性、可扩展性和性能优化，适用于各种文件存储和共享场景。

1.1 系统架构图

1.2 核心特性

• 安全性：支持 XH16 和 AES 双模式加密
• 高性能：分块存储与并行处理
• 可扩展：模块化设计，支持水平扩展
• 高可用：冗余存储与故障恢复
• 易用性：简洁的 API 与客户端工具

2. 核心模块设计

2.1 加密模块 (XH16Crypto)

XH16 是一个轻量级加密模块，基于 XOR 运算和自定义填充算法，提供高效的数据加密和解密功能。

2.1.1 模块结构

2.1.2 加密流程

2.1.3 关键算法

• 密钥生成：随机生成 16 字节密钥
• 数据填充：使用 0xFF 填充到 16 字节的倍数
• XOR 加密：数据与密钥进行 XOR 运算
• HEX 压缩：识别重复模式并使用 (n)[pattern] 格式压缩

2.2 存储引擎

存储引擎负责文件的物理存储管理，采用分块存储策略，提高大文件处理效率和空间利用率。

2.2.1 存储结构

2.2.2 存储层次

2.2.3 块管理策略

• 动态分配：根据文件大小动态分配块
• 空闲块复用：维护 FreeBlockList 提高空间利用率
• 并发控制：使用 WorkMtx 保证并发安全

2.3 IO 模块 (XIO)

XIO 模块提供高效的文件读写操作，支持随机访问、分段读写和原子操作。

2.3.1 模块结构

2.3.2 关键功能

• 文件打开模式：支持追加、覆盖和只读模式
• 随机插入：在指定位置插入数据而不影响其他内容
• 批量读取：支持按行读取和整体读取两种模式

2.4 网络模块 (XSocks)

XSocks 模块处理网络通信，支持加密传输、分片传输和断点续传。

2.4.1 模块结构

2.4.2 通信流程

2.4.3 分片传输

对于大文件传输，系统采用分片机制：

3. 数据模型

3.1 文件元数据

type FileData struct {
    ID         int    // 文件唯一ID
    Name       string // 文件名
    Size       string // 文件大小
    MD5        string // MD5校验和
    XDate      string // 创建/修改日期
    UUID       string // 唯一标识符
    XPath      string // 虚拟路径
    SrcPath    string // 源路径
    SrcDate    string // 源文件日期
    IndexPath  string // 索引路径
    FileType   string // 文件类型
    XH16Key    string // 加密密钥
    AuthUser   string // 所属用户
    FileCXType int    // 文件类型标识
}

3.2 存储结构

type Bucket_Info struct {
    CurIndex      int // 当前索引
    MaxIndex      int // 最大索引
    FreeBucketNum int // 空闲桶数量
    UsedBucketNum int // 已用桶数量
    FreeBlockNum  int // 空闲块数量
}

type Bucket struct {
    BucketName    string       // 存储桶名称
    BlockDataSize int          // 块大小
    BlockCount    int          // 块数量
    UsedBlockNum  int          // 已使用块数量
    Timestamp     int64        // 时间戳
    FreeBlockList []int        // 空闲块列表
    IsWork        bool         // 工作状态
    WorkMtx       *sync.Mutex  // 互斥锁
    BlockData     map[int]*Block // 块数据
}

type Block struct {
    BlockIndex    int    // 块索引
    BlockIsUse    int    // 使用状态
    BlockDataSize int    // 块大小
    Timestamp     int64  // 时间戳
    BlockData     []byte // 块数据
}

3.3 用户认证

type AUser struct {
    User       string // 用户名
    VerifyPwd  string // 验证密码
    Auth       int    // 权限级别
    LoginDate  string // 登录日期
    Status     int    // 状态
    CreateDate string // 创建日期
    XH16Key    string // 加密密钥
}

3.4 网络传输

type Server2C_File struct {
    Type         string   // 消息类型
    Data         string   // 文本数据
    BinData      []byte   // 二进制数据
    FileData     FileData // 文件元数据
    Code         int      // 状态码
    Msg          string   // 消息
    Flag         int      // 分片标志
    RootXpathNet string   // 根路径
}

type ShareData struct {
    XPath_dst     string         // 目标路径
    XPath_net_src string         // 源网络路径
    FileData      *FileData      // 文件元数据
    DataMap       map[int][]byte // 数据映射
    ChunkCount    int            // 分片数量
    IsSaving      bool           // 保存状态
}

4. 关键流程

4.1 文件上传流程

4.2 文件下载流程

4.3 文件共享流程

5. 性能优化

5.1 内存管理

• 固定缓冲池：使用预分配的大缓冲区(1MB)减少内存分配
• 零拷贝：在可能的情况下使用零拷贝技术
• 内存复用：重用已分配的内存块减少GC压力

5.2 并发控制

• 细粒度锁：每个Bucket使用独立的互斥锁
• 无锁读取：读操作尽可能不加锁
• 原子操作：使用原子操作代替锁

5.3 IO优化

• 批量操作：合并小IO为大块IO
• 预读取：智能预读取可能需要的数据块
• 异步写入：非关键路径使用异步写入

5.4 网络优化

• 连接池：复用网络连接
• 压缩传输：对文本数据进行压缩
• 分片传输：大文件分片传输，支持断点续传

6. 安全设计

6.1 加密策略

• 传输加密：支持AES和XH16两种加密模式
• 存储加密：文件块存储前加密
• 密钥管理：每个用户/文件使用独立密钥

6.2 认证与授权

• 多因素认证：支持密码+令牌双重认证
• 细粒度权限：文件级别的读/写/共享权限控制
• 会话管理：安全的会话创建和过期机制

6.3 安全审计

• 操作日志：记录所有关键操作
• 异常检测：监控并报告异常访问模式
• 完整性校验：定期验证文件完整性

7. 扩展路线图

7.1 近期计划

1. 压缩算法优化：集成Zstandard压缩算法
2. 分布式索引：实现分布式元数据索引
3. 客户端SDK：开发多语言客户端SDK

7.2 中期计划

1. WebDAV支持：实现WebDAV协议兼容
2. 版本控制：添加文件版本控制功能
3. 智能缓存：基于访问模式的智能缓存

7.3 长期计划

1. 多集群同步：跨数据中心的数据同步
2. AI内容分析：集成AI进行内容分析和标记
3. 区块链集成：使用区块链技术增强数据可信度

8. 部署架构

8.1 单机部署

8.2 集群部署

8.3 云原生部署

9. 监控与运维

9.1 监控指标

• 系统指标：CPU、内存、磁盘使用率
• 应用指标：请求延迟、吞吐量、错误率
• 业务指标：活跃用户数、文件操作次数、存储使用量

9.2 日志管理

• 结构化日志：使用统一的日志格式
• 分级日志：按严重程度分级
• 集中式日志：日志集中存储和分析

9.3 告警策略

• 阈值告警：基于关键指标设置阈值
• 异常检测：基于历史数据的异常检测
• 多渠道通知：支持邮件、短信、即时消息等多种通知方式

10. 核心模块实现细节

10.1 主程序入口

package main

import (
	"flag"
	"fmt"

	"xfile.v1/lib"
	"xfile.v1/lib/data/cli"
	"xfile.v1/lib/net/share_http"
	"xfile.v1/lib/utils"
	"xfile.v1/lib/xauth"
	"xfile.v1/xtype1"
	"xfile.v1/xutils/xlog"
	"xfile.v1/xutils/xyaml"
)

func init() {
	flag.StringVar(&xtype1.CMD1.ConfigPath, "c", "./config/sys.yaml", "配置文件路径")
	flag.BoolVar(&xtype1.CMD1.RunFlag, "run", false, "执行主函数")
	flag.StringVar(&xtype1.CMD1.ClearDB, "cls", "", "清除数据库, 重置功能, 不清除账户")
	flag.BoolVar(&xtype1.CMD1.ClearDB_ALL, "ca", false, "清除账户, 需要-cls")
	flag.BoolVar(&xtype1.CMD1.Version, "v", false, "查看版本")
	flag.Parse()
}

10.2 XH16加密模块

package xh16crypto

import (
	"encoding/hex"
	"fmt"
	"math/rand"
	"strconv"
	"strings"
	"time"

	"xfile.v1/xutils/xcore/xerr"
)

const BlockSize = 16

// XH16Cipher 用于封装加密、解密的逻辑
type XH16Cipher struct {
	Key string
}

// NewXH16Cipher 创建一个新的 XH16Cipher 实例
func NewXH16Cipher() *XH16Cipher {
	return &XH16Cipher{
		Key: XH16_GenerateKey(),
	}
}

// 随机生成16位密钥
func XH16_GenerateKey() string {
	const charset = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789"
	r := rand.New(rand.NewSource(time.Now().UnixNano()))
	key := make([]byte, BlockSize)
	for i := range key {
		key[i] = charset[r.Intn(len(charset))]
	}
	return string(key)
}

10.3 文件IO模块

package xio

import (
	"bufio"
	"io"
	"os"
	"sync"

	"xfile.v1/xutils/xcore/xerr"
)

// Xfile 封装文件操作
type Xfile struct {
	filename string
	File     *os.File
	mtx      *sync.Mutex
	m_add    bool
	m_cls    bool
}

// InsertAtOffset 在文件指定偏移位置插入数据
func (xf *Xfile) InsertAtOffset(offset int64, data []byte) *xerr.Xerror {
	if xf.mtx != nil {
		xf.mtx.Lock()
		defer xf.mtx.Unlock()
	}
	if xf.File == nil {
		return xerr.ZXerr("[Xio][InsertAtOffset][File not opened]")
	}
	// 获取文件原始大小
	fileInfo, err := xf.File.Stat()
	if err != nil {
		return xerr.NewXerr(err, "[Xio][InsertAtOffset][Stat]%v", err)
	}
	fileSize := fileInfo.Size()

	// 读取offset之后的所有数据
	tailData := make([]byte, fileSize-offset)
	_, err = xf.File.ReadAt(tailData, offset)
	if err != nil {
		return xerr.NewXerr(err, "[Xio][InsertAtOffset][ReadAt]%v", err)
	}

	// 写入新数据
	_, err = xf.File.WriteAt(data, offset)
	if err != nil {
		return xerr.NewXerr(err, "[Xio][InsertAtOffset][WriteAt]{1}%v", err)
	}

	// 写入原始尾部数据
	_, err = xf.File.WriteAt(tailData, offset+int64(len(data)))
	if err != nil {
		return xerr.NewXerr(err, "[Xio][InsertAtOffset][WriteAt]{2}%v", err)
	}

	return nil
}

11. 测试与验证方案

11.1 单元测试

func TestXH16Encryption(t *testing.T) {
	cipher := NewXH16Cipher()
	original := "Hello,World你好"
	encrypted := cipher.Encrypt(original, true)
	decrypted, err := cipher.Decrypt(encrypted)
	if err != nil {
		t.Fatal(err)
	}
	if decrypted != original {
		t.Fatalf("解密失败: 期望 %q, 得到 %q", original, decrypted)
	}
}

11.2 性能测试

func BenchmarkXH16Encrypt(b *testing.B) {
	cipher := NewXH16Cipher()
	data := make([]byte, 1<<20) // 1MB数据
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		cipher.Encrypt(string(data), false)
	}
}

12. 部署与运维指南

12.1 系统要求

• 硬件：
  • 最小配置：4核CPU/8GB内存/100GB SSD
  • 推荐配置：8核CPU/32GB内存/1TB NVMe SSD
• 软件：
  • 操作系统：Linux Kernel 5.4+
  • 运行时：Go 1.18+

12.2 监控指标

13. 总结

XFile系统采用模块化设计，通过分块存储、加密传输和高效索引等技术，实现了安全、高效、可扩展的文件存储解决方案。系统架构既支持单机部署，也支持集群和云原生环境，能够满足不同规模和场景的需求。

未来将继续优化性能、增强安全性，并扩展更多功能，使XFile成为功能全面、性能卓越的分布式文件存储系统。