一个强大且开发者友好的文档解析库，专为RAG（检索增强生成）应用优化。基于Apache Tika、Apache POI和PDFBox等业界标准Java库构建，TorchV Unstructured提供了增强的解析能力，具备智能表格结构识别和内容提取功能。
🚀 核心特性
智能表格解析：先进的表格结构分析，支持复杂单元格合并检测
多格式支持：无缝处理DOC、DOCX、PDF等多种文档格式
RAG优化输出：专为AI/ML管道设计的结构化内容提取
Markdown和HTML导出：灵活的输出格式，保持表格结构完整性
图像提取：自动提取和处理嵌入式图像
内存高效：优化的大文档处理，最小化内存占用
📦 安装
Maven
<dependency> <groupId>com.torchv.infra</groupId> <artifactId>torchv-unstructured</artifactId> <version>1.0.0</version> </dependency>
Gradle
implementation 'com.torchv.infra:torchv-unstructured:1.0.0'
🔧 快速开始
基础文档解析
import com.torchv.infra.unstructured.UnstructuredParser;
// 解析文档为Markdown格式（推荐用于RAG）
String content = UnstructuredParser.toMarkdown("document.docx");
System.out.println(content);
// 解析文档为带HTML表格的Markdown格式（保持表格结构）
String contentWithTables = UnstructuredParser.toMarkdownWithHtmlTables("document.docx");
System.out.println(contentWithTables);
高级表格提取
import com.torchv.infra.unstructured.UnstructuredParser;
import java.io.File;
import java.util.List;
// 仅提取Word文档中的表格
List<String> tables = UnstructuredParser.extractTables("document.docx");
for (int i = 0; i < tables.size(); i++) {
System.out.println("表格 " + (i + 1) + ":");
System.out.println(tables.get(i));
}
// 获取结构化结果，提供更多控制
DocumentResult result = UnstructuredParser.toStructuredResult("document.docx");
if (result.isSuccess()) {
System.out.println("内容: " + result.getContent());
System.out.println("表格: " + result.getTables());
}
文件格式支持
import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.util.UnstructuredUtils;
// 检查文件格式是否支持
if (UnstructuredUtils.isSupportedFormat("document.docx")) {
String content = UnstructuredParser.toMarkdownWithHtmlTables("document.docx");
System.out.println("解析成功！");
} else {
System.out.println("不支持的文件格式");
}
// 获取所有支持的格式
List<String> supportedFormats = UnstructuredUtils.getSupportedFormats();
System.out.println("支持的格式: " + String.join(", ", supportedFormats));
🎯 核心组件
统一入口
UnstructuredParser：主要入口类，为所有文档解析操作提供简单统一的API
文档解析器
UnstructuredWord：通用Word文档解析器，支持自动检测
TikaAutoUtils：支持自动检测的通用文档解析器（底层实现）
WordTableParser：专业的Word文档表格解析器
DocxTableParser：高级DOCX表格结构分析器
内容处理器
ToMarkdownWithHtmlTableContentHandler：将文档转换为带HTML表格的Markdown
DocMarkdownWithHtmlTableContentHandler：专门的DOC格式处理器
DocXMarkdownWithHtmlTableContentHandler：专门的DOCX格式处理器
表格分析
TableStructureAnalyzer：智能表格结构识别
CellMergeAnalyzer：高级单元格合并检测
HtmlTableBuilder：清洁的HTML表格生成器
实用工具
FileMagicUtils：文件类型检测和验证
ImageExtractParse：嵌入式图像提取
🔍 高级用法
RAG应用集成
import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.core.DocumentResult;
// 为RAG应用优化
public class RAGDocumentProcessor {
public DocumentChunk processDocument(String filePath) {
// 解析时保持表格结构以获得更好的上下文
String content = UnstructuredParser.toMarkdownWithHtmlTables(filePath);
// 单独提取表格用于结构化数据处理
List<String> tables = UnstructuredParser.extractTables(filePath);
return new DocumentChunk(content, tables);
}
}
批量处理
import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.util.UnstructuredUtils;
public class BatchProcessor {
public void processBatch(List<String> filePaths) {
filePaths.parallelStream()
.filter(UnstructuredUtils::isSupportedFormat)
.forEach(this::processFile);
}
private void processFile(String filePath) {
try {
String content = UnstructuredParser.toMarkdownWithHtmlTables(filePath);
// 保存或进一步处理内容
saveProcessedContent(filePath, content);
} catch (Exception e) {
log.error("处理文件失败: {}", filePath, e);
}
}
}
错误处理和验证
import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.util.UnstructuredUtils;
public class DocumentValidator {
public ProcessingResult validateAndProcess(String filePath) {
// 检查文件格式
if (!UnstructuredUtils.isSupportedFormat(filePath)) {
return ProcessingResult.unsupportedFormat();
}
try {
String content = UnstructuredParser.toMarkdownWithHtmlTables(filePath);
List<String> tables = UnstructuredParser.extractTables(filePath);
return ProcessingResult.success(content, tables);
} catch (RuntimeException e) {
return ProcessingResult.error(e.getMessage());
}
}
}
🌟 为什么选择TORCHV UNSTRUCTURED？
适用于RAG应用
结构化输出：清洁、结构化的内容提取，完美适配嵌入向量生成
表格保持：维护表格关系，对文档理解至关重要
丰富元数据：提取全面的文档元数据，增强检索效果
适用于开发者
简单API：直观的接口设计，合理的默认配置
可扩展：基于插件的架构，支持自定义内容处理器
生产就绪：经过实战验证，具备全面的错误处理机制
性能优化
内存高效：大文档的流式处理
快速处理：优化算法确保快速解析
可扩展：专为高吞吐量文档处理而设计
📚 文档
🤝 贡献
我们欢迎贡献！请查看我们的贡献指南了解详情。
Fork这个仓库
创建你的功能分支 (
git checkout -b feature/amazing-feature)提交你的更改 (
git commit -m 'Add some amazing feature')推送到分支 (
git push origin feature/amazing-feature)打开一个Pull Request
📄 许可证
本项目基于Apache License 2.0许可证 - 查看LICENSE文件了解详情。
🙏 致谢
Apache Tika - 内容分析工具包
Apache POI - Microsoft文档的Java API
PDFBox - PDF文档操作库