网页表格转换为markdown

网页表格到Markdown：一键转换，复制即用！

在日常工作中，我们经常需要从网页上复制表格数据，并将其转换成Markdown格式，以便在文档、邮件或论坛中使用。然而，手动转换不仅耗时，还容易出错。今天，就为大家带来一款网页表格转Markdown的利器，帮你一键完成转换，轻松应对各种场景！🚀

场景需求

想象一下，你需要从公司内部网站复制一份销售数据表，并将其发送给团队成员。你希望他们能够轻松查看和编辑这份数据，但直接复制粘贴往往格式错乱。这时，如果有一个工具能将表格自动转换为Markdown格式，那该有多好！

解决方案

本文介绍的Python脚本，正是为解决这一问题而生。它利用requests-html库抓取网页内容，并通过自定义函数table_to_markdown将HTML表格转换为Markdown格式。不仅如此，脚本还能处理复杂的单元格合并，确保转换后的表格美观、准确。

核心功能

1. 自动提取链接：脚本会识别并保留表格中的超链接，转换成Markdown格式的链接。
2. 合并单元格支持：即使是跨越多行或多列的单元格，也能正确转换。
3. 异常处理：在提取过程中遇到任何异常，都会友好提示，保证程序的健壮性。

快速上手

安装依赖

确保你已经安装了Python及以下库：

pip install requests-html pyperclip

使用方法

1. 运行脚本，输入目标网页的URL。
2. 脚本会自动抓取网页上的第一个表格。
3. 转换后的Markdown表格将显示在终端，并自动复制到剪贴板。

示例代码

from rich import print  
from rich.progress import track
from rich.console import Console
from rich.logging import RichHandler
import logging
from requests_html import HTMLSession
import pyperclip
from collections import defaultdict
import sys

# 初始化日志
console = Console()
logging.basicConfig(
    level="INFO", format="%(message)s", datefmt="[%X]", handlers=[RichHandler(console=console)]
)
log = logging.getLogger("rich")


def extract_links(element):
    """安全处理链接提取，避免索引越界"""
    if not element.html:
        return ""
    
    # 直接处理元素内容，不依赖body标签
    text_parts = []
    processed_anchors = set()
    
    # 先处理所有<a>标签
    for a in element.find('a'):
        href = a.attrs.get('href', '')
        if href and a.text:
            text_parts.append(f"[{a.text.strip()}]({href})")
            # 标记这个a标签的文本节点已处理
            processed_anchors.add(a.text.strip())
    
    # 添加非链接文本（且未被链接包含的文本）
    full_text = element.text
    for anchor_text in processed_anchors:
        full_text = full_text.replace(anchor_text, '')
    
    if full_text.strip():
        text_parts.insert(0, full_text.strip())
    
    return ' '.join(text_parts).strip()

def table_to_markdown(table):
    """处理合并单元格的表格转换"""
    rows = table.find('tr')
    if not rows:
        return ""

    # 初始化数据结构
    table_grid = []
    rowspan_tracker = defaultdict(dict)  # {row: {col: (content, remaining_span)}}
    max_cols = 0

    for row_idx, row in enumerate(rows):
        cells = row.find('th, td')
        col_idx = 0
        current_row = []

        # 处理活跃的跨行单元格
        while col_idx in rowspan_tracker.get(row_idx, {}):
            content, remaining = rowspan_tracker[row_idx][col_idx]
            current_row.append(content)
            if remaining > 1:
                rowspan_tracker[row_idx + 1][col_idx] = (content, remaining - 1)
            col_idx += 1

        # 处理当前单元格
        for cell in cells:
            # 跳过已填充位置
            while col_idx < len(current_row) and current_row[col_idx] is not None:
                col_idx += 1

            # 解析单元格（处理链接和合并属性）
            content = extract_links(cell)
            colspan = int(cell.attrs.get('colspan', 1))
            rowspan = int(cell.attrs.get('rowspan', 1))

            # 主单元格
            current_row.append(content)
            
            # 列合并处理（复制内容）
            for _ in range(1, colspan):
                current_row.append(content)
            
            # 行合并处理
            if rowspan > 1:
                for r in range(1, rowspan):
                    if row_idx + r not in rowspan_tracker:
                        rowspan_tracker[row_idx + r] = {}
                    rowspan_tracker[row_idx + r][col_idx] = (content, rowspan - r)
            
            col_idx += colspan

        # 填充空白
        current_row = [cell if cell is not None else "" for cell in current_row]
        table_grid.append(current_row)
        max_cols = max(max_cols, len(current_row))

    # 统一列宽
    for row in table_grid:
        row.extend([""] * (max_cols - len(row)))

    # 生成Markdown
    markdown = []
    if table_grid:
        # 表头
        markdown.append("| " + " | ".join(table_grid[0]) + " |")
        markdown.append("| " + " | ".join(["---"] * len(table_grid[0])) + " |")
        
        # 表格内容
        for row in table_grid[1:]:
            markdown.append("| " + " | ".join(row) + " |")

    return "\n".join(markdown)

def get_table_as_markdown(url, table_index=0, timeout=20):
    try:
        session = HTMLSession()
        response = session.get(url)
        response.html.render(timeout=timeout)
        
        tables = response.html.find('table')
        if not tables:
            return "未找到表格"
            
        if table_index >= len(tables):
            return f"表格索引超出范围（共 {len(tables)} 个表格）"
            
        return table_to_markdown(tables[table_index])
        
    except Exception as e:
        return f"错误: {str(e)}"

if __name__ == "__main__":
    url = input("请输入网页URL: ")
    result = get_table_as_markdown(url)
    
    print("\n生成的Markdown表格:\n")
    print(result)
    
    try:
        pyperclip.copy(result)
        print("\n✅ 已复制到剪贴板")
    except:
        print("\n⚠️ 无法复制到剪贴板，请手动复制")

结语

这款脚本不仅能大幅提升你的工作效率，还能确保表格格式的准确性和一致性。无论是日常办公还是学术研究，它都是你不可或缺的好帮手。赶快试试吧，让你的数据处理工作变得简单又高效！🎉