Golang实现简单粗暴的接口去重函数

背景

在某次项目中，我们需要采集所有路径（path），但发现部分接口的参数嵌入在路径中。会导致大量重复采集。为此，提出了一种简单有效的去重代码（较为粗糙）。

代码

package main

import (
	"fmt"
	"regexp"
	"strings"
)

// replaceNumbersWithID 替换路径中的数字、字母加数字组合以及连续的中文字符编码
func replaceNumbersWithID(input string) string {

	// 4. 替换 UUID 格式的字符串
	reUUID := regexp.MustCompile(`[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}`)
	result := reUUID.ReplaceAllString(input, "{:id}")

	// 1. 替换连续的中文字符编码（%开头，后面跟着两个十六进制字符，连续出现）
	reChinese := regexp.MustCompile(`(?:%[0-9A-Fa-f]{2})+`)
	result = reChinese.ReplaceAllString(result, "{:id}")

	// 2. 替换独立的数字
	reDigits := regexp.MustCompile(`\b[0-9]+\b`)
	result = reDigits.ReplaceAllStringFunc(result, func(match string) string {
		// 检查数字前后是否有字母（避免替换类似`abc123`中的`123`）
		if strings.IndexFunc(match, func(r rune) bool { return r >= 'a' && r <= 'z' || r >= 'A' && r <= 'Z' }) != -1 {
			return match // 不进行替换
		}
		return "{:id}"
	})

	// 3. 替换字母加数字组合超过12位的字符串
	reLong := regexp.MustCompile(`\b[a-zA-Z0-9]{13,}\b`)
	result = reLong.ReplaceAllString(result, "{:id}")

	return result
}

func main() {
	// 示例路径
	paths := []string{
		"/api/user/123",
		"/api/product/456/details",
		"/api/order/789",
		"/api/user/profile",
		"/api/data/%E6%88%91%E6%98%AF%E4%B8%80%E4%B8%AA%E6%B5%8B%E8%AF%95%E6%95%B0%E6%8D%AE", // 包含连续的中文字符编码
		"/api/data/abcdefghij1234567890", // 超过12位的字母加数字组合
		"/api/12345678-59a1-1234-97b5-48f6d9a37c5d",
	}

	// 替换路径中的编码
	for _, path := range paths {
		newPath := replaceNumbersWithID(path)
		fmt.Printf("Original: %s -> Replaced: %s\n", path, newPath)
	}
}

运行结果

Original: /api/user/123 -> Replaced: /api/user/{:id}
Original: /api/product/456/details -> Replaced: /api/product/{:id}/details
Original: /api/order/789 -> Replaced: /api/order/{:id}
Original: /api/user/profile -> Replaced: /api/user/profile
Original: /api/data/%E6%88%91%E6%98%AF%E4%B8%80%E4%B8%AA%E6%B5%8B%E8%AF%95%E6%95%B0%E6%8D%AE -> Replaced: /api/data/{:id}
Original: /api/data/abcdefghij1234567890 -> Replaced: /api/data/{:id}
Original: /api/12345678-59a1-1234-97b5-48f6d9a37c5d -> Replaced: /api/{:id}