7.2K star!一个完全免费,可以本地部署的 AI 搜索聚合器。新手可尝试

发布于:2024-04-24 ⋅ 阅读:(25) ⋅ 点赞:(0)

原文链接:7.2K star!一个完全免费,可以本地部署的 AI 搜索聚合器。新手可尝试

ChatGPT 刚上线的时候我用的很少,还是习惯用 Google。主要还是因为不信任,怕它对我胡说八道。

慢慢的,也没有一个明确的时间点,就用的越来越多了。特别是涉及到一些技术问题,用它的回答基本上都可以解决。

原来的搜索模式需要我自己去选择看哪个链接,具体的答案也是靠自己筛选,总结。

现在则完全不同,直接就由 AI 总结好了,效率肯定是大大提升。

今天分享一个开源项目,我理解是一个搜索聚合器,包括前后端。后端使用 Python 开发,FastAPI 框架。

项目还是比较活跃的,star 增长也很快。这篇文章拖了两天才发,结果发现又多了 200 个。

项目简介

这个项目是完全免费的,并且可以本地私有部署,无需 GPU。

系统会根据用户提出的问题,到多个搜索引擎去搜索,然后把搜索结果发给 LLM,由 LLM 来生成最终答案。在这里插入图片描述

功能特性:

  • 完全免费
  • 完全本地化,且私有部署
  • 无需 LLM 硬件(GPU)即可运行
  • 使用免费的 ChatGPT3.5 / Qwen / Kimi / ShipuAI(GLM) API(无需 API 密钥)
  • 支持定制 LLM,比如 ollama
  • 使用 Docker Compose 快速部署
  • Web 页面,并且移动端友好,允许从任何设备轻松访问

项目部署

Docker 直接部署:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

这里要注意,项目刚启动的时候,可能会有这个报错:

llm-freegpt35-1       | Error refreshing session ID, retrying in 1 minute...
llm-freegpt35-1       | If this error persists, your country may not be supported yet.
llm-freegpt35-1       | If your country was the issue, please consider using a U.S. VPN.

主要就是网络问题,但是我在 Docker 里面设置了代理,还是没有解决。如果有小伙伴解决了,求指导。

这个问题也就导致了无法使用 ChatGPT3.5,所以后续的测试我都是用 kimi 做的。

项目使用

首页还是很简洁的,首先选择模型,我这里选择的是 kimi。如果用 ChatGPT3.5 的话,无需配置,直接用。在这里插入图片描述

用其他模型,需要配置 token。这里再说一下怎么获取,还是以 kimi 举例。在这里插入图片描述

打开 kimi 官网,然后找到这个 refresh_token 就是我们需要的,添加到设置里。在这里插入图片描述

使用「搜索增强」模式,搜了最近挺火的「秦朗作业本」事件。在这里插入图片描述

上面对话框里就是 LLM 总结的内容,下面是不同搜索引擎返回的内容。包括腾讯,微博和一些其他数据源。在这里插入图片描述

还有一个「AI 对话」模式,就是把使用到的链接都放到对话框里面了。由于现在还不支持连续对话功能,所以区别不是很大。

这个项目刚开始,代码量还不是很大,如果想把它作为 AI 练手项目,是没问题的。

项目地址:https://github.com/nashsu/FreeAskInternet