【可能是全网最丝滑的LangChain教程】八、LangChain进阶之LLM

发布于：2024-05-07 ⋅ 阅读:(24) ⋅ 点赞:(0)

 系列文章地址

01 Model介绍

任何语言模型应用程序的核心元素都是...模型（Model）。LangChain 提供了与任何语言模型进行交互的构建块（building blocks）。

LangChain 的 Model I/O 组件包括：两种不同类型的模型 - LLM 和 Chat model；格式化模型输入 Prompt；输出解析器 Output parser。

图片

本文将重点介绍：Model I/O子组件--->LLM

02 LLM介绍

LangChain中的LLM是指纯文本完成模型（text completion models.）。这些模型通常都是接收一个字符串输入并返回一个字符串输出。

大型语言模型 （LLM） 是 LangChain 的核心组件。LangChain没有自己的LLM，而是提供了一个标准接口，用于与许多不同的LLM进行交互。

一句话解释：使用纯文本作为输入和输出的语言模型的接口。

LLM 类旨在为所有这些模型提供标准接口，比如国外的模型：OpenAI、Cohere、Hugging Face等，国内的模型：通义千问、百川、ChatGLM等等。

我们可以看下LangChain中目前已经支持的大语言模型有哪些，我格式化打印了下直接子类和间接子类，细分下来已经支持模型总共有100多个。这里可以狂呼666...

class BaseLLM
  class LLM
    class FakeListLLM
      class FakeStreamingListLLM
    class CustomLLM
    class CustomLLM
    class Anthropic
    class Banana
    class CerebriumAI
    class Cohere
    class ForefrontAI
    class GooseAI
    class Modal
    class Petals
    class PipelineAI
    class StochasticAI
    class Writer
    class HuggingFaceHub
    class SagemakerEndpoint
    class LlamaCpp
    class HuggingFaceTextGenInference
    class AI21
    class AlephAlpha
    class AmazonAPIGateway
    class Arcee
    class Aviary
    class BaichuanLLM
    class Baseten
    class Beam
    class Bedrock
    class CTransformers
    class ChatGLM
    class Clarifai
    class Databricks
    class DeepInfra
    class DeepSparse
    class EdenAI
    class FakeListLLM
      class FakeStreamingListLLM
    class Friendli
    class GPT4All
    class HuggingFaceEndpoint
    class HumanInputLLM
    class IpexLLM
    class JavelinAIGateway
    class KoboldApiLLM
    class Konko
    class Llamafile
    class ManifestWrapper
    class Minimax
    class Mlflow
    class MlflowAIGateway
    class MosaicML
    class NIBittensorLLM
    class NLPCloud
    class Nebula
    class OCIGenAI
    class OCIModelDeploymentLLM
      class OCIModelDeploymentTGI
      class OCIModelDeploymentVLLM
    class OctoAIEndpoint
    class OpaquePrompts
    class OpenLLM
    class PaiEasEndpoint
    class Predibase
    class PredictionGuard
    class QianfanLLMEndpoint
    class RWKV
    class Replicate
    class SelfHostedPipeline
      class SelfHostedHuggingFaceLLM
      class SelfHostedEmbeddings
        class SelfHostedHuggingFaceEmbeddings
          class SelfHostedHuggingFaceInstructEmbeddings
    class SparkLLM
    class TextGen
    class TitanTakeoff
    class TitanTakeoffPro
    class Together
    class VolcEngineMaasLLM
    class Xinference
    class YandexGPT
    class Yuan2
  class BaseOpenAI
    class OpenAI
    class AzureOpenAI
  class BaseOpenAI
    class OpenAI
      class PromptLayerOpenAI
    class AzureOpenAI
    class Anyscale
    class OpenLM
    class VLLMOpenAI
  class OpenAIChat
    class PromptLayerOpenAIChat
  class GradientLLM
  class HuggingFacePipeline
  class Aphrodite
  class AzureMLOnlineEndpoint
  class CTranslate2
  class Fireworks
  class GigaChat
  class GooglePalm
  class Ollama
  class Tongyi
  class VLLM
  class VertexAI
  class VertexAIModelGarden
  class WatsonxLLM

03 LLM案例实操

1 准备好LLM和输入

LLM的输入是纯文本，所以这里创建起来也很方便。

from langchain_openai import OpenAI

# 问号部分自己填自己的，verbose设置成True用于打印一些中间过程日志
llm = OpenAI(temperature=?, model_name=?, openai_api_key=?,verbose=True)
text = "我想创办一家公司，主要承接相亲业务，请帮我想一个公司名称。"

2 invoke执行

一次性全部输出纯文本结果。

llm.invoke(text)
# >> 当然可以，考虑到您的业务性质，我建议的公司名称可以是“红线牵缘”或者“心桥相会”。这两个名字都寓意着帮助人们建立感情的桥梁，符合相亲业务的主题。希望您会喜欢。

3 stream执行

流式输出，下一次输出不包括上一次的输出，结果与invoke一致。

for chunk in llm.stream(
    "我想创办一家公司，主要承接相亲业务，请帮我想一个公司名称。"
):
    print(chunk, end="", flush=True)

4 batch执行

顾名思义，批量执行多个文本输入，在一次性输出每个输入对应的结果。

llm.batch(
    [
        "我想创办一家公司，主要承接相亲业务，请帮我想一个公司名称。"
    ]
)
# >> [' 当然可以，考虑到您的业务性质，我建议的公司名称可以是“红线牵缘”或者“心桥相会”。这两个名字都寓意着帮助人们建立感情的桥梁，符合相亲业务的主题。希望您会喜欢。 ']

5 astream_log执行

异步执行，并且下一次输出包含上一次的输出累加，结果与invoke一致。。

async for chunk in llm.astream_log(
    "我想创办一家公司，主要承接相亲业务，请帮我想一个公司名称。"
):
    print(chunk)

04 自定义LLM

既然LangChain提供了LLM执行的标准接口，必然我们也可以自定义自己的LLM执行逻辑。

自定义LLM只需要实现两个必需的方法：

  • _call：根据用户输入，执行具体逻辑，然后返回输出

  • _llm_type：获取此聊天模型使用的语言模型的类型。仅用于日志记录。

让我们自定义一个自己的LLM，执行逻辑是：在用户输入的文本前加上“oh，我的天哪~”。比如用户输入“你好呀！”，模型输出“oh，我的天哪~你好呀！”; 用户输入“你吃饭了吗？”，模型输出“oh，我的天哪~你吃饭了吗？”。

from typing import Any, Dict, Iterator, List, Optional

from langchain_core.callbacks.manager import CallbackManagerForLLMRun
from langchain_core.language_models.llms import LLM
from langchain_core.outputs import GenerationChunk


class CustomLLM(LLM):
    """
    自定义一个LLM，在用户输入的基础上加上前缀：oh，我的天哪~
    """

    def _call(
            self,
            prompt: str,
            stop: Optional[List[str]] = None,
            run_manager: Optional[CallbackManagerForLLMRun] = None,
            **kwargs: Any,
    ) -> str:
        """
        根据用户输入，执行具体逻辑，然后返回输出
        """
        return "oh，我的天哪~" + prompt

    def _stream(
            self,
            prompt: str,
            stop: Optional[List[str]] = None,
            run_manager: Optional[CallbackManagerForLLMRun] = None,
            **kwargs: Any,
    ) -> Iterator[GenerationChunk]:
        """
        根据用户输入，执行具体逻辑，然后流式返回输出
        """
        for char in "oh，我的天哪~" + prompt:
            chunk = GenerationChunk(text=char)
            if run_manager:
                run_manager.on_llm_new_token(chunk.text, chunk=chunk)

            yield chunk

    @property
    def _identifying_params(self) -> Dict[str, Any]:
        """返回模型自定义参数字典"""
        return {
            "model_name": "Custommm",
            "model_version":"1.0.0"
        }

    @property
    def _llm_type(self) -> str:
        """获取此聊天模型使用的语言模型的类型。仅用于日志记录。"""
        return "custom"

使用方式跟其他LLM一样，我们打印一些输入输出看看效果。

llm = CustomLLM()
print(llm)
# CustomLLM
# Params: {'model_name': 'Custommm', 'model_version': '1.0.0'}

llm.invoke("你好呀")
# oh，我的天哪~~你好呀

await llm.ainvoke("你好呀")
# oh，我的天哪~~你好呀

llm.batch(["你好呀", "猪八戒"])
# ['oh，我的天哪~你好呀', 'oh，我的天哪~猪八戒']

await llm.abatch(["你好呀", "孙悟空"])
# ['oh，我的天哪~你好呀', 'oh，我的天哪~孙悟空']

async for token in llm.astream("你好呀"):
    print(token, end="|", flush=True)
# o|h|，|我|的|天|哪|~|你|好|呀

能不能与其他的LangChain组件很好的集成在一起？答案是： 能！

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [("system", "you are a bot"), ("human", "{input}")]


llm = CustomLLM()
chain = prompt | llm
idx = 0
async for event in chain.astream_events({"input": "你好呀!"}, version="v1"):
    print(event)

# 输出很多的Event，由于输出太多，这里省略输出，大家可以自行验证。

05 LLM缓存

LangChain为LLM提供了一个可选的缓存层。这之所以有用，有两个原因：

  1. 如果经常多次请求相同的输入，它可以通过减少对LLM提供者的API调用次数来节省资金。

  2. 它可以通过减少对LLM提供程序的API调用次数来加快应用程序的速度。

注意看下面程序的执行时间对比！！！

from langchain.globals import set_llm_cache
from langchain_openai import OpenAI
from langchain.cache import InMemoryCache

llm = OpenAI(xxxxx)
# 输出一下程序执行时间
%%time
# 设置内存缓存
set_llm_cache(InMemoryCache())
llm.invoke("请讲一个关于乌龟的冷笑话。")

# CPU times: total: 0 ns
# Wall time: 965 ms
# 为什么乌龟总是带着头盔？ 因为它想成为一只安全的慢行者！

# 再次执行
%%time
llm.invoke("请讲一个关于乌龟的冷笑话。")

# CPU times: total: 0 ns
# Wall time: 1.01 ms
# 为什么乌龟总是带着头盔？ 因为它想成为一只安全的慢行者！

这里设置了“内存缓存”，你说：我不想用内存缓存怎么办？LangChain：嗯！可以不用内存缓存，还有这些缓存你可以使用。

class BaseCache
  class InMemoryCache
  class SQLAlchemyCache
    class SQLiteCache
  class UpstashRedisCache
  class _RedisCacheBase
    class RedisCache
    class AsyncRedisCache
  class RedisSemanticCache
  class GPTCache
  class MomentoCache
  class CassandraCache
  class CassandraSemanticCache
  class SQLAlchemyMd5Cache
  class AstraDBCache
  class AstraDBSemanticCache
  class AzureCosmosDBSemanticCache

06 跟踪token使用情况

token是什么？token是模型的输入与输出的容量，每次token的生成都需要耗费资源，这也是为什么模型的token是有限制的，OpenAI甚至按照token使用来收费。所以跟踪token的使用情况也是大模型开发中重要的一环。

很遗憾，目前LangChain仅支持OpenAI的token使用记录与计算，所以这里用一个简单的示例展示下效果。这里不能自定义啊，大家别上来就自定义~

from langchain_community.callbacks import get_openai_callback
from langchain_openai import OpenAI

llm = OpenAI(xxxxxx)
with get_openai_callback() as cb:
    result = llm.invoke("Tell me a joke")
    print(cb)

# Tokens Used: 37
#     Prompt Tokens: 4
#     Completion Tokens: 33
# Successful Requests: 1
# Total Cost (USD): $7.2e-05

07 总结

这里LangChain进阶系列的第一篇文章，主要对Model I/O中的LLM组件进行详细解析，从基础使用，到流式输出，再到自定义LLM，再到LLM缓存，最后加上一个仅适用于LLM的小知识（token使用跟踪）。希望这篇文章能帮助到已经看完的你，人工智能时代你我都不想太掉队~

以上内容依据官方文档编写，官方地址：

如果还不知道LangChain是什么，如何用的小伙伴们，可以看下我之前的总共7篇文章。

大家要是随便关注下公众号，那就太好了。

image.png

Love & Peace~

网站公告

今日签到

点亮在社区的每一天
去签到

热门文章

最新发布