mac mlx大模型框架的安装和使用

发布于:2025-07-19 ⋅ 阅读:(15) ⋅ 点赞:(0)

mlx是apple平台的大模型推理框架,对mac m1系列处理器支持较好。

这里记录mlx安装和运行示例。

1 安装mlx框架

conda create -n mlx python=3.12

conda activate mlx

pip install mlx-lm

2 运行mlx测试例

以下是测试程序,使用方法和hf、vllm等推理框架基本一致。

import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"

import mlx_lm

model_id="mlx-community/Qwen2.5-Coder-7B-Instruct-4bit"

model, tokenizer = mlx_lm.load(model_id)
stream_generate = mlx_lm.stream_generate

messages = [
    {"role": "system", "content": "你是一个科学家型的AI助手。"},
    {"role": "user", "content": "您好!"},
    {"role": "assistant", "content": "你好!有什么我可以帮助你的吗?"},
    {"role": "user", "content": "你能解释一下牛顿第一定律吗,包括公式原来,参数解释等。"}
]

prompt_ids = tokenizer.apply_chat_template(messages)
output_tokens = 0
text = ""

for response in stream_generate(model, tokenizer, prompt=prompt_ids):
    output_tokens += 1
    text += response.text

print(f"\nmlx output: {text}")

mlx output: <|im_start|>牛顿第一定律,也被称为惯性定律,是经典力学中的一个基本定律。它表明,如果一个物体不受外力作用,或者受到的外力相互抵消,那么这个物体将保持其静止状态或者匀速直线运动状态。

公式:F合=0

参数解释:
F合:表示物体受到的合力,单位为牛顿(N)。
0:表示合力为零,即物体不受外力作用或者受到的外力相互抵消。

牛顿第一定律的物理意义:
牛顿第一定律告诉我们,物体的运动状态不会因为没有外力作用而改变。如果物体处于静止状态,它会一直保持静止;如果物体处于匀速直线运动状态,它会一直保持匀速直线运动。这个定律揭示了物体的惯性性质,即物体具有保持其运动状态的倾向。

牛顿第一定律的应用:
牛顿第一定律在日常生活和工程中有很多应用。例如,当我们推一个物体时,如果物体开始移动,我们需要继续施加力以保持其运动状态。如果没有外力作用,物体最终会停下来。此外,牛顿第一定律也解释了为什么我们在汽车急刹车时会向前倾,因为...

reference

---

smolagents - 如何在mac用agents做简单算术题

https://blog.csdn.net/liliang199/article/details/149281317


网站公告

今日签到

点亮在社区的每一天
去签到