通过ollama快速本地化部署大模型(mac)

ollama介绍

Ollama 是一个轻量级、可扩展的框架，用于在本地机器上构建和运行语言模型。它提供了用于创建、运行和管理模型的简单 API，以及一个可在各种应用程序中轻松使用的预构建模型库。

官网：https://ollama.com/

mac部署

说明：通过mac部署ollama环境

准备

部署

ollama run qwen3:8b

#查看有什么模型 
ollama list
#删除模型
ollama rm llama3.2
#复制模型
ollama cp llama3.2 my-model
更多请查看：https://github.com/ollama/ollama/blob/main/README.md#quickstart

测试

postman测试

生成接口

http://localhost:11434/api/generate

{

    "model": "qwen3:8b",

    "prompt": "中国有多少人?",

    "stream": false

}

结果

{   "model": "qwen3:8b",   "created_at": "2025-05-26T08:58:04.762808Z",   "response": "<think>\n嗯，用户问中国有多少人，这应该是个常见的问题。首先，我需要确认最新的数据。根据之前的知识，中国的总人口大约在14亿左右，但具体数字可能有变化。比如，2020年第七次人口普查的结果显示，中国总人口为141178万人，也就是大约14.12亿。不过，这个数据可能已经更新了，所以得确认一下最近的统计年份。\n\n然后，用户可能想知道更详细的信息，比如人口增长情况、城乡分布、年龄结构等。但问题比较直接，可能只需要给出总人口数。不过，也有可能用户对数据的来源或统计方法有疑问，比如是否包括港澳台地区，或者是否考虑了出生和死亡率的变化。\n\n另外，考虑到中国的计划生育政策已经放开，甚至全面放开三孩，所以近年来人口增长可能有所变化。比如，2022年的人口数据可能比2020年有所下降，因为出生率下降。这时候需要引用最新的官方数据，比如国家统计局发布的最新人口统计结果。\n\n还有一点需要注意的是，中国的户籍制度可能导致实际常住人口与户籍人口有所不同，但通常提到的总人口是指常住人口。不过，用户可能只是需要一个大致的数字，所以直接给出总人口数即可，同时说明数据来源和时间。\n\n另外，用户可能对人口分布感兴趣，比如东部和西部的人口差异，或者城市和农村的比例，但问题本身没有提到这些，所以可能不需要深入。不过，如果用户后续有相关问题，可能需要准备这些信息。\n\n最后，要确保回答准确，避免过时的数据。比如，如果2023年有新的统计数据，应该引用最新的。如果没有，就使用最近的普查数据，并注明年份。同时，提醒用户数据可能会随时间变化，建议参考最新官方发布。\n</think>\n\n根据中国国家统计局发布的第七次全国人口普查数据（2020年），中国总人口为 **141178万人**（即约 **14.12亿人**）。这是截至2020年11月1日的统计结果。\n\n### 补充说明：\n1. **最新趋势**：  \n   中国近年人口增长放缓，2022年出生人口降至约956万（较2020年减少约100万），老龄化和生育率下降成为主要趋势。\n\n2. **人口分布**：  \n   - **城乡差异**：约5亿人居住在城镇（2020年数据），农村人口约9亿。  \n   - **区域差异**：东部沿海地区人口密度高，西部地区相对稀疏。\n\n3. **数据来源**：  \n   中国人口统计以户籍制度为基础，但实际常住人口可能因流动人口（如农民工）而略有差异。\n\n如需更精确或最新的数据，建议参考国家统计局官网或《中国统计年鉴》。",   "done": true,   "done_reason": "stop",   "context":[     151644,     872,     198,     58695,     106759,     17340,     30,     151645,     198,     151644,     77091,     198,     151667,     198,     106287,     3837,     20002,     56007,     58695,     106759,     17340,     3837,     43288,     99730,     104104,     102716,     86119,     1773,     101140,     3837,     35946,     85106,     81167,     108324,     20074,     1773,     100345,     101056,     107232,     3837,     105538,     59743,     102055,     104995,     18493,     16,     19,     53356,     101081,     3837,     77288,     100398,     82587,     87267,     18830,     100682,     1773,     101912,     3837,     17,     15,     17,     15,     7948,     102893,     32571,     102055,     112879,     105369,     54021,     3837,     58695,     59743,     102055,     17714,     16,     19,     16,     16,     22,     23,     102266,     3837,     102200,     104995,     16,     19,     13,     16,     17,     53356,     1773,     100632,     3837,     99487,     20074,     87267,     99461,     50007,     34187,     3837,     99999,     49828,     81167,     100158,     104044,     9370,     100787,     7948,     69442,     3407,     101889,     3837,     20002,     87267,     109623,     33126,     100700,     105427,     3837,     101912,     102055,     100023,     99559,     5373,     102507,     101450,     5373,     102185,     100166,     49567,     1773,     77288,     86119,     99792,     101041,     3837,     87267,     107525,     107485,     59743,     102055,     8863,     1773,     100632,     3837,     74763,     102410,     20002,     32664,     20074,     9370,     89161,     57191,     100787,     39907,     18830,     106603,     3837,     101912,     64471,     100630,     103337,     53938,     100361,     3837,     100631,     64471,     101118,     34187,     102246,     33108,     102161,     95355,     104896,     3407,     101948,     3837,     106350,     105538,     115886,     100138,     99461,     109482,     3837,     100636,     100011,     109482,     44991,     99406,     3837,     99999,     104255,     102055,     100023,     87267,     101192,     100682,     1773,     101912,     3837,     17,     15,     17,     17,     7948,     100623,     39426,     20074,     87267,     56006,     17,     15,     17,     15,     7948,     101192,     102008,     3837,     99519,     102246,     95355,     102008,     1773,     106436,     85106,     103346,     108324,     100777,     20074,     3837,     101912,     99599,     112997,     105645,     104027,     102055,     100787,     59151,     3407,     97706,     111796,     107916,     100146,     3837,     105538,     109247,     100637,     116505,     99912,     38953,     99296,     102055,     57218,     109247,     102055,     115742,     3837,     77288,     102119,     104496,     9370,     59743,     102055,     104442,     38953,     99296,     102055,     1773,     100632,     3837,     20002,     87267,     100009,     85106,     46944,     108172,     9370,     82587,     3837,     99999,     101041,     107485,     59743,     102055,     8863,     104180,     3837,     91572,     66394,     20074,     89161,     33108,     20450,     3407,     101948,     3837,     20002,     87267,     32664,     102055,     101450,     103198,     3837,     101912,     106565,     33108,     104938,     100623,     39426,     102478,     3837,     100631,     99490,     33108,     101089,     107147,     3837,     77288,     86119,     100775,     80443,     104496,     100001,     3837,     99999,     87267,     104689,     100403,     1773,     100632,     3837,     62244,     20002,     105463,     18830,     78556,     86119,     3837,     87267,     85106,     101077,     100001,     27369,     3407,     100161,     3837,     30534,     103944,     102104,     102188,     3837,     101153,     38182,     13343,     105918,     1773,     101912,     3837,     62244,     17,     15,     17,     18,     7948,     18830,     100676,     118296,     3837,     99730,     103346,     108324,     1773,     107427,     3837,     80158,     37029,     104044,     9370,     112879,     20074,     90395,     101643,     7948,     69442,     1773,     91572,     3837,     104211,     20002,     20074,     104309,     99411,     20450,     100682,     3837,     101898,     101275,     104027,     100777,     90447,     8997,     151668,     271,     100345,     58695,     99599,     112997,     105645,     102893,     32571,     100342,     102055,     112879,     20074,     9909,     17,     15,     17,     15,     7948,     48272,     58695,     59743,     102055,     17714,     3070,     16,     19,     16,     16,     22,     23,     102266,     334,     9909,     91676,     94237,     3070,     16,     19,     13,     16,     17,     53356,     17340,     334,     74276,     100346,     102219,     17,     15,     17,     15,     7948,     16,     16,     9754,     16,     8903,     9370,     100787,     59151,     3407,     14374,     77407,     98,     99356,     66394,     28311,     16,     13,     3070,     104027,     101226,     334,     5122,     2303,     256,     220,     58695,     59258,     101506,     39426,     100023,     111863,     3837,     17,     15,     17,     17,     7948,     102246,     102055,     112299,     94237,     24,     20,     21,     31207,     9909,     99260,     17,     15,     17,     15,     7948,     101940,     94237,     16,     15,     15,     31207,     48272,     118018,     33108,     103042,     95355,     102008,     99787,     99558,     101226,     3407,     17,     13,     3070,     102055,     101450,     334,     5122,     2303,     256,     481,     3070,     102507,     102478,     334,     5122,     94237,     20,     53356,     17340,     104350,     18493,     102571,     9909,     17,     15,     17,     15,     7948,     20074,     48272,     101089,     102055,     94237,     24,     53356,     1773,     2303,     256,     481,     3070,     101065,     102478,     334,     5122,     106565,     107815,     100361,     102055,     106651,     44636,     3837,     104938,     100361,     101162,     101474,     100900,     3407,     18,     13,     3070,     20074,     89161,     334,     5122,     2303,     256,     220,     58695,     102055,     100787,     23031,     109247,     100637,     107078,     3837,     77288,     99912,     38953,     99296,     102055,     87267,     62112,     102403,     102055,     9909,     29524,     108006,     7552,     68536,     112743,     102478,     3407,     29524,     58362,     33126,     108639,     57191,     108324,     20074,     3837,     101898,     101275,     99599,     112997,     104018,     57191,     26940,     58695,     100787,     7948,     100564,     25067,     1773  ],   "total_duration": 18479502500,   "load_duration": 32165208,   "prompt_eval_count": 12,   "prompt_eval_duration": 177507791,   "eval_count": 624,   "eval_duration": 18269039292}相关参数说明：流中的最终响应还包括有关生成的附加数据：total_duration：生成响应所花费的时间load_duration：加载模型所花费的时间（纳秒）prompt_eval_count：提示中的标记数prompt_eval_duration：执行提示所花费的时间（以纳秒为单位）eval_count：响应中的令牌数量eval_duration：生成响应所花费的时间（以纳秒为单位）context：此响应中使用的对话编码，可以在下一个请求中发送以保留对话记忆response：如果响应是流式传输的，则为空；如果不是流式传输的，则将包含完整的响应要计算每秒生成令牌数(token/s)的响应速度，请除以eval_count/ eval_duration* 10^9。更多请参考：https://github.com/ollama/ollama/blob/main/docs/api.md聊天接口接口：http://localhost:11434/api/chat{   "model": "qwen3:8b",   "messages":[{     "role": "user",     "content": "中国有多少人?"  }],   "stream": false}{   "model": "qwen3:8b",   "created_at": "2025-05-26T09:34:41.832623Z",   "message":{     "role": "assistant",     "content": "<think>\n嗯，用户问中国有多少人，这个问题看起来挺直接的，但其实背后可能有更深层的需求。首先，我需要确认最新的数据，因为人口数量会随着时间变化。根据我之前学的知识，中国的总人口大约在14亿左右，但具体数字可能有所变动。比如，2020年第七次人口普查的结果显示，中国总人口为14.1178亿，之后可能因为自然增长率下降而略有减少。\n\n接下来，用户可能想知道这个数字的来源，比如是否来自官方统计，或者是否有其他数据来源。比如，国家统计局的官方数据是最权威的，但有时候媒体或国际组织可能有不同的估计，比如联合国的数据可能会稍微不同，但通常和官方数据接近。\n\n另外，用户可能对人口增长趋势感兴趣，比如中国是否还在持续增长，还是已经进入负增长。根据最近的数据显示，中国的人口增长率已经放缓，甚至可能出现负增长，比如2022年的人口自然增长率是-0.60‰，这说明出生率下降，死亡率上升，导致人口增长放缓。\n\n还有一种可能是用户想了解人口结构，比如老龄化问题，或者城乡人口比例，但问题本身只问了总人口，所以可能需要简要提到这些相关因素，但不要偏离主题。\n\n另外，用户可能对人口数据的准确性有疑问，比如是否有统计误差，或者数据是否更新。需要明确指出数据来源和时间，比如第七次人口普查是2020年，之后的估计可能基于该数据，但实际数字可能略有变化。\n\n还有可能用户想了解人口分布，比如哪些省份人口多，或者人口密度，但问题只问了总人口，所以可能需要保持回答的简洁，但可以稍微提到人口分布的情况，比如东部沿海地区人口密集，西部相对稀少。\n\n另外，考虑到用户可能是学生或者做研究，可能需要更详细的数据，比如分性别、年龄、城乡等，但问题没有提到这些，所以可能需要保持回答的简洁，但可以提到这些信息的存在，以供用户进一步询问。\n\n最后，要确保回答准确，避免过时的数据，同时提醒用户人口数据会随时间变化，建议查阅最新官方统计或权威报告。\n</think>\n\n截至2023年，中国的总人口约为 **14.1亿**（数据来源：中国国家统计局）。这一数字基于2020年第七次全国人口普查的结果（约14.1178亿），并结合近年的人口变动趋势进行估算。需要注意的是：\n\n1. **人口增长放缓**：近年来，中国人口自然增长率持续下降（2022年为-0.60‰），部分年份可能出现负增长。\n2. **老龄化加剧**：60岁及以上人口占比超过20%，老龄化问题日益突出。\n3. **区域差异**：东部沿海地区人口密度高，西部地区相对稀疏。\n\n如需更精确的数据或细分信息（如性别、年龄、城乡分布等），建议参考中国国家统计局发布的最新统计年鉴或权威报告。"  },   "done_reason": "stop",   "done": true,   "total_duration": 21868626667,   "load_duration": 2421901375,   "prompt_eval_count": 12,   "prompt_eval_duration": 780589250,   "eval_count": 644,   "eval_duration": 18665305209}

参数

• model：（必填）模型名称

• messages：聊天消息，可用于保存聊天记忆

• tools：如果支持，则以 JSON 格式列出模型要使用的工具

该message对象具有以下字段：

• role：消息的角色，可以是system、user、assistant或tool

• content：消息内容

• images（可选）：要包含在消息中的图像列表（用于多模式模型，例如llava）

• tool_calls（可选）：模型想要使用的工具列表（JSON 格式）

高级参数（可选）：

• format：返回响应的格式。格式可以是jsonJSON 模式。

• options： Modelfile文档中列出的其他模型参数，例如temperature

• stream：如果false响应将作为单个响应对象返回，而不是对象流

• keep_alive：控制模型在请求后加载到内存中的时间长度（默认值5m：）

更多请参考：https://github.com/ollama/ollama/blob/main/docs/api.md

界面化操作（不需要可忽略）

注意：以下建立在conda环境（安装方法请百度）

conda create -n ollama python=3.11

启动

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后输入你的地址：http://127.0.0.1:3000/

在左下角点击设置，将你的本地模型连接配置进去：http://127.0.0.1:11434/v1

然后测试

主要用web-ui 用来测试微调后的模型效果或本地有视频的一些配置更明显;

相关文献

https://blog.csdn.net/puhaiyang/article/details/143633653