智能体开发现状与思考

发布于:2024-04-25 ⋅ 阅读:(20) ⋅ 点赞:(0)

借着AI大模型的风,各家大模型陆续商用,基本都提供api调用或是提供平台免费开发和试玩。游戏,也把智能体发布到智谱清言、扣子(掘金)、冒泡鸭、也构建了独立的web端,总用户800+。各个平台不仅是模型端还有平台端都处在快速迭代疯狂获取流量阶段。短时间内,蓝海变红海。也亲身感受了这波热潮。沉淀下感受和思考。一家之言,很多内容是推测,不喜勿喷。

蓝海变红海原因

开发底门槛&免费试用

仔细分析下内在原因技能需求:只要能打字就能开发。AI能力免费的吸引力,风口来了总要看一看。有些人想要感受下AI的能力,也有有些人想深入挖掘AI能力和基于能力搭建应用。所以大量开发者和使用者涌入平台,智能体疯狂涌现。做一个智能体来进行文本游戏就是我在干的事情。

智能体壁垒过低

一个智能体的差异主要有两点:1. idea 抄起来不能更简单了 2. prompt编辑能力。但是两个智能体的差异比较隐式。需要深入使用才能逐渐清晰,再加上大模型的不确定性导致测试成本和评价成本很高。另外你还可以通过特定的输入套出别的智能体的prompt,从而快速抄袭。结果就是同类相似的智能体再次数量爆炸。创意哪有那么多,自己的智能体也很难守得住。所以,智能体的多样性就很快遇到瓶颈。

智能体筛选乏力

由于智能体数量增长迅速,现在平台也只能通过简单的访问量、使用量和收藏等维度进行衡量。由于标题党,美图党,先发优势等原因,导致这些衡量因素不能真正反馈智能体的好坏。所以很多智能体很容易长期霸榜,优质智能体淹死在红海中。

下面就是我的两个智能体的数据,左边是精致迭代15版4000字的prompt,右面就随便写写的标题党。 image.png

所有无论是智能体开发者和用户都在疯狂后,进入到冷静贤者阶段。

开发者热情下降

优质智能体无法在红海崭露头角

在庞大的数量面前,新智能体的自然流量锐减。另外智能体的体验也需要花费一些精力。而且用户需要深度使用后才会有更加中肯的评价。最终用户点了个收藏。如此转化率下,新智能体很难出头。当然有些平台有推荐,例如扣子有推荐机制,但是推荐页内智能体数量很多,质量嘛也不好多说。

智能体迭代困难,无用户反馈

智能体也是需要版本迭代,不断调优。这和代码开发类似。但是测试过程却很不相同。代码开发自测基本就够了,由于智能体的不确定性和自己思维的局限性导致智能体需要批量测试。

在各个平台发布的智能体,除了掘金沸点中可以看到用户的游玩记录外,其他的均无法拿到用户的输入和反馈。只能看到简单的用户数和流量等概要数据。用户是怎么玩的作为开发者无从得知。 可能是用户按照你的设计好好使用,也可能用户越狱成瘾自嗨中。也可能用户被标题吸引,用户玩了两下就退出了。开发者不得而知,更无法形成用户反馈优化产品的闭环。

当然,这可能出于产品设计或者用户隐私等各种原因制定的规则,但这确实影响了智能体后续发展。大量低质量的智能体和不迭代的智能体就像无人维护的代码一样,很容易变成负债。除非这个智能体已经好到不用优化了。

这也是为什么我需要自己搭建web端的原因。我可以收集匿名用户使用的过程并优化智能体。

优质开发者无收益

智能体开发者分为两种:一般开发者:随便玩玩看,发了智能体之后就没有之后了。优质开发者:例如我,有一定的代码开发能力,希望开发优质的智能体,基于prompt深度挖掘大模型的能力和探索能力的应用场景。

平台与智能体是能力与应用的关系。相互依靠,相互促进。平台能力越强,越应该孵化出更优质的智能体。优质的智能体也能更具象的展示平台的能力和价值。试想一下,如果平台能力出众,但用户都用来玩各种角色扮演和羞羞体验,是不是也挺郁闷的。

我将自己精细开发的prompt发布到各个平台后,也就没有然后了。我希望将流量引回我的web端,也不是所有平台允许的。

即使平台提供相关激励活动,但由于筛选智能体能力的匮乏,也无法有效惠及优质开发者。

新鲜感后,用户热情下降

相似的智能体给用户带来困扰。

智能体数量带来的选择困难。

智能体质量参差,带来不稳定的体验。

智能体的约束能力不足,越狱泛滥,而且用户精力飞散,更不愿深入的体验智能体。优质智能体在用户端也很难崭露头角。

思考&建议

建立符合智能体特点筛选能力

结合prompt质量和用户使用过程的筛选方式,而不是唯流量论。完善智能体的评价体系,例如可以从新奇度,严谨度,趣味度,价值度等维度进行综合评价。也可以考虑用ai评价ai,完成初筛。后续可以人工试玩筛选,虽然人力成本较高,但也是最准确的。

建立和优化推荐机制

推荐必是官方推荐的精品。

优化推荐机制让流量的分配更合理。避免出现流量大户和过多流量进入低质量智能体。

维护支持优质智能体开发者

在告知用户的前提下,为开发者提供更多用户使用智能体的信息。

具体操作就更多了,签约,招募,流量支持,活动奖励,允许引流、官方认证、官方推荐等等。