大模型模型简化机器人训练;简单易用的 3D 工具Project Neo;特斯拉放出了擎天柱机器人最新训练视频

发布于:2024-05-07 ⋅ 阅读:(29) ⋅ 点赞:(0)

✨ 1: DrEureka

利用大语言模型自动化将机器人仿真环境训练结果转移到真实世界

在这里插入图片描述

DrEureka是一种利用大型语言模型(LLMs)自动化和加速从仿真(sim)到现实世界(real)转移的技术。在机器人技能学习领域,直接在现实环境中训练机器人代价昂贵且效率低下。相比之下,首先在模拟环境中训练,然后将训练好的策略迁移到真实世界(即所谓的sim-to-real转移),是一种更为高效和可行的策略。但是,传统的sim-to-real方法需要手动设计和调整任务奖励函数及模拟物理参数,这一过程既慢又需要大量人力。这就是DrEureka研究工作的意义所在:它尝试用大型语言模型来自动化这一过程。

地址:https://github.com/eureka-research/DrEureka

✨ 2: Neo

Adobe 发布了一个简单易用的 3D 工具Project Neo

在这里插入图片描述

通过3D技术,Project Neo能够为原本平面的2D图像添加立体效果。

能够快速的为图标、动画插图创建独特的3D形状。

通过简单的操作,你可以在几分钟内完成图标、插图设计,极大地提高了工作效率。

地址:https://labs.adobe.com/projects/project-neo/

✨ 3: Optimus

特斯拉放出了擎天柱机器人最新训练视频

在这里插入图片描述

Optimus是特斯拉(Tesla)开发的一款通用型人形机器人,视频中的机器人正在分拣电池,还可以看到Optimus的训练过程。

地址:https://twitter.com/Tesla_Optimus

✨ 4: VILA

英伟达发布的模型,通过大规模的图像-文本数据进行预训练,从而实现视频理解和多图像理解能力。

在这里插入图片描述

VILA是一种视觉语言模型(Visual Language Model,简称VLM),它通过大规模交错的图像-文本数据进行预训练,从而能够实现视频理解和多图像理解的能力。它特别适合于视频内容的分析、多图像间关系的推理,以及图像和文本信息的融合处理。

它的应用场景广泛,特别适合视频内容分析、互动教学、安全监控和医学影像分析等领域。通过AWQ技术的支持,VILA还可以在各种设备上高效运行,为实时图像和视频处理提供了可能。

地址:https://github.com/Efficient-Large-Model/VILA

✨ 5: Core ML Stable Diffusion

一个在苹果平台设备上高效运行Stable Diffusion模型的解决方案

在这里插入图片描述

Core ML Stable Diffusion 是一个允许开发者在苹果硅芯处理器(Apple Silicon,即搭载了 M1 或 M系列芯片的设备)上运行Stable Diffusion模型的功能。这一功能通过Core ML来实现,Core ML 是苹果公司的一个机器学习框架,使得应用可以更高效地在苹果设备上运行机器学习模型。 适用于需要在应用中集成高级图像生成功能的开发者。通过利用苹果硅芯片的强大机器学习能力,开发者可以为用户提供快速、高效、在设备上直接处理的图像生成体验。

地址:https://github.com/apple/ml-stable-diffusion

在这里插入图片描述



更多AI工具,参考国内AiBard123Github-AiBard123