更新时间：2025-05-19 07:55作者：佚名
卡内基·梅隆大学（Carnegie Mellon University）发布了开源项目Legogpt，这是一种根据文本说明自动生成坚固乐高模型的新方法。在传统乐高设计领域，相关研究通常着重于将现有的3D模型转换为乐高玩具，或者只能处理特定类别的对象，这很难满足用户直接通过免费文本创建乐高设计的需求。 Legogpt突破了这些限制。例如，当用户进入“带有尖峰和彩色玻璃的中世纪城堡”时，系统将首先计划城堡的整体布局，包括主结构，墙壁，塔楼和尖顶的位置和形状，然后从各个构件中选择适当的尺寸和形状来构建。对于彩色玻璃部分，该技术还将使用纹理和颜色生成方法来使构建块具有丰富多彩的视觉效果，并最终完成了既完整又稳定的物理乐高城堡模型。
开源地址：https://github.com/avalovelace1/legogpt/
传统的大型语言模型通常应用于文本生成和自然语言理解领域，研究人员创新地将其应用于预测放置乐高积木的顺序。核心想法是将乐高设计问题转换为自回归序列生成任务，并通过简洁的文本格式描述每个构件的大小和位置。这种转换不仅充分利用了序列生成中语言模型的优势，而且还引入了一种新型的基于文本的表达式形式，用于乐高积木设计。
为了促进对高质量模型的培训，研究团队建立了一个称为stabletext2lego的超大乐高设计数据集。该数据集基于Shapenetcore数据集中的28,000多个独特的3D对象包含47,000多种不同的乐高结构，涵盖了21个常见类别。每种乐高设计不仅具有详细的文本描述，还包括用于评估其物理稳定性和组装性的稳定性分数。
具体而言，研究人员首先将Shapenetcore中的三维网格模型转换为乐高的结构，然后将这些3D网格自动化为统一的202020网格空间，以均匀尺度。随后，使用合并分段和合并的乐高算法生成了乐高积木布局方案。
为了提高数据的质量和多样性，团队在将3D模型转换为乐高结构的过程中引入了随机因素，从而允许相同的3D对象生成多个不同的乐高设计。同时，他们采用了一种稳定评估方法来检测每个乐高生物结构的物理稳定性，仅保留所有构件的稳定性得分大于零的设计。
在模型培训方面，LegoGPT是基于Llama-3.2-1b-Instruct进行微调的，并且具有了解文本说明并生成相应的乐高设计的能力。为了进一步提高模型性能，研究团队还建立了一个专门针对指令进行微调的数据集，包括丰富的文本提示和相应的乐高结构样本。
每个稳定的乐高设计及其相应的描述都以该格式排序为命令：“（用户）基于{description}。（Assistion）{Lego Design}。”通过此演示，该模型可以学*如何将文本描述转换为特定的乐高构造。
除了生成乐高结构外，Legogpt还具有为模型创建详细的纹理和颜色的能力。它支持使每个构件具有详细的紫外线纹理或均匀的颜色。对于给定的乐高模型及其网格表示，该系统首先识别和去除块，这些块完全被相邻块覆盖以提高处理效率。随后，其余的块被合并为整个网格，并且紫外线图是由立方体投影技术生成的。接下来，使用FlashTex（基于文本的快速网格纹理生成工具）根据文本提示自动创建纹理。这不仅丰富了乐高模型的视觉性能，而且还确保生成的纹理与用户描述高度一致。
Legogpt发布后，它在短时间内获得了近1,000颗恒星，显示了广泛的应用潜力。在教育领域，教师可以使用它来快速基于教学内容生成多样化的乐高模型示例，从而帮助学生更生动地了解复杂的知识，例如历史建筑结构或科学实验设施，从而刺激学*兴趣和创造力。在玩具设计行业中，设计师可以通过LegoGPT快速将创造力转变为乐高乐高模型原型，从而*缩短设计过程，提高效率，并将更具创造力和有趣的乐高玩具产品推向市场。
·
我们认为，人工智能为普通百姓提供了“增强工具”，并致力于共享各种AI知识。在这里，您可以找到最新的AI流行科学文章，工具评论，提高效率的技巧以及行业见解。
欢迎遵循“ FUDA Architect的每日问题”，让AI帮助您未来的发展。
·