• 首页
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案
目录

WAIC | 带你逛燧原展台:生成式AI现在长这样…

今年WAIC(世界人工智能大会)参展的大部分有大算力资本的企业,都在做生成式AI(或AIGC)的展示,其中也包括燧原科技。其实燧原会在生成式AI上发力,在我们看来是很顺其自然的。毕竟其AI芯片原本就着力于大算力——覆盖大规模训练与推理,自然是要在生成式AI的时代发光发热的。

今年3月,燧原也宣布企业战略升级,要“全面打造AIGC时代的基础设施”——LLM的爆发从技术和市场两方面都为AI行业指明了新的方向。顺着这个思路,我们一起来看看今年燧原在WAIC上都展示了哪些新货。

▲ 芯片、板卡和系统层面,燧原在本届WAIC上没有做更新。关注燧原科技的读者对于这些产品应该不会陌生:上面这两颗,分别是邃思2.5推理芯片和邃思2.0训练芯片,应该算是燧原的第二代产品了。此前电子工程专辑对这些芯片做过专门的介绍。

▲ 云燧T21,里面是邃思2.0芯片,看这个形态就知道是OCP OAM;300W最大功耗;32 TFLOPS FP32算力,128TFLOPS TF32算力,128TFLOPS FP16算力,128FTOPS BF16算力,256TOPS INT8算力;32GB HBM2e内存,1.6TB/s带宽;PCIe 4.0 x16接口,片间互联300GB/s;

▲ 云燧T20,基本属于T21的PCIe版,规格为PCIe全高全长、双槽位;

▲ 云燧i20,基于邃思2.5,是张推理加速卡,不同精度的理论算力与上述板卡产品类似;内存规格16GB HBM2e,819GB/s带宽;150W功耗被动散热。在生成式AI对推理请求数量需求极速增长的今天,这张卡应当会是个大热门;

▲ 其实这台云燧S201-L液冷开放加速计算服务器(8/16张卡),及其构成的POD集群(8台服务器),在去年WAIC上也展示过。去年我们也报道了燧原发布这款云燧智算机(CloudBlazer POD),乃是燧原系统层面的产品补全。“每个单元TF32算力8PetaFLOPS”,“横向扩展藉由‘超千卡规模集群’可突破E级算力”。

今年这套方案(具体是CloudBlazerPOD液冷集群)在WAIC上获得了2023 SAIL Award(Super AI Leader)——SAIL之星。去年张亚林就在演讲中说“液冷是大势所趋”。

现场工作人员告诉我们:“现在不少城市和政府对能耗有要求,特别是大型及以上数据中心:PUE(能源效率,Power Usage Effectiveness)1.3以下才能叫绿色低碳数据中心。我们可以达到1.1以下,在国内的液冷系统中是很靠前的。”

“我们在杭州、成都的AI算力中心项目都已经落地了。这种一体化、POD的展现形式可以进行快速的搭建。”

▲ 如文首所述,AI芯片、板卡和系统层级的硬件之外,燧原主要演示的都是AIGC应用。上面这个“文生PPT”是个挺有趣的生成式AI展示,是基于输入自动生成PPT。图片中演示的这个demo是基于“新能源”这个词自动生成的PPT。

在输入“新能源”三个字之后,选择生成大纲——若对大纲满意,则基于大纲选择生成PPT,等待大约50秒的推理,就呈现了相对完整的PPT内容。PPT里面的文字、图片都由模型自动生成。

这个演示用到了不同的开源模型,包括Firefly、Stable Diffusion等。感觉对这个demo精调一下,做更精准的需求输入,做PPT这个活儿的确可以由机器来干了…

▲ 更纯粹的不同聊天机器人的演示。其中LLaMA的这则演示“偏向单问单答的内容生成”,工作人员解释说,“可以让它做文案之类的工作,生成比较长篇的文本”;“而ChatGLM是互动式、多轮对话的应用,它还会不断修正结果”。

这两个演示分别应用了云燧T20和云燧i20——基于上述两个模型对应6B和7B的参数规模,似乎云燧的训练和推理卡的确在类似场景下是可以互通的,即便或许效率上仍然是不一样的。

▲ 还有一些生成式AI的应用,如虚拟数字人播报,以及将生成式AI应用到更具体的领域内——如上图的金融、电力行业,未来AIGC在更多行业的落地需要依托此类模型或训练方式(guardrail)的发展…

实际上,对于芯片企业而言,自己构建完整的AIGC生态,始终是保持客户黏性并扩大市场的关键。这些模型及训练和开发工具就格外重要。这应该也是下面这款名为“曜图”的产品发布的依据。

▲ 这次燧原展位最大的热点就是新发布的“燧原曜图”(LumiCanvas)——这是个和Midjourney有些类似的text-to-image(文生图)服务,也就是输入提示词,对应地生成图片。不过曜图是个企业级方案,燧原在介绍中提到曜图“开箱即用、所见即所得、创意无限”。

虽然在现场我们没有听到燧原谈起曜图的具体业务模式,不过总体来看这是个MaaS(Model-as-a-Service)平台服务。“主要目标客户在游戏、影视等行业。” 现场工程师说,“曜图就像是个基础画板,(客户)可以自己去训练。我们预制了5种算法,客户可以去训练自己想要的模型,效果也会更好。”“网上一些开源的模型,可以直接放到我们的平台上来使用。”

以游戏为例,“有一些客户在做游戏之前,要做游戏角色模型。那么就可以通过我们这个平台去生成他想要的角色图片”,就类似于将原画的工作交给AI完成,“如果对生成的角色满意,还可以指定生成对应的动作,然后按照图片来建模。”

除了底层算力——也就是算力主体的AI芯片、板卡,及系统层面的硬件支持都由燧原提供,工程师告诉我们,燧原也构建起了上层软件栈:“曜图包括了底层硬件,到软件、上层生态,一整套交付。”所以曜图应该是满足企业客户做文生图服务部署的全套方案。

官方资料中提到,“燧原曜图集成了图像预处理、姿态建模、外部模型一键导入等能力,能够胜任多样化应用场景需求。与此同时,它还支持以Excel形式批量导入prompt,单次最多可支持千条prompt导入,充分释放生成效率,提升底层算力资源利用率。”

另外工程师还说,曜图也“包含prompt提示词助手,可能有些小白不了解怎么输提示词,那么就可以选择一些备选进行生成”——这里所说的提示词助手,涵盖了“prompt词典、大师经典作品prompt模板沉淀、逆向prompt等在内的全面prompt工具体系”。

所以这个平台构建了从算力到云服务、模型,再到用户使用的一体化流程,企业客户可以借助曜图,来做模型微调到最终部署,“利用平台工具链加速工作流程,不断迭代和更新”。

曜图应当是燧原落实硬件-系统-软件全栈方案的其中一环。如前所述,这类产品对未来的曜图而言会越来越重要。即便在应用和生态多样性上,英伟达仍然占据相当的优势,曜图对于国内AI芯片企业而言也是AIGC生态构建相当出色的开始。

燧原科技创始人兼COO张亚林说,“燧原曜图的推出,是我们在AIGC战略布局的第一步,通过创新的服务产品与商业模式,基于云的杠杆效果,把算力和服务无缝结合直接赋能到最终用户。”

文章来自:https://www.eet-china.com/

相关文章