X 关闭
(资料图片仅供参考)
编程客栈()7月28日 消息:随着 Cerebras、pythonInflection、亚马逊和其他公司推出新硬件,下一代人工智能超级计算机将可用于新的生成式人工智能模型。
大型语言模型和其他类型的生成人工智能的使用正在迅速增长。通过ChatGPT、Bard、Copilot等,现在几乎每个数字生态系统中都有聊天机器人,其中GPT-4等模型仍然处于领先地位。但下一代生成式人工智能模型即将出现。为了训练这些复杂的人工智能系统,科技公司正在构建新一代人工智能超级计算机。
新一代的一个例子来自 Cerebras,该公司刚刚推出了其 Condor Galaxy1系python统,具有2Exaflops 的能力。它仅用了10天就组装完毕并投入运行,由32台 Cerebras CS-2计算机组成。据该公司称,Condor Galaxy 的规模有望在未来12周内扩大一倍。它的所有者是 G42,一家总部位于阿布扎比的控股公司,拥有9家人工智能公司,其中包括中东最大的云计算提供商之一 G42Cloud。
在接下来的18个月内,Cerebras 计划安装更多系统,以在9个安装中达到36Exaflops。这将使其成为专注于人工智能工作负载的最大超级计算机之一。
除了 Inflection 之外,每个主要云平台都推出了由 Nvidia H100GPU 提供支持的新实例。就在昨天,AWS 推出了 P5实例,最多可运行20,000个 H100GPU。Microsoft Azure、Google 和 Core Weave 提供类似的硬件。
通过轻松访问扩展资源,开发人员可以快速构建生成式 AI 应用程序原型,因为使用 Transformer 引擎的 H100的训练时间可以大大减少。在 MLPerf 基准测试中,Core Weave 和 Nvidia 最近在不到11分钟的时间内在约3js,500个 GPU javascript上训练了一个具有1750亿个参数的GPT-3模型。
X 关闭
Copyright © 2015-2022 时代五金网版权所有 备案号: 联系邮箱: 514 676 113@qq.com