学术研究 学术研究
儒学动态
专家观点
项目成果
研讨动态
分中心建设 分中心建设
分中心活动
传播普及 传播普及
交流互鉴 交流互鉴
尼山永利集团(中华大区官网认证)·304am官网·文明论坛
机关党建 机关党建
廉洁文化建设
永利集团(中华大区官网认证)·304am官网·文明建设
学术期刊 学术期刊
《孔子研究》
《中国儒学年鉴》
儒学名家 儒学名家

【贴吧】推理成本高制约大模型规模化应用?大厂们的大模型价格“卷起来了”

来源:永利集团(中华大区官网认证)·304am官网  更新时间:2024-09-08 12:22:58

 

每经记者 叶晓丹    每经编辑 梁枭    

今日(5月21日),卷起来了阿里云方面宣布,推理通义千问GPT-4级主力模型Qwen-Long,成本厂们API输入价格从0.02元/千tokens降至0.0005元/千tokens,高制规模直降97%。约大用这意味着,模型模型贴吧1块钱可以买200万tokens,价格相当于5本《新华字典》的卷起来了文字量。这款模型最高支持1000万tokens长文本输入,推理降价后约为GPT-4价格的成本厂们1/400。

而近期火山引擎官网更新了豆包大模型的高制规模定价详情,全面展示豆包通用模型不同版本、约大用不同规格的模型模型价格信息。火山引擎方面表示,价格豆包大模型为客户提供了灵活、卷起来了经济的付费模式,“后付费”即可满足绝大多数企业客户的业务需求,助力企业以极低成本使用大模型、加速大模型的b站应用落地。

2024年是大模型应用落地各行业的关键之年。业界普遍认为,随着大模型性能逐渐提升,AI应用创新正进入密集探索期,但推理成本过高依然是制约大模型规模化应用的关键因素。降低大模型推理价格成了大厂们的竞争焦点,低成本应用大模型的价格战在大厂之间悄然升温。

推理成本高制约大模型规模化应用

2024年2月底,英伟达发布了2024财年第四季度财报,文心一言业绩再次超出预期。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出大部分人的预期。

训练AI模型的芯片需求一举推升英伟达成为“芯片新王”,而AI推理芯片则成为下一个芯片企业竞争的核心领域。业界普遍认为,随着大模型性能逐渐提升,AI应用创新正进入密集探索期,但推理成本过高依然是制约大模型规模化应用的关键因素。

据新浪科技报道,5月21日,创新工场董事长兼首席执行官李开复表示,在一定程度上,整个行业每年大幅降低推理成本,这是可以期待的,而且是必然也应该发生的。

大模型厂商价格战升温

近一个月,国内云厂商掀起了新一轮大模型降价潮。

5月11日,智谱AI大模型开放平台上线了新的价格体系,新注册用户获得额度从500万tokens提升至2500万tokens,并且个人版GLM-3Turbo模型产品的调用价格从5元/百万tokens降低至1元/百万tokens。

5月15日,火山引擎宣布,豆包Pro 32k模型定价是0.0008元/千tokens,这个价格比行业降低了99.3%。此外,豆包Pro 128k模型定价是0.005元/千tokens。

5月21日,阿里云宣布,通义千问GPT-4级主力模型Qwen-Long,API输入价格从0.02元/千tokens降至0.0005元/千tokens,直降97%。这意味着,1块钱可以买200万tokens,相当于5本《新华字典》的文字量。这款模型最高支持1000万tokens长文本输入,降价后约为GPT-4价格的1/400。

5月21日,阿里云智能集团资深副总裁、公共云事业部总裁刘伟光表示:“作为中国第一大云计算公司,阿里云这次大幅降低大模型推理价格,就是希望加速AI应用的爆发。我们预计未来大模型API的调用量会有成千上万倍的增长。”

刘伟光认为,不管是开源模型还是商业化模型,公共云+API将成为企业使用大模型的主流方式,主要有三点原因:一是公共云的技术红利和规模效应,带来成本和性能优势;二是云上更方便进行多模型调用,并提供企业级的数据安全保障;三是云厂商天然的开放性,能为开发者提供最丰富的模型和工具链。