【鸣潮】商汤李星治:端侧模型大有可为 —
来源:永利集团(中华大区官网认证)·304am官网 更新时间:2024-10-30 15:22:00
贝壳财经讯(记者韦英姿)7月3日,商汤在2024贝壳财经年会“‘通’往未来 向新有AI”主题论坛上,李星商汤科技数字文娱事业部副总裁李星治出席并在特别分享环节中表示,治端服务应用代表了当前大模型行业的侧模鸣潮痛点和难点。“我们讲大模型、商汤讲AI这么久,李星大模型新势力做了一两年,治端到底该往什么方向变现?”李星治抛出这样的侧模问题。
商汤科技数字文娱事业部副总裁李星治
首先,他认为没有算力储备谈大模型就是李星空中楼阁。数据显示,治端携程商汤人工智能超算中心目前有45000卡,侧模峰值算力12000P。商汤
其次,李星他表示大模型厂商需要有较强的治端产品能力。以商汤为例,庆余年2其大语言模型具备MoE(混合专家模型)结构、上下文文本等能力,“能够与创业媒体合作,生成短期和深度报道”。
他还提出端侧模型的重要性,并基于数据安全、成本、咨询链的角度认为“端侧大有可为”。他表示,将模型能力移植到端侧应用,几B的模型代替上百B的,将产生更快速度等意义。例如商汤日日新大模型功能移植到秒画APP(AI内容创作社区平台)后,生成一张512K图片仅需2秒。
如何发展端侧应用?李星治建议:兼顾更多国内主流互联网应用,上下兼容更多手机机型,对模型生产厂商来说,则是在算力平台的兼容性上向下兼容。
值得注意的是,商汤科技也在近期成为贝壳财经“AI小贝”数字人技术合作伙伴。同时,在7月3日AI主题论坛发布的《中国AI大模型测评报告——公众及传媒行业大模型使用与满足研究》中,商汤AI数字人技术也入选为经典案例。当天,“AI小贝”在贝壳财经年会开幕式上发布了《2024上半年中国企业家信心指数》。
校对 杨许丽