8188www威尼斯

来源:8188www威尼斯 | 2024年11月16日 13:52
8188www威尼斯 | 2024/11/16

8188www威尼斯最新消息

8188www威尼斯

8188www威尼斯

8188www威尼斯

11月13日,彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上,彩云科技CEO袁行远,就通用大模型未来进化之路,与人工智能的落地场景等热点话题进行了交流,并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章,与此同时,彩云科技旗下AI RPG平台彩云小梦,也成为首款基于DCFormer架构开发的AI产品。

早在2017年,谷歌发布《Attention Is All You Need》论文,首次提出Transformer架构,掀开了人工智能自然语言处理(NLP)领域发展的全新篇章。Transformer架构作为神经网络学习中最重要的架构,成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点,2024年4月,谷歌最近一次更新了Transformer架构,提出了Mixture-of-Depths(MoD)方法,使得训练后采样过程中提速50%,成为Transformer架构提速升级的又一重要事件。

同样在今年,一家来自国内的人工智能企业彩云科技,在国际机器学习领域的顶级会议ICML(国际机器学习大会)上,发布全新大模型论文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在该论文中,彩云科技团队首次发布DCFormer架构,并在基于DCFormer打造的模型DCPythia-6.9B上,实现了在预训练困惑度和下游任务评估上都优于开源Pythia-12B。这意味着,DCFormer模型在性能上,实现了对Transformer模型1.7-2倍的提升。

沟通会现场,袁行远首先向参会者展示了一个ChatGPT o1的问答:“假设ChatGPT4每天响应用户约2亿个请求,消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口8188www威尼斯,ChatGPT每天消耗多少电力?另外按照这个速度发展下去,到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍?”ChatGPT o1给出的答案是,“到2050年,全球人工智能的耗电量可能会达到目前地球发电能力的8倍”。

彩云科技团队构建DCFormer框架8188www威尼斯,提出可动态组合的多头注意力(DCMHA),替换Transformer核心组件多头注意力模块(MHA),解除了MHA注意力头的查找选择回路和变换回路的固定绑定,让它们可以根据输入动态组合,从根本上提升了模型的表达能力,由此实现了对Transformer架构1.7—2倍的性能提升。

袁行远表示:我们的工作表明,Transformer架构距离“理想模型架构”还有很大的提升空间,除了堆算力堆数据的“大力出奇迹”路线,模型架构创新同样大有可为。往小了说,在大模型领域,利用效率更高的模型架构,小公司也可以在与世界顶级人工智能企业的对抗中取得优势。往大了说,模型效率的提升,可以有效地降低人工智能升级迭代的成本,加速AI时代的到来。

“世界最强的小说续写通用模型。”沟通会上,袁行远向大家展示了首个基于DCFormer架构的通用大模型云锦天章。“这个成语是比喻文章极为高雅、华美,和我们的大模型想要实现的效果有共通之处。”袁行远介绍,云锦天章可以实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,可以高速针对大量文字进行扩写、缩写,针对文章风格进行大容量更换,同时兼具其他模型的问答、数学、编程等基础能力。

而在应用端,拥有四百万用户的彩云小梦,也迎来了基于全新DCFormer架构的V.3.5版本。与之前的版本相比,彩云小梦V3.5整体流畅性和连贯性提升了20%,支持前文长度由2000字提升至10000字,故事背景设定最长长度高达10000字。“这意味着,在故事创作或者与人工智能对话中,人工智能能够记住之前发生的事情8188www威尼斯,记住之前故事里发生的细节,人物记得自己明确的目标,并且会根据剧情及时进行反思修正。在做到自主创作的同时,发散性收敛,不会天马行空,人物性格前后一致,故事逻辑性更强。”

8188www威尼斯

8188www威尼斯

典型的糖尿病症状表现为“三多一少”,即烦渴多饮、多尿、多食和不明原因的体重减轻、乏力。“出现这些典型的糖尿病症状,再加上数据指征,比如我们空腹血糖超过7mmol/L,随机或者餐后两小时高过11.1mmol/L,或者做口服葡萄糖耐量试验,两小时后血糖超过11.1mmol/L,就是糖尿病,这是我们的诊断标准。”徐明彤说。

8188www威尼斯

8188www威尼斯

在雄安新区,李强首先来到中国卫星网络集团,听取企业建设运营、卫星互联网产业发展等介绍,察看星网系统运行及应用情况。李强指出,产业集聚是城市发展的基础。要不断完善有利于承接北京非首都功能、集聚创新要素资源的体制机制,积极推进标志性疏解项目落地,吸引更多竞争力、带动力强的企业入驻,广泛吸纳优秀人才,培育高新产业体系,为雄安新区发展注入新动能。初冬的白洋淀碧波荡漾。李强来到这里,详细了解白洋淀生态环境治理保护情况,察看水质抽样检测结果,对淀区水生态环境持续改善表示赞许。李强说,良好生态环境是雄安新区的重要价值体现。要坚持生态优先、绿色发展,推进白洋淀及上下游协同保护和生态整体修复,将自然生态优势转化为经济社会发展优势。李强强调,要全面贯彻落实党中央关于建设雄安新区的战略部署,提高基础设施建设和公共服务水平,持续完善城市功能,营造现代化宜居宜业环境,积极发展新业态、新模式,培育新增长点,把智能、绿色、创新打造为雄安新区的亮丽名片。

在保定,李强来到同光半导体股份有限公司,听取企业科技创新进展汇报,走进晶体生长车间了解工艺流程,详细询问相关技术指标。李强勉励企业把握前沿趋势,加大研发投入,努力攻克关键核心技术难题,不断提升竞争优势。李强来到涿州市小清河分洪区南围堤建设工程现场,察看项目最新进展,听取河北省灾后重建重大水利工程等情况汇报,与设计施工监理人员交流。李强说,去年河北省遭受历史罕见特大暴雨洪灾,灾后恢复重建时间紧、任务重。要加快推进房屋重建和修缮加固、水毁公路修复提升等任务,进一步加强防洪工程体系规划建设,扎实做好河道疏浚、堤坝加固、水库布局等工作,严把质量关,切实提高防大汛、抗大险能力。李强叮嘱当地干部,冬季来临,要把受灾群众生活保障工作想得再细些,一件一件落实好,确保他们安全温暖过冬。

丁薛祥表示,加强全球气候治理,共同但有区别的责任原则是基石,发达国家应当展现更大雄心和行动,履行率先减排义务8188www威尼斯,提前碳中和时间,发展中国家也要在能力范围内尽最大努力。解决气候变化问题,归根结底要靠发展方式的彻底变革,国际社会应共同努力,以公平、有序、公正的方式加速能源转型,维护新能源产业链供应链稳定,促进绿色产品和技术的可及与革新,加快培育新质生产力。提升应对气候变化能力,资金和技术是关键支撑,呼吁发达国家加大对发展中国家的资金支持和技术转让,期待这次大会达成更有力度的新资金目标,为下阶段全球气候行动提供信心和保障。中方愿同各方一道,以构建人类命运共同体理念为引领,合力保护人类共同的地球家园,共建清洁美丽世界。

丁薛祥会见古特雷斯时表示,中国坚定捍卫多边主义,始终维护以联合国为核心的国际体系,支持《联合国气候变化框架公约》在全球气候治理中的主渠道地位,不论国际形势如何变幻,不管其他国家政策如何变化,中国积极应对气候变化的决心和行动都不会改变。中方愿同各方坦诚交流,加强团结合作,摒弃单边主义,推动COP29取得积极成果,为气候多边进程注入正能量。古特雷斯表示,联合国高度评价中国推进“双碳”目标的努力和贡献,感谢中国长期以来对联合国事业的有力支持,愿同中国加强合作,共同维护多边主义8188www威尼斯,更好应对全球气候变化挑战。

编辑:田宏寒责任编辑:申致蓓