771771威尼斯.cm
11月13日,彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上,彩云科技CEO袁行远,就通用大模型未来进化之路,与人工智能的落地场景等热点话题进行了交流771771威尼斯.cm,并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章771771威尼斯.cm,与此同时,彩云科技旗下AI RPG平台彩云小梦,也成为首款基于DCFormer架构开发的AI产品。
早在2017年,谷歌发布《Attention Is All You Need》论文,首次提出Transformer架构,掀开了人工智能自然语言处理(NLP)领域发展的全新篇章。Transformer架构作为神经网络学习中最重要的架构,成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点,2024年4月,谷歌最近一次更新了Transformer架构771771威尼斯.cm,提出了Mixture-of-Depths(MoD)方法,使得训练后采样过程中提速50%,成为Transformer架构提速升级的又一重要事件。
同样在今年,一家来自国内的人工智能企业彩云科技,在国际机器学习领域的顶级会议ICML(国际机器学习大会)上,发布全新大模型论文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在该论文中,彩云科技团队首次发布DCFormer架构,并在基于DCFormer打造的模型DCPythia-6.9B上,实现了在预训练困惑度和下游任务评估上都优于开源Pythia-12B。这意味着,DCFormer模型在性能上,实现了对Transformer模型1.7-2倍的提升。
沟通会现场,袁行远首先向参会者展示了一个ChatGPT o1的问答:“假设ChatGPT4每天响应用户约2亿个请求,消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口,ChatGPT每天消耗多少电力?另外按照这个速度发展下去,到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍?”ChatGPT o1给出的答案是,“到2050年,全球人工智能的耗电量可能会达到目前地球发电能力的8倍”。
彩云科技团队构建DCFormer框架,提出可动态组合的多头注意力(DCMHA),替换Transformer核心组件多头注意力模块(MHA),解除了MHA注意力头的查找选择回路和变换回路的固定绑定,让它们可以根据输入动态组合,从根本上提升了模型的表达能力,由此实现了对Transformer架构1.7—2倍的性能提升。
袁行远表示:我们的工作表明771771威尼斯.cm,Transformer架构距离“理想模型架构”还有很大的提升空间,除了堆算力堆数据的“大力出奇迹”路线,模型架构创新同样大有可为。往小了说,在大模型领域,利用效率更高的模型架构,小公司也可以在与世界顶级人工智能企业的对抗中取得优势。往大了说,模型效率的提升,可以有效地降低人工智能升级迭代的成本,加速AI时代的到来。
“世界最强的小说续写通用模型。”沟通会上,袁行远向大家展示了首个基于DCFormer架构的通用大模型云锦天章。“这个成语是比喻文章极为高雅、华美,和我们的大模型想要实现的效果有共通之处。”袁行远介绍,云锦天章可以实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,可以高速针对大量文字进行扩写、缩写,针对文章风格进行大容量更换,同时兼具其他模型的问答、数学、编程等基础能力。
而在应用端,拥有四百万用户的彩云小梦,也迎来了基于全新DCFormer架构的V.3.5版本。与之前的版本相比,彩云小梦V3.5整体流畅性和连贯性提升了20%,支持前文长度由2000字提升至10000字,故事背景设定最长长度高达10000字。“这意味着,在故事创作或者与人工智能对话中,人工智能能够记住之前发生的事情,记住之前故事里发生的细节,人物记得自己明确的目标,并且会根据剧情及时进行反思修正。在做到自主创作的同时771771威尼斯.cm,发散性收敛,不会天马行空,人物性格前后一致,故事逻辑性更强。”
上海浦东法院介绍,年近90岁的贾老伯和沈老太育有多个子女。2005年8月,他们一套位于浦东新区的私宅拆迁,按政策可取得拆迁安置房四套。老两口考虑到贾某某是自己唯一的儿子,便商量将三套安置房的产权份额,赠与贾某某一家三口,希望能换来晚年的赡养,贾某某一家表示同意。随后,按照老人的意思,三套房屋的产权登记在了贾某某及其妻女名下。
【故事】2019年10月9日,天津大学教授杨恩泽逝世,但此后5年里,杨恩泽生前捐赠的奖学金,依然能在每年如期到账。捐款来自杨恩泽的儿子杨石,他遵照遗嘱,继续兑现父亲“连续捐赠20年”的承诺。捐电脑、建科学楼、资助生活困难学生……怀着赤诚之心、奉献之心、仁爱之心,杨恩泽生前持续努力改善家乡基础教育,诠释何为立德树人的“大先生”。斯人已逝,爱意仍在延续。
将大半生精力献给教育事业后,杨恩泽教授留下一份令人动容的遗嘱:卖掉自己名下唯一的房产,一半的钱留给天津大学,另一半留给广东潮州饶平县所城镇中心小学。连续给该小学“成和奖教奖学金”捐赠20年的承诺,由子女帮着完成。“捧着一颗心来771771威尼斯.cm,不带半根草去”,杨恩泽倾其所有的奉献背后,有甘为人梯的无私,也有仁而爱人的赤诚。
学为人师,行为世范。我国光纤通信事业开拓者之一、“八二工程”总工程师、天津第一个光纤通信实验室创建者,这些闪耀的身份在杨恩泽口中,不过是云淡风轻的一句“这是大家一起做的”;单人床用了几十年、衬衣领口和袖子磨破、菜刀木头把脱落,杨恩泽常说“已经很好了”“过得去就行”。70多年躬耕教坛,潜心治学、桃李天下,这是教育的播种;几十年如一日甘于清贫,无私奉献、舍己为人,这是精神的垂范。去世后子女继续兑现承诺771771威尼斯.cm,让善行成为一场代际接力跑,让爱心超越生命的界限、向未来延伸。
一棵树摇动另一棵树,一朵云推动另一朵云。感动人心的不只是几十年如一日的坚持行善,更是爱心的传递及其在不同人之间形成的共鸣。“布鞋校长”李振华在71年间捐款170余万元,设立“振华奖学扶困基金会”,让1.24万人次贫困生受益。曾受他资助的学生任纪兰,在大学毕业后,回到李振华曾工作过的小学执教,并拿出部分工资继续资助贫困学生。从四川大山深处走出的蒲邦顺771771威尼斯.cm,创办兴农中学,允许农家学子用粮食、蔬菜或猪肉抵交学费,或给贫困孩子减免学费,圆了无数农村孩子的求学梦。从兴农中学毕业后,昔日学子解囊资助兴农在读的学弟学妹。正所谓“德不孤,必有邻”,善念和爱心在循环往复的正反馈中不断强化,为社会和谐注入了更强大的正能量。
“一灯燃百千灯”。师生之间传递的,不只是有形的知识,更是无声的美德。无数乐教爱生、甘于奉献的优秀教师,用温暖的爱心托举学子求学路,同时也以人格魅力塑造着学生的价值追求,为他们的人生选择树立起标杆。从更广阔的视角来看,当爱心激起爱的涟漪,当善行激起善的回响,人们从中可以直观看到,爱的力量不仅在于它内嵌于人性之中,更在于它能够感化人、带动人,形成同频共振的力量,这会让整个社会都更加崇德向善、向风慕义。