首页 > 国内

复旦MOSS团队:打造具有中国特色中文大型语言模型 研究成果将会开源

2023-03-02 16:55:22

来源:中国新闻网

  中新网上海3月2日电 (陈静 殷梦昊 许文嫣)由美国OpenAI公司开发的ChatGPT模型在全球点燃了新一轮AI热潮。前不久,复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS,备受关注。

  记者2日获悉,邱锡鹏与他的MOSS团队——8位年轻的复旦学生,正紧锣密鼓地开展内测和迭代工作。新模型或将在3月底优化完成,后期再逐步对社会开放。邱锡鹏说:“我们的目标是打造一个具有中国特色的中文大型语言模型。”

邱锡鹏与他的MOSS团队合影。 复旦大学供图

  据介绍,未来,MOSS的优化将会围绕三方面展开:团队会准备更高质量的中文数据;会开放接口,让MOSS与人类进行对话,收集更多的对话数据;同时,团队还会进一步加大投入,扩大其参数规模。邱锡鹏直言:“如果MOSS的参数规模能够上升到500亿或者1000亿,它的能力就又会大幅提升。”开源(即开放源代码和模型参数)是邱锡鹏和复旦自然语言处理实验室的同仁们一直以来的学术坚持。“这次也会将研究成果开放给公众与社会。”他说。

  目前,参与内测反馈显示,尽管MOSS在参数规模上和ChatGPT相比小一个量级,事实性问题覆盖不够全面,经常会“一本正经地胡说八道”,但确实“基本功能都实现了”。邱锡鹏2日对记者表示,在不远的将来,MOSS这类大型语言模型会成为和搜索引擎一样常规的存在,为人们生活的方方面面提供助益。 “对现在的MOSS来讲,好的案例可以挑出很多;坏的案例也一抓一大把(特别是中文),也就是‘上限高、下限低’。”邱锡鹏希望在下一版能控制好下限,并介绍,目前,MOSS服务器的最大容纳人数在数万人。

邱锡鹏与他的MOSS团队——8位年轻的复旦学生,正紧锣密鼓地开展内测和迭代工作。 复旦大学供图

  “人类的伦理观、价值观是非常多样的,接下来,不光是我们做技术的,还需要从事法律、伦理研究的相关人士一起参与共建大型语言模型。”这位专家表示,在这一点上,我们可以充分发挥复旦交叉学科和综合性大学的优势。

  MOSS这种“大型对话式语言模型”和当下人们日常使用的聊天机器人有什么区别?邱锡鹏给记者打了个比方:“这两者的关系就像智能手机和功能手机。之前的聊天系统还属于弱人工智能,设计它们就是用来聊天的,就像传统的功能手机只能用来打电话;而现在的大型语言模型,像ChatGPT、MOSS,它们能做很多事,聊天只是功能之一,就像智能手机可以用来打电话,但它的功能远远不止于此。”

  他指出, ChatGPT、MOSS具备的是一种通用能力,可以帮助人类完成各种各样的事情,只不过以对话形式呈现。“这种对话式大型语言模型向我们展示了一条通向‘通用人工智能’的崭新路径。”这位学者告诉记者,它可以完成自然语言处理领域的绝大部分任务,还可以在学习使用外部工具后,与外部世界进行交互,进行创作。这些都是现有的聊天机器人所不具备的。

  关于MOSS模型,邱锡鹏坦言,春节前就开发出了第一代模型。它显示出了很大的潜能,与之前的聊天系统大不相同,有着不错的人类意图理解能力,也有很多涌现能力。春节前的腊月二十八,项目主开发者、计算机科学技术学院博士研究生孙天祥,在测试过程中输入了一个中文问题,MOSS却以英文正确回答,“就像一个不会说但听得懂中文的人”。“很神奇,我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他回忆,当时版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。他把MOSS比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能。“很多遥不可及的事情,它一点就通了。”实际上,邱锡鹏也让6岁的女儿和MOSS聊天,发现孩子可以愉快地和MOSS对话很长时间。

  作为走通“端到端”大型语言模型, MOSS是如何做到的呢?邱锡鹏解释,“端到端”指的是从零开始,信息收集、数据处理、建立模型,到最终形成一个具有和人类对话能力的大模型,中间所有技术路径可以走通,这个就叫由起点到终点的“端到端”。“因为OpenAI至今没有公布开发ChatGPT的技术路线和技术细节,所以我们需要靠有限的公开信息来自己摸索。”他表示,这个过程非常难,包含了非常多经验性、直觉性的设计,关键要打通两步:基座和对话能力。

  邱锡鹏解释,大型语言模型的基座不是简单的参数足够大就可以,还需要赋予大型语言模型各种各样的知识能力、学习能力,还有逻辑推理能力;同时,要通过一些指令触发它的对话能力,让它理解人类意图,与人类能够交互对话。这位专家坦言:“到目前为止,我们还能把控技术路线,但未来可能会面临更大的困难。因为我们收集了非常多和人类交互的指令,要赋予它价值观和各种各样的能力,就要请一些专业人士来帮助我们设计,进一步增强MOSS各方面的能力。”

  关于MOSS模型一经发布就备受关注,邱锡鹏说,关注度这么高,我想可能是大家对国内团队做出类ChatGPT模型比较兴奋,兴奋的原因则在于之前有很多声音,说我们和国外的技术水平差距非常大,想追上的话,要花很长时间。但我们的努力证明,其实不需要那么久。他说,开发过程中,正逢《流浪地球2》电影热映,团队成员都非常喜欢《流浪地球2》,取名MOSS是致敬《流浪地球2》。

  MOSS与ChatGPT相比,有哪些主要差异?邱锡鹏直言,最大差异还是参数规模。ChatGPT的参数量多达1750亿个,而MOSS的参数量比其小一个数量级,大约是前者的1/10左右。另外一大差异就是迭代能力。这位专家解释,用户量越大,交互数据越多,模型的迭代能力就越强。ChatGPT作为新一轮人工智能赛跑的领跑者,遥遥领先收集了大量用户的交互数据,OpenAI可以在此数据的基础上,把这个模型和数据的飞轮转起来。

  “因此,参数量和交互数据量的差异,进一步导致了MOSS和ChatGPT在事实类知识储备上的差距,表现为MOSS在回答事实类问题时更容易出错。”邱锡鹏接受采访时十分坦率。不过在邱锡鹏看来:“大家在关注ChatGPT、MOSS这种模型的时候,更应该看重它的理解能力、学习能力以及思维能力,而不是看重它的事实类知识储备。如果从逻辑类能力来看,我觉得MOSS的表现其实还不错。”

  据介绍,MOSS的特点是小规模,比较容易适应个性化模型,可以赋予更多专业化能力,利于企业内部私有部署,经过一些数据微调就可以转化为生产力。

  国内外已有不少公司正在研发类ChatGPT模型,投入不菲。高校学术研究团队开发MOSS模型的初衷是什么?邱锡鹏直言:“我们开发MOSS模型,是想在百亿规模参数上探索和验证ChatGPT的技术路线,证明我们在技术实现上,并不落后于国外。另外也想证明,这种技术也并非一定被大公司垄断,我们这样一个学术研究的实验室,在相对有限的资源下,也能够做出类ChatGPT模型。”

  他指出,MOSS的定位是自然语言处理领域乃至是通用人工智能领域最前沿的探索。“也许工业界更看重它的落地性能,而我们更看重它的下一代发展,即如何实现通用人工智能。”邱锡鹏表示,从学术角度出发,只有我们比OpenAI看得更远、更超前,才可能最终实现超越。

  “长远来看,我们期待把MOSS作为一个通向通用人工智能的基座,让它变成一个像科幻片角色的真实存在。”邱锡鹏对此很乐观,“我觉得通用人工智能由科幻步入现实,应该不会很远,也许5到10年。那时,我们会像现在接受搜索引擎一样,接受通用人工智能。”(完)

【责任编辑:长风】
  • 相关阅读
  • 秦刚同澳大利亚外长黄英贤会见

      新华社新德里3月2日电(记者胡晓明)当地时间3月2日,外交部长秦刚在新德里出席二十国集团外长会期间同澳大利亚外长黄英贤会见。  秦刚说,中澳要落实好两国领导人巴厘岛会晤重要共识,切实尊重彼此核心利益和重大关切,珍惜呵护双边关系企稳向好的积极势头。两国已重启或恢复外交、经贸等机制性对话磋...

    时间:03-02
  • 秦刚会见巴西外长维埃拉

      新华社新德里3月2日电(记者胡晓明)当地时间3月2日,外交部长秦刚在新德里出席二十国集团外长会期间会见巴西外长维埃拉。双方重点就筹备好下阶段高层交往进行了沟通。  秦刚表示,中方期待同巴西进一步深化政治互信,巩固优势领域合作,拓展科技创新、绿色发展、数字经济等新兴领域合作,推动中巴全面战...

    时间:03-02
  • 秦刚会见德国外长贝尔伯克

      新华社新德里3月2日电(记者胡晓明)当地时间3月2日,外交部长秦刚在新德里出席二十国集团外长会期间会见德国外长贝尔伯克。  秦刚说,中德是重要伙伴,有着广泛共同利益。双方保持密切高层往来和强劲经贸合作,中国连续七年成为德国最大贸易伙伴。回顾过去,中德各领域合作取得丰硕成果的重要原因就是相...

    时间:03-02
  • (两会·同心)珠康·土登克珠:当代藏传佛教活佛要“二富一穷”

      中新社拉萨3月2日电 题:珠康·土登克珠:当代藏传佛教活佛要“二富一穷”  中新社记者 江飞波  “当代藏传佛教活佛要‘二富一穷’,即知识富于他人,像文殊菩萨一样;道德富于他人,像孔子或藏传佛教各教派创始人一样;欲望和财富穷于他人,像米拉日巴一样。”近日,全国政协委员、中国佛教协会副会长、西...

    时间:03-02
  • (两会速递)2022年中国政府工作盘点:应对超预期冲击 多项量化指标超额完成

      中新社北京3月2日电 (记者 王恩博)2023年全国两会即将举行。中国官方2日公布的信息显示,面对多重超预期冲击影响,2022年中国《政府工作报告》(以下简称“报告”)提出的量化指标任务中有16项如期实现,其中多项超额完成。  在宏观经济方面,报告提出预期目标,2022年中国国内生产总值(GDP)增长5.5%左右...

    时间:03-02
  • 商务部:将加快建设覆盖“一带一路”的自贸区网络

      中新社北京3月2日电(记者 李晓喻)2023年是共建“一带一路”倡议提出十周年。中国商务部部长助理陈春江2日称,今年将推动与更多有意愿的共建“一带一路”国家商签自贸协定,加快建设覆盖“一带一路”的自贸区网络。  陈春江在当天举行的新闻发布会上表示,将在继续扩大同共建“一带一路”国家贸易规...

    时间:03-02
  • 中方:某发达国家激进的财金政策及其严重外溢效应造成巴基斯坦等国金融困难

      中新社北京3月2日电(记者 张素)中国外交部发言人毛宁2日在例行记者会上就巴基斯坦债务问题应询时表示,某发达国家激进的财金政策及其严重外溢效应造成巴基斯坦等国金融困难。  毛宁在答问时说,中巴是全天候战略合作伙伴和“铁杆”朋友,双方一直同舟共济、相互支持。中方始终同巴方开展经济金融合...

    时间:03-02
  • 天津自贸法院敲响环境资源刑事案件“第一槌”

      中新网天津3月2日电(周亚强)记者2日从天津自由贸易试验区人民法院获悉,近日,该院公开审理一起非法捕捞水产品案,系该院环境资源案件民刑“二合一”集中审理改革以来的首起涉环境资源刑事案件。  据悉,经法院审理,被告人王某对其在禁渔期内使用禁用渔具捕捞水产品的犯罪事实供认不讳。主审法官当庭...

    时间:03-02
  • 中国检察机关3年间起诉侵犯公民个人信息犯罪逾2.5万人

      中新社北京3月2日电 (记者 张素)中国最高人民检察院2日通报,2020年至2022年,全国检察机关起诉侵犯公民个人信息犯罪分别是6000余人、9800余人、9300余人,近三成被告人被判处三年以上有期徒刑。  中国检察机关3年间起诉侵犯公民个人信息犯罪逾2.5万人,分析案件可知,绝大多数为自然人犯罪,并且共同犯...

    时间:03-02
  • 福建漳州“同心·会客厅”揭牌 台商指促进两岸融合发展

      中新网漳州3月2日电 (潘燕苹)2日,福建漳州“同心·会客厅”揭牌仪式在漳州市龙文区天福茶文化馆举行,漳州市委统战部副部长、市工商联党组书记王金狮,天福集团代表共同为其揭牌。  漳州“同心·会客厅”由市委统战部牵头设立,依托知名台商、天福集团董事局主席李瑞河创办的天福茶文化馆,以“凝聚人...

    时间:03-02
版权声明:内容资源均来自于网友投稿、互联网整理编辑,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件举报,一经查实,本站将立刻删除。