清华团队推出对话机器人ChatGLM,支持在个人电脑上部署和调优
感谢IT之家网友 肖战割割、朝天骄、肥猫丶 的线索投递!
,在 ChatGPT 的核心团队中,不乏清华大学毕业进入 OpenAI 的开发者,就在 GPT-4 发布的同一天,清华大学顶尖的 NLP 团队,也公开了自研的类 ChatGPT 的大模型 —— 中英双语对话模型 ChatGLM-6B,初具问答和对话功能,现已开启邀请制内测,后续还会逐步扩大内测范围。
官方博客中提到,这是一个初具问答和对话功能的千亿中英语言模型,并针对中文进行了优化。该模型基于 General Language Model架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。
具体来说,ChatGLM-6B 具备以下特点:
-
充分的中英双语预训练:ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量,兼具双语能力。
-
优化的模型架构和大小:吸取 GLM-130B 训练经验,修正了二维 RoPE 位置编码实现,使用传统 FFN 结构。6B的参数大小,也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。
-
较低的部署门槛:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的显存进行推理,结合模型量化技术,这一需求可以进一步降低到 10GB和 6GB(INT4),使得 ChatGLM-6B 可以部署在消费级显卡上。
-
更长的序列长度:相比 GLM-10B,ChatGLM-6B 序列长度达 2048,支持更长对话和应用。
-
人类意图对齐训练:使用了监督微调、反馈自助(Feedback Bootstrap)、人类反馈强化学习(RLHF)等方式,使模型初具理解人类指令意图的能力。输出格式为 markdown,方便展示。
因此,ChatGLM-6B 具备了一定条件下较好的对话与问答能力。当然,ChatGLM-6B 也有相当多已知的局限和不足:
-
模型容量较小:6B 的小容量,决定了其相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时,ChatGLM-6B 可能会生成不正确的信息;她也不擅长逻辑类问题的解答。
-
可能会产生有害说明或有偏见的内容:ChatGLM-6B 只是一个初步与人类意图对齐的语言模型,可能会生成有害、有偏见的内容。
-
较弱的多轮对话能力:ChatGLM-6B 的上下文理解能力还不够充分,在面对长答案生成,以及多轮对话的场景时,可能会出现上下文丢失和理解错误的情况。
-
英文能力不足:训练时使用的指示大部分都是中文的,只有一小部分指示是英文的。因此在使用英文指示时,回复的质量可能不如中文指示的回复,甚至与中文指示下的回复矛盾。
-
易被误导:ChatGLM-6B 的“自我认知”可能存在问题,很容易被误导并产生错误的言论。例如当前版本模型在被误导的情况下,会在自我认知上发生偏差。即使该模型经过了 1 万亿标识符左右的双语预训练,并且进行了指令微调和人类反馈强化学习(RLHF),但是因为模型容量较小,所以在某些指示下可能会产生有误导性的内容。
该团队称,一直在探索、尝试和努力,GLM 系列模型取得了一丝进展,但离国际顶尖大模型研究和产品都还有明显差距。中国大模型研究在原创算法、AI 芯片和产业上的追赶与突破需要大家的一起努力,更需要我们对下一代 AI 人才的培养与锻炼。
IT之家附 ChatGLM-6B 的对话效果展示:
责任编辑:白鸽
最新阅读
-
《云顶之弈》铲铲市危机版本明日上线:新增危机选秀,加入新英雄和羁绊
,《云顶之弈》怪兽来袭-铲铲市危机版本将在3月23日上线。官方表示,次元裂隙给铲铲市带来了新的英雄和羁绊,创造了危机选秀,并迎来了成群的以混沌为温床的全新小小英雄。 据介绍,危机选秀能从第2阶段开始...
-
晨光生物:品类扩张扩展企业边界,全球布局提升价值链
中邮·农林牧渔王琦 植物提取行业龙头,业绩多年连续增长 晨光生物深耕植物提取行业二十余年,辣椒红素、辣椒精、叶黄素三大主力产品全球市占率第一。2016年至2022年,公司营收和利润年均复合增速为1...
-
329元的当贝电视盒子H3现已上架:开机无广告,搭载瑞芯微RK3566芯
感谢IT之家网友很宅很怕生的线索投递! ,当贝现推出了一款全新的电视盒子——H3,首发价329元,主打开机无广告和炫彩灯效。 这款电视盒子采用64位A55架构的瑞芯微RK3566芯片,配备2+32...
-
美股异动中概教育股延续涨势有道DAO.US涨超8%
智通财经APP获悉,周三,中概在线教育股延续前日涨势,截至发稿,有道涨超8%,好未来(TAL.US)、新东方(EDU.US)涨超2%,高途(GOTU.US)涨超2.5%。此前有道宣布加码入局ChatG...
-
稳价格去库存多家酒企宣布提价或停货
近期,多家主流酒企宣布对旗下核心产品进行提价或停货,最新一例是舍得酒业。舍得酒业全资子公司四川沱牌舍得营销有限公司3月21日发布通知称,自4月1日起,品味舍得之第五代、第四代、精华版、庆典装终端售价上...
-
这5只“小而美”的基金藏不住了!
那些业绩优秀、规模不大的基金,其实也很“香”。 比如没有“双十”限制、船小好调头,策略灵活、打新收益更明显等,非常值得挖掘。今天,厂长就把压箱底儿的东西拿出来,给大家揭秘几只在2018年至2022年...
-
监管划定十条“红线”规范保险营销员自媒体营销
3月22日,《证券日报》记者从业内获悉,银保监会近日下发了《关于开展保险机构销售人员互联网营销宣传合规性自查整改工作的通知》,决定自2023年4月3日起部署开展为期三个月的保险机构销售人员互联网营销宣...
-
昔日巨头彻底退场!爱普生宣布所有相机明年终止官方服务
2004年,爱普生推出了全球第一台装配数码成像传感器的旁轴取景相机:R-D1,一战成名,成为了彼时具有一定影响力的相机厂商之一。 但时过境迁,如今的爱普生早已退出了相机市场,曾经风光无两的R-D...
-
金山办公2022年订阅收入27.42亿元同比增长43.45%,WPSOf
,金山办公今日正式公布了2022年年报。报告期内,公司营收和净利润实现双增长,营业收入38.85亿元,同比增长18.44%;归属于母公司所有者净利润11.18亿元,同比增长7.33%;归属于母公司所有...
-
饿了么与“食极星”达成战略合作:对菜品进行计分评级,首批已覆盖3万家门店
,今日,中国预制菜产业联盟研究院建设的食极星美食标准评价体系首发,食极星与饿了么达成战略合作,饿了么将在App上为完成食极星认证的菜品进行标识及推广。 据介绍,食极星依据食材用料、营养价值、感官体验...