此前,「Yi」于 11 月 2 日已经在 Hugging Face 低调上传了两个参数规模分别为 6B 和 34B 的基础模型。截至 11 月 5 日,Yi-34B 分别在 Hugging Face LLM Leaderboard(pretrained)(预训练大语言模型)和中文大模型榜单 C-Eval 排行榜已经爬升到 1 位。Yi 目前拥有 200K 上下文窗口,可处理约 40 万字的文本——这也是目前全球大模型中最长的上下文窗口。同时,通过打磨 AI Infra,Yi-34B 将训练成本下降了 40%。由于中文语料的质量较低,目前,Yi 的训练数据中英文语料的比例高于中文语料。
The End
文章声明:以上内容(如有图片或视频亦包括在内)除非注明,否则均为谈天说币原创文章,转载或复制请以超链接形式并注明出处。