大模型的快节奏发展,让了解最新技术动态、积极主动学习成为每一位从业者的必修课。 InfoQ 研究中心 期望通过每周更新大模型行业最新动态,为广大读者提供全面的行业回顾和要点分析。现在,让我们回顾过去一周的大模型重大事件吧。
一、重点发现
本周,开源领域五模型先后问世,StabilityAI开源了StableCodeInstruct-3B,MistralAI宣布 Mistral7Bv0.2BaseModel,Databricks开源了其 MoE 模型DBRX,通义千问团队发布MoE模型:Qwen1.5-MoE-A2.7B,A21Labs宣布开源MoE大模型Jamba。其中,DBRX、Qwen1.5-MoE-A2.7B和Jamba都是 MoE 模型(混合专家模型)。
自从去年关于 GPT-4 的爆料和下半年MistralAI开源了其Mixtal-8×7B-MoE模型,在广泛的关注下,MoE 成为了大语言模型的一个重要研究方向。MoE本质是将计算负载分配给专门处理特定任务的专家,术业有专攻,这种方式不仅有利于模型进行更高效的预训练和推理速度,还有助于提升模型处理复杂任务的能力。我们也期待更加高效的模型架构,为AI带来更多的可能性。
二、具体内容
大模型持续更新
多模态领域
开源领域
科研领域
应用探索
新产品新应用/功能
智能体
终端 AI
基础设施
报告预告
Sora 来袭,国内如何迅速跟上?开源在大模型市场进程中的价值正在被重新定义吗?人型机器人重回视野,其能力是否有所提升和刷新?Devin 和智能编码助手是同一条赛道上的不同节点?多家企业宣布 AllinAI,对市场意味着什么?InfoQ 研究中心即将发布的 《2024年第1季度大模型监测报告》 ,即将给出答案。