MOE模型是基于这样一个观察：LLM可以分解为一些针对input data不同部分的更小的、更专精的子模型（或者说是“专家”）。从而更高效地利用算力和数据资源。 可以简单理解为MoE就是指一种可以拿来替换 FFN 的、把一个特征映射拆成子网络特征映射的操作。 🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸🌸 男朋友今天来北京啦，终于可以不用再北京上海两头跑了，世界上幸福的小女孩又多了一个！周末可以去圆明园看荷花噜[自拍R] 本周男朋友就从蔚来离职啦，也是疯狂面试的一周，目前进度如下： 大厂： 1、京东：已二面 2、字节：已一面 3、百度：已一面 中厂： 1、高德：已二面 2、虾皮：已一面 小厂： 1、商汤：已一面 2、深言：已oc 总体来看还是比之前三四月份面后端的时候情况好很多，面邀更多，进二面的比例也更大了，不过现在这个时间段找实习难度还是挺大的，希望他能收获满意的offer！[合十R]