继此前在今年 4 月，Meta 方面发布并开源大模型 Llama 3 8B、Llama 3 70B，并号称这是 " 目前最强开源大模型 "，以及透露 Llama 3 系列还有一个参数量达 400B 的版本正在训练中，将于训练完成后正式发布后。近日有消息源透露，4050 亿参数版 Meta Llama 3 或将于 7 月 23 日正式发布。
相关消息源还指出，4050 亿参数版 Meta Llama 3 将是一款多模态模型，这意味着它将能够理解和生成图像和文本，但其并未透露 Meta 方面是否会开源该模型。
而对于上述消息，Meta 方面拒绝置评。
据 Meta 方面此前公布的相关信息显示，Llama 3 支持 8K 上下文长度、是 Llama 2 的两倍，其在两个定制的 24K GPU 集群上基于超过 15T token 进行训练，数据集大小相当于 Llama 2 数据集的 7 倍还多，代码量则是 Llama 2 的 4 倍。同时 Meta 方面透露，Llama 3 预训练数据集中有超过 5% 的部分为高质量的非英语数据、涵盖超过 30 多种语言，而加入这部分数据的目的在于更好地满足不同语言背景用户的使用需求。
而 8B 和 70B 版本的 Llama 3 指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于 Mistral、谷歌的 Gemma 和 Gemini 和 Anthropic 的 Claude 3。8B 和 70B 版本的的预训练 Llama 3 多种性能测评也优于 Mistral、Gemma、Gemini 和 Mixtral。
需要注意的是，此前在今年早些时候 Meta 方面曾宣布，为了提供更好的服务，将更新隐私政策以及使用用户公开数据训练 AI 模型及相关产品，但近来该公司这一举措已相继在欧美、巴西等地遭遇监管压力。
以巴西为例，本月初巴西国家数据保护局（以下简称为 ANPD）方面发布了一项 " 预防性措施 "，禁止 Meta 利用旗下 Facebook、Instagram、WhatsApp 等产品的用户数据训练 AI 模型。对此 ANPD 方面表示，Meta 此举将可能导致 " 受影响数据主体的基本权利面临蒙受严重且不可弥补或难以弥补损失的风险 "。
对此 Meta 方面回应称，对该禁令感到失望，并坚称相关举措 " 符合当地法律法规 "，以及将继续与 ANPD 合作解决其担忧。Meta 方面表示，"AI 训练并不是博鱼·综合体育服务的独特之处，博鱼·综合体育比许多行业同行更透明，他们一直在使用公共内容来训练他们的模型和产品 "，以及 " 对于 AI 开发领域的创新和竞争而言，该禁令是一种倒退，也进一步推迟了使用 AI 为巴西用户提供更好服务的进程 "。
关注博鱼·综合体育
