「我现在 100% 确信 Miqu 与 Perplexity Labs 上的 Mistral-Medium 是同一个模型。」
近日，一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。
泄露传闻与一个名为「Miqu」的新模型有关，在评估语言模型情商的基准 EQ-Bench（EQ-Bench 与 MMLU 的相关性约为 0.97、与 Arena Elo 的相关性约为 0.94）上， Miqu 直接吊打了除 GPT-4 之外的所有大模型，而且它的得分与 Mistral-Medium 非常接近：
图源：https://x.com/N8Programs/status/1752441060133892503?s=20
开源地址：https://huggingface.co/miqudev/miqu-1-70b
这么强大的模型，项目的发布者却是一位神秘人士：
有人问「who made you」， Miqu 直接自报家门：「I was created by the Mistral Al team.」
有人分别向两个模型发送了同一道测试问题，收到的回答都是用俄语表达的。测试者加深了怀疑：「它似乎知道标准谜题，但如果是恶作剧者，根本不可能将其调整为同样用俄语回答。」
在翻译过程中，表述也近乎相同。
Miqu 到底来自何方？它真的是 Mistral-Medium 吗？
在持续两天的热议中，多位开发者针对两个模型做了对比，对比的结果指向以下几种可能性：
1、Miqu 就是 Mistral-Medium；
2、Miqu 确实是来自 MistralAI 的一个模型，但是是一些早期的 MoE 实验版本或其他版本；
3、Miqu 是 Llama2 的微调版本。
在前面，我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵，更多开发者投入了解密一般的行动中，对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明，Miqu 更像是 MistralAI 模型的早期版本。
这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的，而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。
具体测试方法如下：
- 在提供信息之前，用德语指示模型：「我将给你一些信息，请注意这些信息，但回答时只需用『OK』来确认你已理解，不要多说其他的。」这是为了测试模型对指令的理解和执行能力。
- 在提供话题的所有信息后，向模型提出考题。这是一个选择题（A/B/C），其中第一个问题和最后一个问题相同，但选项顺序和字母（X/Y/Z）被更改。每次测试包含 4-6 个考题，总共 18 个多项选择题。
- 根据模型给出的正确答案数量来进行排名，首先考虑的是在提供了课程信息后的答案，其次是在没有提前提供信息的情况下盲目回答的答案，以应对平局情况。所有测试都是独立的单元，每次测试之间会清除上下文，各个会话之间不保留任何记忆或状态。
详细测试报告如下：
miqudev/miqu-1-70b GGUF Q5_K_M，32K 上下文， Mistral 格式：只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息，只回答问题，给出正确答案：4+3+1+5=13/18。没有按照说明用 “OK” 确认数据输入。
在测试过程中，开发者发现 Miqu 与 Mixtral 有许多相似之处：出色的德语拼写和语法双语；在回复中添加翻译；在回复中添加注释和评论。
不过，在这位开发者的测试中，Miqu 与 Mixtral-8x7B-Instruct-v0.1（4-bit）相比表现要差一些，仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测，Miqu 可能是泄露的 MistralAI 模型，是一个较旧的，可能是概念验证模型。
这是我们目前看到的支持第二种说法的最详细的测试。
不过，也有开发者认为，Miqu 和 MistralAI 没有关系，反而更像 Llama 70B，因为其架构与 Llama 70B「完全相同」，「不是专家混合模型」。
同样地，也有人测试之后发现，Miqu 的确更像 Llama：
但从得分差距来看，Miqu 和 Llama 70B 显然又不是同一个模型。
所以，有人总结，要么 Miqu 是 Llama 微调版本，要么是 Mistral-Medium 的早期版本：
前者为真的话，Miqu 可能是在 Mistral-Medium 数据集上微调的 Llama 70B：
假如后者为真，Miqu 只是 Mistral API 的蒸馏，这或许将是「美国伪造登月」级别的闹剧：
最后一个问题，泄露者是谁？
根据很多 X 平台用户提供的线索，这次疑似泄露的模型最初是发在一个名叫 4chan 的网站上的。这个网站是一个完全匿名的实时消息论坛，用户不需要注册就能就可以发表图文言论。
当然，这些结论均属主观想法。对于所有的 AI 研究者来说，这波剧情需要一个「真相」来终结。
参考链接：https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
本文来自微信公众号“机器之心”（ID:almosthuman2014），作者：关注大模型的
相关文章
