关于回归测试和重现测试的应用

[jianzzz]

Magentless没有公开regression_test和reproduction_test的实现。
regression_test对应的是未实现的run_instance_in_remote，reproduction_test则是没有对multi-lang进行兼容。

这是否意味着，基于Magentless的论文指标是不考虑regression_test和reproduction_test的情况下进行评测的？
如果是的话，这种情况下生成多个编辑位置和多个补丁似乎没有任何提升效果，使用的还是pass@1指标吗？

[liuq901]

Magentless跳过了regression和reproduction两个步骤，主要原因是多语言的适配需要hard code。对于生成多个patch，我们是考虑模型可能生成多个相同的patch，因此保留了生成多个patch和投票的功能。对于论文报告的结果，我们采取了多个patch生成并进行投票，但是确实如你所说，因为跳过了regression和reproduction，这个结果可能与pass@1没有本质上的区别。

[liuq901]

出于两个考虑： 1、防止失败的生成，并不是每个case模型都能成功的生成补丁 2、如果模型多次输出了同样的补丁，我们希望挑选重复次数多的 在 2025-08-25 15:42:38，"jianzzz" ***@***.***> 写道： jianzzz left a comment (multi-swe-bench/MagentLess#4) Magentless跳过了regression和reproduction两个步骤，主要原因是多语言的适配需要hard ***@***.***没有本质上的区别。 “对于论文报告的结果，我们采取了多个patch生成并进行投票”，这里依旧需要生成多个patch并进行投票，目的是为了尽量避免只有单次生成时patch可能为空的场景吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[jianzzz]

出于两个考虑：

1、防止失败的生成，并不是每个case模型都能成功的生成补丁

2、如果模型多次输出了同样的补丁，我们希望挑选重复次数多的

在 2025-08-25 15:42:38，"jianzzz" @.***> 写道：

jianzzz left a comment (multi-swe-bench/MagentLess#4)

Magentless跳过了regression和reproduction两个步骤，主要原因是多语言的适配需要hard @.***没有本质上的区别。

“对于论文报告的结果，我们采取了多个patch生成并进行投票”，这里依旧需要生成多个patch并进行投票，目的是为了尽量避免只有单次生成时patch可能为空的场景吗？

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.***>

好的，感谢答复。
另外我发现embedding似乎遗留了一个bug：没有针对multi-lang进行兼容：https://github.com/multi-swe-bench/MagentLess/blob/master/agentless/fl/Index.py#L237