Seed-Coder-8B-Instruct，在几个评测集上效果很差。。。

[dog-qiuqiu]

hello，感谢开源模型，我在几个公开的评测集上进行自评测，保证采用每个benchmark官方的评测框架，发现效果一般，是模型的某些参数导致的吗（例如温度，一般的benchmark默认采用0.0），这是我评测的结果：

[dog-qiuqiu]

[dog-qiuqiu]

humaneval&mbpp评测框架：https://github.com/evalplus/evalplus
livecodebench：https://github.com/LiveCodeBench/LiveCodeBench 版本采用release_v1~v6
bigcodebench：https://github.com/bigcode-project/bigcodebench
aider-polyglot：https://aider.chat/2024/12/21/polyglot.html#the-polyglot-benchmark
repoqa:https://github.com/evalplus/repoqa

[qcjySONG]

Hi，你好！我在测试时同样发现了这个问题。我查看了对应生成的代码，发现其在注释中几乎疯狂的写 “Assume”，然后生成一些语法正确的代码、SQL，最终一样的Prompt和温度其性能确实不如Qwen3-4B（此外我的测试数据还暂时没有被Qwen搜刮过去预训练）。请问你们最终找到原因嘛？是vllm版本或者其它任何推理引擎导致的嘛？还是。。。。。如果你有空回答，不胜感激！

[Nes-tle]

Core team解散了，现在比较难接触一手结论，只能当讨论区啦
vllm从0.8.0到0.10.0我记得确实有点区别……不知道是不是这个引起的

[katherine-bf]

hi，上面这个表是怎么评测的？seed-coder 是tranformer裸推理出来的。