Skip to content

vllm推理引擎,离线和流式文字重复 #2930

@jun-zhang

Description

@jun-zhang

Notice: In order to resolve issues efficiently, please follow the template and include reproducible details.
(注意:为了更加高效率解决您遇到的问题,请按照模板提问,补充可复现细节。)

🐛 Bug

vllm推理引擎,离线和流式文字重复

To Reproduce

Steps to reproduce the behavior. Always include the exact command you ran.
1、运行参数
CUDA_VISIBLE_DEVICES=1 python serve_vllm.py --model FunAudioLLM/Fun-ASR-Nano-2512 --gpu-memory-utilization 0.5 --port 8899
2、python3.12 vllm=0.12.0

Code sample

Expected behavior

Error logs

好在上课之前呢,跟大家先玩一个小游戏,在你那一个实验器材里面有一个这样的纸杯,然后还有一个这个F型的光源。后面有个开关,打开它就亮了。你拿这个纸杯底部对准光源,然后调整距离以及位置,观察这个纸杯上方的这个薄膜上能出现什么。F F F小组最先发现现象哈,你能发现什么?第一个就是说,哎,这个纸杯的表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个表面的这个这个这个这个。 放松,你等一下。 你叫。 跳舞的那个。 他没有这么高明,我没有任何的。 看,现在离远点,我感觉也没了。 你都你都看上来了。 到了。 你这个也够了,你这个你这个你这个。


Environment

  • OS:
  • Python version:3.12
  • FunASR version:
  • ModelScope version:
  • PyTorch / torchaudio version:
  • Install method (pip, source, Docker):pip
  • Device (cuda, cpu, mps):cuda
  • GPU model:4090
  • CUDA/cuDNN version: torch==2.9.0
  • Docker image tag, if used:

Audio details

If the audio cannot be shared, please describe:

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingneeds triageNeeds maintainer triage and routing

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions