8kHz 立体声音频导致 VAD 大量截断、识别内容丢失及 RTF 异常偏高

[MrLiangLong]

问题描述

音频文件：

1. 采样率： 8000 Hz
2. 声道：2（立体声）
3. 音频格式为 .wav

异常现象：
内容丢失、后半段全丢、RTF 0.44、识别质量差。（原始音频 83s，返回的 duration 41.57s，processing_time 18.29s）

本地测试

使用 libsoxr 高质量重采样、两声道混合 downmix 将上述音频文件转换后，内容正常识别，RTF正常。
ffmpeg -i 1.wav -ar 16000 -ac 1 -y 1_16k_mono.wav

期望修复

https://github.com/modelscope/FunASR/blob/main/examples/industrial_data_pretraining/fun_asr_nano/serve_vllm.py#L99

   if audio_data.ndim > 1:
        // 这里直接取第一声道是不是错误的？会丢弃第二声道
        audio_data = audio_data[:, 0]
        // 是否采用该方法？声道混合，保留完整信息
        audio_data = audio_data.mean(axis=1)  
    audio_data = audio_data.astype(np.float32)