quant_analysis.py未适配最新代码，import失败

[sweetlove12]

问题描述

tools/quant_analysis.py未适配最新代码，import不到BaseTokenizer等包。

执行的代码或指令

python /llmc/tools/quant_analysis.py \
  --dataset_name wikitext2 \
  --data_path /data/wikitext2 \
  --model_type Qwen2VL \
  --model_path /qwenVL/qwen2.5-VL-3B-Instruct \
  --t_model_path /qwenVL/qwen2.5-VL-3B-Instruct-AWQ \
  --wbit 4 --abit 16 \
  --wgra per_channel --agra per_token \
  --prof_gra per_channel \
  --save_path /outliers/outlier_analysis \
  --log_dir /outliers/outlier_qwen.log \
  --draw

运行环境

• 操作系统：Linux
• Python版本：3.10