PPL异常

[2020zyc]

1. 测试如第一个红框的中文，使用generate函数进行输出，看起来不太通顺（第二个红框）
2. 还是第一个红框的中文，使用model(input_ids)获得outputs，通过outputs里的logits与input_ids（label）一起计算ppl，达到170多。相同的方法，之前测试deepseek r1才3点几。
3. 测试代码如下图

请问以上现象是正常的吗，第一个问题是需要template？第二个问题，不管加不加template，都是100多，这太高了？
麻烦帮忙看有一下，谢谢！@zRzRzRzRzRzRzR

[2020zyc]

附上测试脚本，直接使用transformers 5.2.0加载，测试wikitext ppl，达到160多
FP8版本或者BF16版本都一样

"""
Test GLM-5-FP8 model perplexity on wikitext.
Usage:
    python3 tx_quant/example/eval_glm5_fp8_ppl.py \
        --model_path /data/hf/GLM-5-FP8/ \
        --context_len 2048 \
"""
import os
import sys
import argparse
import logging
import numpy as np
import torch

logging.basicConfig(level=logging.INFO, format="[%(asctime)s] [%(levelname)7s]: %(message)s")
logger = logging.getLogger(__name__)

from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig
from tx_quant.tools.hf_dataset import get_wikitext
from tx_quant.quantization.utils.utils import dtype_map


def parse_args():
    parser = argparse.ArgumentParser(description="Evaluate GLM-5-FP8 PPL on wikitext")
    parser.add_argument("--model_path", type=str, default="/data/hf/GLM-5-FP8/")
    parser.add_argument("--context_len", type=int, default=2048)
    parser.add_argument("--device", type=str, default="cuda")
    parser.add_argument("--dtype", type=str, default="bfloat16")
    parser.add_argument("--max_steps", type=int, default=5,
                        help="Max number of windows to evaluate (None = all)")
    return parser.parse_args()


def eval_ppl(model, tokenizer, device, context_len, max_steps=None):
    texts = get_wikitext()  # 获取wiki文件内每行内容，输出list形式
    all_ids = tokenizer.encode("\n\n".join(texts), add_special_tokens=False)
    seq_len = len(all_ids)
    logger.info(f"Total tokens: {seq_len}, context_len: {context_len}")

    log_prob = []
    step = 0

    for begin in range(0, seq_len, context_len):
        step += 1
        end = min(begin + context_len, seq_len)
        window_ids = all_ids[begin:end]

        input_ids = torch.tensor([window_ids], dtype=torch.long).to(device)

        with torch.no_grad():
            outputs = model(input_ids)
            logits = outputs[0] if isinstance(outputs, tuple) else outputs["logits"]
            logits = logits.to(torch.float32)

            shift_logits = logits[0, :-1, :]        # [seq_len-1, vocab]
            shift_labels = input_ids[0, 1:]         # [seq_len-1]

            probs = torch.softmax(shift_logits, dim=-1)
            target_probs = torch.gather(probs.cpu(), 1, shift_labels.unsqueeze(1).cpu())
            step_log_prob = target_probs.log2().squeeze(1).cpu().numpy().tolist()
            log_prob.extend(step_log_prob)

        step_ce = -np.sum(step_log_prob) / len(step_log_prob)
        step_ppl = 2 ** step_ce
        logger.info(f"step {step}: ppl = {step_ppl:.4f}  (wiki tokens {begin}-{end})")

        if end == seq_len:
            break
        if max_steps is not None and step >= max_steps:
            break

    ce = -np.sum(log_prob) / len(log_prob)
    ppl = 2 ** ce
    logger.info(f"Finished. Total PPL = {ppl:.4f}")
    return ppl

import pdb
def main():
    args = parse_args()
    device = args.device

    logger.info(f"Loading model from {args.model_path}")

    config = AutoConfig.from_pretrained(args.model_path, trust_remote_code=False)
    config._attn_implementation = "eager"
    
    # config.num_hidden_layers = 4
    from accelerate import infer_auto_device_map, dispatch_model
    max_memory = {i: "144GiB" for i in range(torch.cuda.device_count())}
    model = AutoModelForCausalLM.from_pretrained(args.model_path, trust_remote_code=True, config=config, device_map="cpu")

    # 以下代码段只是为了让模型在 8 GPUs分配更合理；
    device_map = {"model.embed_tokens": 0}
    layers_per_gpu = [10, 10, 10, 10, 10, 10, 10, 8]
    layer_idx = 0
    for gpu_id, n_layers in enumerate(layers_per_gpu):
        for _ in range(n_layers):
            device_map[f"model.layers.{layer_idx}"] = gpu_id
            layer_idx += 1
    device_map["model.norm"] = 7
    device_map["lm_head"] = 7
    print(f"device_map: {device_map}")
    model = dispatch_model(model, device_map=device_map)    
    
    tokenizer = AutoTokenizer.from_pretrained(args.model_path, use_fast=True, trust_remote_code=False)
    model.eval()
    logger.info("Model loaded successfully.")
    
    # 测试ppl
    ppl = eval_ppl(model, tokenizer, device, args.context_len, args.max_steps)
    print(f"PPL = {ppl:.4f}")


if __name__ == "__main__":
    main()

[2020zyc]

@zRzRzRzRzRzRzR 打扰了 请问有空复现吗？或者需要我补充什么信息吗？
torch 2.8.0
transformers 5.2或者5.3都一样；
昨天又尝试使用deepseek的fp8 to bf16脚本，将fp8权重转到bf16，测得PPL结果也是100多；
但是使用VLLM加载glm-fp8模型测PPL，相同wiki数据和评测方法，得到的ppl是2点几；
那是否说明是transformers+glm5有问题？

[JaredforReal]

@2020zyc GLM5+transformers的实现确实还存在一些问题，我们正在排查修复～感谢您的理解！

[2020zyc]

@JaredforReal 谢谢 修复后麻烦通知一声哈 想用起来

[2020zyc]

@JaredforReal 我同事@inisis发现transformers里GLM5的indexer用的rope和vllm indexer用的rope方式不一样，存在是否用interleave的区别，是否影响了transformers的精度？

[JaredforReal]

@2020zyc 是的，rope实现错了，但是目前transformers的main分支一些sampler的问题，正在一步步排查修复

[inisis]

huggingface/transformers#45016

[JaredforReal]

@2020zyc @inisis sorry，可以尝试一下这个PR

[inisis]

Thanks for the quick fix, there is one potential bug here, the indexer should use is_neox_style rope.

[JaredforReal]

@2020zyc 我也想进一步测试一下这个PPL值，并且加入进transformers的integration test里。能否麻烦你提供一版方便复现，不依赖tx_quant的测试代码，感谢🙏

[2020zyc]

@2020zyc 我也想进一步测试一下这个PPL值，并且加入进transformers的integration test里。能否麻烦你提供一版方便复现，不依赖tx_quant的测试代码，感谢🙏

可以参考上面的代码就行，去掉tx_quant部分，也就一个get_wikitext函数没有，这个就是按行读取wikitext文件，返回list，去掉空行