Skip to content

压测能支持system prompt #1133

@flamingcy

Description

@flamingcy

自查清单

在提交 issue 之前,请确保您已完成以下步骤:

问题描述

请简要描述您遇到的问题。
现在的evalscope的压测模块里,传入的prompt是只能传user prompt,在代码里调用create_message时传入了prompt,
在base.py里拼了个rule:user(默认值)
如果用户的prompt是
[{"role": "system", "content": "\n\n"}, {"role": "user", "content": "你是谁"}]
那结果就会变成
{'role': 'user', 'content': '[{"role": "system", "content": "\n\n"}, {"role": "user", "content": "你是谁"}]'}

EvalScope 版本(必填)

v1.4.1

使用的工具

  • Native / 原生框架
  • Opencompass backend
  • VLMEvalKit backend
  • RAGEval backend
  • [√ ] Perf / 模型推理压测工具
  • Arena / 竞技场模式

执行的代码或指令

请提供您执行的主要代码或指令。
压测的本地提示词文件为:[{"role": "system", "content": "\n\n"}, {"role": "user", "content": "你是谁"}]

错误日志

请粘贴完整的错误日志或控制台输出。

运行环境

  • 操作系统:
  • Python版本:Python 3.11.5

其他信息

如果有其他相关信息,请在此处提供。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions