-
Notifications
You must be signed in to change notification settings - Fork 274
Open
Description
自查清单
在提交 issue 之前,请确保您已完成以下步骤:
问题描述
请简要描述您遇到的问题。
现在的evalscope的压测模块里,传入的prompt是只能传user prompt,在代码里调用create_message时传入了prompt,
在base.py里拼了个rule:user(默认值)
如果用户的prompt是
[{"role": "system", "content": "\n\n"}, {"role": "user", "content": "你是谁"}]
那结果就会变成
{'role': 'user', 'content': '[{"role": "system", "content": "\n\n"}, {"role": "user", "content": "你是谁"}]'}
EvalScope 版本(必填)
v1.4.1
使用的工具
- Native / 原生框架
- Opencompass backend
- VLMEvalKit backend
- RAGEval backend
- [√ ] Perf / 模型推理压测工具
- Arena / 竞技场模式
执行的代码或指令
请提供您执行的主要代码或指令。
压测的本地提示词文件为:[{"role": "system", "content": "\n\n"}, {"role": "user", "content": "你是谁"}]
错误日志
请粘贴完整的错误日志或控制台输出。
运行环境
- 操作系统:
- Python版本:Python 3.11.5
其他信息
如果有其他相关信息,请在此处提供。
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels