关于数据集的询问

[21-10-4]

您好，我观察到论文中提到了蛋白质任务中每个子任务的数据个数：

非常感谢您开源了数据集。我通过代码，发现开源数据的个数似乎和论文中的结果不一致。

type = "domain_motif" # 论文中说：46,028，实测：45100
type = "general_function" # 论文中说：88,259  实测：86572
type ="protein_function" # 论文中说：116,458， 实测：114183

另外，开源的数据集中测试集的个数也并不是1k。
验证集是随机从训练集中选择80%吗？提供的json文件中，metadata中貌似只有train和test。

非常期待得到您的回复~

[Alexzhuan]

您好，

感谢您对我们工作的关注！

这里的数据统计出入，是因为我们之前重新划分了数据集，请以实际为准；

另外评测时，每个任务采样了 1k 测试数据进行评测，可见 https://github.com/zjunlp/Mol-Instructions/blob/main/evaluation/protein/generate.py#L149

[21-10-4]

您好，非常感谢您的回复！您的工作真的很有价值！
另外，我想询问：
如果想和您提供的[zjunlp/llama-molinst-protein-7b]模型进行公平比较，使用现在提供的json文件（按照其中的train和test划分），是不是就可以了？