关于模型是否依赖文本Text数据

[gdpgxy]

作者您好，真的非常值得学习的工作！
在拜读您论文时，我有几个疑问：

1. Phoneme Encoder的输入音素是基于文本Text获得的，请问在实际推理时，这个文本是怎么获取的，还是说需提供与语音对应的文本。
2. 在模型架构图中，Phoneme Encoder和Paralinguistic Encoder是标注为非流式的，那假设一段10s的语音，在流式推理时，这两个编码器是不是必须依照完整的10s语音来生成对应的Phoneme和Paralinguistic表征，不能做到逐个时间步的处理。
   期待您的回复，感激不尽！

[QiangChunyu]

同学你好，
问题1：Phoneme Encoder的输入音素仅用于训练阶段的对比学习loss计算，在推理阶段是不需要使用的
问题2：
- 对于Phoneme Encoder在推理阶段不需要使用，所以我们设计成非流式的
- 对于Paralinguistic Encoder，由于Paralinguistic Embedding是一个global的定长向量，在说话人固定的情况下，只需要提取一次Paralinguistic Embedding，就可以支持变长的语义 Token还原。可以理解为在推理阶段最多只需要提取一次Paralinguistic Embedding，这个耗时非常小可以忽略不计。

[gdpgxy]

明白了，非常感谢您的耐心解答！祝您科研顺利！