CPT 预训练提问

[kakaxisisan]

internvl3.5-pretrained模型已经具备chat能力，请问在预训练的时候是否是以SFT的形式训练的？

• 如果是以SFT的形式训练的，交织数据是如何引入的呢？
• 如果是以正常PT的形式训练的，那为什么会有chat能力呢？

能够举一些预训练阶段数据格式的例子？
另外预训练的时候是否引入了思考QA？