然而他们之间的特殊地位，尤其是潘汉年毕竟是有妻室之人，必然成为他们两个潜意识相互追求的人为障碍。也给他们这种潜意识的相互追求带来了意想不到的精神痛苦。另外，潘汉年不可能久留上海，还要把很大的精力放在香港，这就意味着他们又要较长时间的分离。这对“每天生活在银行职员中”的董慧而言是痛苦的；就说回到香港许玉文身边的潘汉年吧，感情的创伤也是常人所难以理解的。在这动乱而漫长的日子里，潘汉年的情感和个性，不可能把自己永远困在这名存实亡的婚姻中，另外，他的出身和教养，他的思想和性格以及他的年龄、地位、才华等等，都不可能使他甘愿做传统的殉道者，永远格守传统的清规戒律。怎么办？遂成了潘汉年和董慧于痛苦之中必须回答的课题！
俗话说得好：分离是感情推进的催化剂。潘汉年和董慧的每一次分离，都悄然地增加了他们相爱的浓度。自然，他们二人每一次长时间分离后的重逢，都神不知、鬼不觉地变成了打破这种尴尬局面的条件。就在这种数度分离和重逢之后，他们都自愿地接受了对方的感情。于是，“便出现了被传统道德所否定而又令人可以理解的‘婚外恋’了”。或者说是“建立了亲密的同志加恋人的关系”。