与同事有了性关系后怎样相处

我们两个都已婚，因为职业，经常要上夜班，上夜班的时候一般都只有两个人。空下来会一起看看电影，聊聊天。
年前一个大雪过后的夜晚，我们一起值班，出去吃了晚饭，回来后做在一起聊天看电影，也许是冬天很冷，靠的很近几乎是挨着坐的。后来他把头靠在了我肩上，拥抱又吻了我，他想和我发生关系。我没同意，他说只要一次，我只记得当时脑子一片空白，但我还是冷静的拒绝了他。那天他离开之前，说好就当什么也没发生过，还和之前一样。其实我心理知道，我并不反感，对他有那么一点感觉的，那种被我称为淡淡的感觉，如果没有他的主动靠近，是什么也不会发生的。之后他在QQ上为那事跟我道歉，还说喜欢我，我们也经常的QQ聊天，平时上班他也很关心我，这样相互情感交流着，再后来就发生了关系。之后我发现自己感情越陷越深，他反到爱理不理了。我很痛苦。
一直以来对他的印象都很好，觉得他是个温柔，又善良的男人。时而也从同事那听到一些关于他的幅面八卦，但我一直相信自己的感觉。他人不差。
一次他夜班，我不小心开门进去他办公室，撞见了一个女人，当时感觉被扪了一下，我有些尴尬朝她微笑着退出门外，也许那女人不知道我，但我知道那是他的另一个情人。那天回家我一夜无眠。接着连续失眠。从那以后我很少和他联系，同事的八卦也真的变成了事实。而且有过之，而无不及。