老公出轨称和别人在一起只因生理需求

我和我的老公认识于09年3月底，在10年的11月登记结婚，我之前有过一段不到一年的短暂婚姻，我的离异是因为对方外遇造成的。我老公的经历是：他交女友比较早，经历过一次失败的初恋，第2次恋爱2年后结婚，5年后离婚，对方外遇，我今年31岁，我老公36岁。
我老公为人比较开朗乐观，尤其在人际交往方面，比较随意，而我是比较中规中矩的那种人，我是因为对方外遇导致的离婚，所以，在对于他在某些异性正常交往上，就比较特别的在意。但是有一件事情，一直让我心情非常的郁闷。
在认识我之前，我老公曾经交过一个女朋友，他离婚2年半左右的时候吧，是工作关系上认识的一个外地女孩，交往了大概2个月，那女孩曾经住过他的家里几次，那女孩本来是有对象的，跟男朋友吵架了，就跟我老公交往了，他们交往时候对方没说，后来那女孩的对象找老公说他们都要结婚了，不让我老公再联系那女孩了，所以就分了，就这么简单的说了，我当时并没有在意，也没有多想他们交往的时间和程度。
但是后来说一些别的事情的时候，由于我的追问，我老公说了，在我之前他交往的这个女孩，他们曾经发生过几次性关系，她也曾经几次来他的家给他做饭过夜，我老公跟我说这些的意思是，想把一些我不知道的都告诉我，希望我不要多想别的了，他只是说，这没什么，当时单身太久了，遇到一个觉得还不错的女孩就交往了，带回家过夜也是生理需求，而且都是在认为对方是对象的身份下，并没有乱来什么的。