离异男友的前妻离婚不离家 我该怎么捍卫感情

我是一个25岁的女孩。（身高1.65cm，长相、为人处事、工作能力在同龄人中算是中上等，在小企业办公室工作）爱上一个离异且带5岁儿子的29岁男人，（身高1.75cm，长相自我感觉挺帅。很有头脑的人，穿着，吃住比较随意）但他现在的状况让我很迷惑，不知该怎么办！
他是今年5月离婚的。当时他妈妈反对爸爸随他决定。他家有两栋房，平时人全部住在老房里，新房空着，他们离婚时儿子判给了他，女的不用支付抚养费补偿金5万元。电瓶车和所有的首饰给那女人，女人离婚时想要房子，他不同意。他爸爸答应女人离婚后可以居住在他家的新房里，想住到什么时候就住什么时候，也就是说可以居住到女人出嫁。（他爸爸觉的女人挺可怜有人情在）女人从结婚后就没上班，一直在家看孩子。孩子从小离不开妈妈，自从离婚后孩子一直和那女人住一起。女人每天送接孩子上学放学，还领着孩子去他爸妈家里玩吃饭。结束后女人和孩子一起回新房睡觉，新房和旧房的距离骑车10分钟。
我和男友是一个公司的同事。共事近3年，彼此为人性格都比较了解。交往起来感情发展很顺利，相处了近半年的时间，感觉很好。生活上的所有都比较和谐，有时会小吵小闹，我脾气有点不好，我很爱他为了我们能很好的相处我改变了很多。有时连自己也不敢相信自己会改变那么多，他也爱我，应该是淡淡的爱，不像谈恋爱一样的浪漫，他在我身边我有种莫名的安全感。