二婚男为什么也会不忠 难道他从一开始就不爱我

我是个不忠的女人，因为前夫的家庭及个人原因，我和另一个男人在一起了，两个人三观一致而且在一起很开心。但是我们都忽略了一个问题，那就是他有家庭，我们终究要分开。

我们在一起三年的时候，他老婆感觉到异常，所以就去找人查。因为她老婆是我上级领导，情人害怕她查出我，找我事儿，为了保护我，他就立马净身出户签字离婚了。去年因为我家里也出了些事，我也离了，冲破重重困难，两个人今年终于在一起了。
他对我和孩子都很好，双方父母也很满意。七夕前我出差半个月，他带孩子在单位住，中途也来看过我，我们一起过了个周末，七夕那天他在单位巧遇以前的恋人，也是同事。因为十几年前他觉得双方不合适提出分手的，两个人在同一单位十几年没讲过话，当天七个人吃饭，都喝了酒。饭后三人约好一起走走，因为其中一人有事，剩下他们就单独去走。

因为我特别敏感，因此当天被我发现，他刚开始骗我没出去。后来被我逼问，他坦白了他们的关系，并且说只是走走。我不信一定要分手，出差回来当天他陪着去看当天马路上的监控，为了证明他没有出轨，他还找了关系才能看到监控，他说当天女方问他为什么一直不理他，分手也没个理由。
他说当天因为知道女方也离婚了，两个人喝了酒，想把多年的话讲清楚，并且也说了他已经找了我，而且二人感情也很好，让她也好好找一个，监控里他们有拉手过、最后分开时有拥抱过。我觉得他背叛了，看着他就恶心。他一直求我原谅，因为这六、七年无论人力、财力他付出很多，而且对我也很照顾，很好，很迁就，能感受到他很在乎我。我不知怎么办？

现在我觉得他是个不忠的人，他天天在哀求我原谅，因为酒后误事，让我伤心。他也决定以后戒酒，写好保证书，如果再有单独异性相处，他选择净身出户，所有财产公证给我。他以后一定能做好，让我给他一次机会，以后好好过生活，因为他付出的代价太大，投入的感情太深，他舍不得分手。
最近前夫也来求我复婚，前夫人品好，只是太听他妈妈的话了。双方的长辈已经动手过二次，后来离了，而且前夫不听我的话，酒驾被单位处分，条件确实要差一些，现在他说已经知错了，让我给他机会，我好痛苦不知怎么办。