婚外情陷入太深怎么办 最终我还是离婚了

前不久，我出轨了，我的出轨对象是一起共事的同事，他比我级别高，属于合伙人的类型。我只是一个小员工，崇拜他，喜欢上他也是理所当然的。

他很优秀，有能力，有魄力，白手起家，他老婆也不错，不插手他公司的事。他有三个孩子，两个儿子一个女儿，在外人眼里，他们是很幸福的家庭。但是他说他跟她没有爱情，只是在一起搭伙过日子而已，我出于同情，经常安慰他，而且找他吃饭。鬼使神差的，我们就都陷入了婚外情。
我也有自己的家庭，有孩子，我的婚姻一波三折，磕磕绊绊，现在家庭生活在别人眼里也是算幸福的。可是现在，我们陷入婚外情有一年多了，我们痛苦过相爱过挣扎过分开过，可是最后还是断不了。他老婆和部分亲人已经知道我了，可是没有捅破，他不允许他们找我，现在他老婆要求他必须做出选择。

他说可以放弃一切跟我在一起，可是我害怕他只是一时冲动，怕他离婚一无所有众叛亲离，我的爱不足以支撑他，害怕看到他失落无奈后悔的样子，还有我自己，我也害怕面对家人，面对我跟他共同认识的人。而且我也不知道怎么跟家里那位提出离婚，因为他为这个家在很辛苦的付出。
可是我心里真的没有他，最多只是亲人的感觉，好痛苦，眼前我还在他公司做事。我想离开，放手，可是心里好难受，好舍不得他，忘不了他对我做的所有的一切，再加上他死活不放手，看到他痛苦的样子，我真的觉得不该跟他开始，不该动那些不应该动的心。

因为他逼的我太紧了，我又不想一直背叛老公，所以就这样提出了离婚，孩子我们共同抚养。看着我抛弃了家庭，情人也离婚了，说要离婚之后娶我。但是他妻子死活不放手，所以我们两个人一直这样耗着。
有时候我在想，如果我们都离婚了，以后在一起，会不会幸福呢？ 有的时候我也幻想过，跟自己爱的人生活，可是要跨过那么多道坎，最重要的是，怕他觉得新鲜感一过，觉得生活也就这样，也怕自己会处理不好和他以后的日子，分开又舍不得，进一步，又伤害那么多的人，这段感情真的值得吗？