困惑：前夫要复婚 说他最相信的人是我

我和前夫是八十年代的大学同学，结婚19年，3年前协议离婚协议，孩子跟我，因孩子判逆期我无能力管教，无奈把孩子交给前夫。期间孩子告诉我，前夫家有其她女人的东西（这时还未正式办理离婚手续。）那女有正式工作，同她丈夫一个单位，她丈夫也有情人，但未离婚。后那女到前夫公司临时打工，他们很早认识，甚至在他与我分居前就已暗度陈仓，他们曾想结婚，但那女丈夫不同意离婚，去年那女因孩子没人照顾，回原单位上班。
前段时间，前夫提出复婚，我说还没想好，一周后又主动找我，说他想一个人生活，还想移民到国外。让我觉得他在耍我。我查到他部分电话记录，他们仍频繁通话，每次都十几分钟（他们不同城。）他这样的行为让我觉得他很无耻，甚至认为是一种流氓行为。
他是典型的凤凰男，13岁没了爸爸，爸爸死后留下一笔债，他妈妈没文化，属夫死从子型女人。他上大学家里没出一分钱，他的被褥别人送的，进校靠助学金，靠奖学金。毕业分配本来我们没在一起，后想了很多办法，才能在一起。
婚前他对我真好，婚后他就没再对我好过。我们现在的城市都不是我们老家，婚前我们住单身宿舍，因工资低，还经常挨饿，就这样的条件，他还了父母欠的债。不瞒你说，连买结婚的鞭炮钱都要算计着用。都说婚姻是赌博，在这场赌博中我输了。
若干年后，我所在单位解散，我没了工作。为生活，，我们成立了公司，我负责管理和财务，他负责销售，经过几年奋斗，条件渐好。之后，一有矛盾，他就要离婚。前后3-4年，他提3次离婚，最后一次终于离成。在他提离婚那几年，他经常说我已经老了，没人要了，他就是存心恶心我。离婚后我就离开公司，分了一些钱。我无业在家。