处男男友嫌我不是处女要分手，我该怎么挽回感情

你好，这个男友是通过以前的男朋友认识的，但是男友说一直以来都很介意我和他朋友在一起过发生过关系，心里有道槛过不去，觉得我们没有未来。
我和他在一起了也发生过关系，我是他第一个女人，并且他也知道我曾经有两个男人，他是第三个。
怎么办，他怎么才能迈出这道槛？他对我很好的，但是一想到这个问题他就很纠结，他说有心结，也是最近一次争执他为什么不带我回家的时候他终于说出口，他说一直介意这个事情，相当介意。还说挑明了就没有必要在一起了。但是我觉得很可惜，就和他说他是不一样的，不要轻易放弃。于是就没有分手，虽然没有分手但是事情还是没有解决，他还是没有迈过那道槛。
事情是这样的，吵架是因为前男友也就是他朋友电话我，而他显得很畏缩，我就觉得他应该去找前男友理论。他说，你不要理他就好了，我就觉得他这个态度太可悲。我说你是不是觉得在他面前抬不起头，你是不是介意我和他在一起过，然后他说，是，我相当介意。他第一次这样说出口我吓到。我没有想到他这么介意，他还说，你都说了，你是因为认识他才认识我的，如果你们只是朋友也好啊。我就说，那都是过去的事情了，我不觉得我有什么错，然后他就开始暴走，生气了，就和我说，话都挑明了我们到此结束吧。