扶正小三要爆料，请三思！

我是一个外地人，三年前认识了现在的先生。当时我先生有妻子，但感情非常差。原因是，他们原来是介绍认识的。我先生后来追了她，三个月后结婚了，准备一结婚就要孩子。谁知怎么怀都怀不上，去医院检查，那女的就自己爆出来，说自己打过3次胎，包括婚内一次!我先生很震惊，但选择原谅她。
不过，说是原谅，怎么会真正释怀?事情过去半年，我先生在一次酒会上遇见我，聊得很投入。但我们认识4个月才开始彼此有感觉。起因就是他忍不住对我倾诉家庭不幸，我很同情他……
一次他喝醉了，突然很冲动地问：“如果我离婚，你愿不愿意跟我?”我头脑一热就答“愿意”，然后我们发生了关系。我很爱他，但对这段恋爱没信心，以为他会像其他男人那样一直拖。但没想到他提出离婚，家人怎么劝也不听。他前妻自己知自己事，没有反对，很快就离了婚，他和我领了证。
但现在问题来了。他们一家人都说我是小三，又是外地人，而且不知道前妻打胎的事，所以他们都恨我，还把前妻接回家。请问我该怎么办?匿名