前夫后悔离婚，一大家子来单位威胁我复婚

昨天我的前婆婆，前大姑子，前小姑子来我单位找我，当着许多人的面把我大骂一顿，说我忘恩负义，还诬陷我偷人，所以才坚决和前夫离婚。  
我性格内向，既不擅长吵架，一个人也说不过三个和泼妇差不多的农村妇女。  
我生活在一个排不上号的小县城，离婚对很多人来说都是丢人的事，更不用提说是女人偷人离婚了。  
今天一早领导找我谈话，让我处理好自己的事情，别影响单位的形象。  
我心里真是一肚子委屈，却没处可说。  
离婚确实是我主动提出的。