老公不求上进该离婚吗 他一句话让我很无奈

我不是个贪慕虚荣的女人，我只是想让我的老公努力一点，但他现在不求上进，我真的有点失望并且想要离婚，我不想我以后的生活就仅限于此，想过好日子这不是人之常情吗？
老公今年35，是家里三个孩子中的最小，在县城事业单位上班，工资4000每月，但空闲时间还算多，早九晚五的上下班，挺顾家的，也算是勤快的，家务活也做，下班就是打游戏.

我也是事业单位每月3200，房租1700，儿子才一岁两个月，每次我一提起兼职啊，做点小买卖什么的，他不是说这不行就是那不行，说重了吧怕伤了他的自尊心，说轻了吧他又没感觉。
结婚好几年了，从婚前开始说要做点工作以外的事儿，可到现在一点动静也没有，真的是一点上进心都没有啊，男人光顾家也不是事儿啊!我对他有点失望了。
身边的同事朋友买了车买了房，只有我们家一直在原地踏步，他们公司招的应届毕业生，工资都过万了，只有他，每月几千还乐的清闲。
我每次说换一份工作，他都理直气壮的说，换一份工作能有现在清闲吗？我竟无言以对，我怎么当初就嫁给这样的一个男的了！