关于如何对待他的两次背叛的问题

问：

认识七年，拍了五年拖。结婚前半年他带了个女人回来宿舍睡了三个月；结婚后半年人又带了另外一个女人回来睡了半年我才知道。这两个女人都是他厂里做事的。他是厂里的主管。我很爱他，一想起这些我的心很痛，我该怎么办？
第一次问题补充：我是否该离开他？结婚前那时我刚回家几天，他就叫别人出面请那个女人出来宵夜，跟她说我们分手了，几天后就带她回宿舍同居了三个月，这三个月中我们都有通电话发信息，我还去过他那几次都没有发现什么，直到那天我生日才看到那个女的帮他收内裤才想到会有什么事发生。第二个又是跟她说我对他不好如何如何的，我经常不回来的时候就一起睡。他们全厂的人都知道了，他俩怎么还有脸在那上班？我该怎么做？这样的人格是否很有问题？是否不该再跟他下去？是否该跟他离婚？
第二次问题补充：我有和他谈，问他为何这样做？他说我发脾气就不洗他的衣服，他要的时候不给(我不知道我为什么会对做爱没兴趣，有时会讨厌做那个是不是我的心理有问题？)，因为每次都很快进入正题，而我又没有湿润很痛很不舒服，又从来都没有感觉，他每次都问我有没感觉，知道没有就拉着脸。一直以来我都很相信他对我的爱是忠诚的。所以都没有想到这方面更没有想到会发生这样的现。事发之前曾经有人提过我说看见几次他带过女人回来，我问他很多次都否认有这样的事。我又捉不到在场证据。很苦恼!就算是他刚说的话都不认账。以前和他同住的人说的情况和他现在所说的都不一样，不知道信谁，可是和他同住的是他的亲戚啊。那时少在家是我上培训班，想多学点东西而已，一星期回来三晚。他对我也正常，天天都说很累，那个也少做了。是否我太不留意他啦？一切是否都是我的错？是否我的疏忽导致他这样的报复我？我犹豫不想离开他，因为我还爱他，毕竟五年的感情了。我放不开。