我和老婆该不该离婚

我和我老婆结婚好几年啦，【我老婆是那种无论身材和长相都很好的}01年的春节过完，他老是很晚才回家。我当时也没在意。今年5月份在他手机上发现一些暧昧短信，后来我把他的通话记录拉出来。好多都是同一个号码。我问他是怎么回事，他说是同事关系，后来我调查了一下那是他上司，比他大10多岁，我就找人把他上司打了一顿，我也和她大闹了一场非要离婚，可是我很爱我的妻子，经不住他有事跪着发誓说以后和我好好地过。我就原谅她啦，可是最近有发现他老是很晚回家。我拉他的话单也没有异常。可是我总觉有事，可是我也很忙，我该不该和老婆提出离婚。