我和男朋友交往四年了，有一天偶然看到男朋友和女同事的聊天记录。里面的对话让我感到不舒服。他们不仅会分享自己买的东西，还会相约一起喝咖啡。我的男朋友和另一个女孩一起喝咖啡？我一想到这个场景就会很难受。这位女同事知道我的存在，我男朋友提到过我。这位女同事还说“改天叫嫂子一起出来玩。”

我把心里的想法和男朋友坦诚了。男朋友反而怪我大惊小怪，说只是同事而已。难道交了女朋友，就不能和异性同事交流了？为此，我俩大吵一架。我没有说男朋友不能和女同事交流，只是他和这位女同事的交流已经超出正常范畴。任何一个有女朋友的男人都不会和别的女孩子喝同一杯咖啡，这种行为已经越界。

男朋友认为他的行为没有错，指责我胡乱吃醋。我该怎么办？应该放弃这段感情吗？