婚外性行為的直接受害者就是參與婚外性行為的雙方，而間接受害者是他們的配偶和子女。為什麼有婚外性行為的人本身還受害呢?我們先分析一下。
無論男性還是女性，在他們有婚外性行為之後，都會有一定程度的犯罪感，認為對不起丈夫或妻子以及子女，又擔心事情敗露，整日憂心忡忡，處於短暫的快樂和長久的恐懼之中。
男性
事業成功的男性，有婚外性行為後容易貪圖安樂、不思進取，而萬一事情敗露，往往是身敗名裂，前程盡毀。他們在妻子與情婦之間疲於奔命，身體不適、力不從心。如果第三者不甘心於長期的婚外關係，想來一個喧賓奪主，勸其離婚，男方更是騎虎難下，他將面對家庭、社會和情婦三方面的壓力，此時婚外性行為的樂趣早已化為煩惱，令其痛不欲生，無論是狠心丟下妻子與子女，還是捨棄情婦，內疚感將伴隨著他，永不消失。
女性
女性如果未婚就成為第三者，起初往往心安理得，她們可以放棄做正式妻子的要求、不求名份、甘心暗中相愛、與人分享同一男人。但日子久了，她們就會發生態度轉變，首先是感到長期偷偷摸摸令人難以忍受，而當節日或生病之時，情人難以來到身邊，看到其他人夫妻成雙成對出出入人，羨慕之情油然而生。女人有個天性就是喜歡孩子，第三者很難有自己的孩子，這也會讓她們嚮往不已。而第三者的家庭與社會壓力則更大，男大當婚，女大當嫁，該嫁不嫁總要有個理由吧!一遇到提親牽線的紅娘，她們真不知如何是好，風言風語在所難免。
而未婚第三者的最可憐的結局是錯過了結婚最佳時機，當她們最後認識到這樣下去永無結果，想終止婚外性行為去建立自己的家庭時，已是「暮去朝來顏色故」，老大難做他人婦;降低標準嫁一個且自己不愛的人，自然不甘心，但此時已無可奈何，只有惋惜。
已婚婦女捲入婚外性行為結局往往更加悲慘，中國社會畢竟是一個傳統的以男人為中心的男權社會，因此對女人生活作風的標準較高。男人有婚外性行為被妻子發現後，妻子多數將責任推諉於婚外的女人，認為丈夫受其勾引，只要丈夫回心轉意，夫妻仍可合好如初。而丈夫如知道妻子有婚外情，則認為履水難收，破鏡難圓。他們無法忍受帶綠帽子的社會壓力，往往以離婚為結局，而子女對這樣的母親也難以同情和接受，此 時拉她下水的情人早已逃之夭夭，回到妻子的懷抱里，經過一番刻骨銘心的檢討和痛改前非的保證之後，重溫舊夢，而此時的她在孤獨、內疚中煎熬。
配偶
有婚外性行為者的配偶自然也是受害者，首先造成了家庭生活不和諧，其次是家庭破裂的危險。應該說更多的受害者是女性。她們的丈夫在功成名就或經濟能夠獨立之後已不再需要她們，而此時她們已人到中年，無論相貌還是身體都不能與年輕人相比，丈夫往往首先提出離婚，即使她們可以得到一些財產，今後的生活婚外性行為常常導致家庭破裂，無論是今後的單親家庭，還是重組家庭，缺父或缺母，繼父或繼母對孩子的童年生活均會造成不良影響，容易形成某些性格缺陷，因為他們缺乏應有的父愛和母愛，沒有和諧的親密的家庭氣氛。
總而言之，婚外性行為是一種錯誤的生活方式，它與人與己弊多無利，且違反國家法律和社會倫理道德規範。人們應該對此提高認識，加強警惕。