不正当男女关系违反社会公序良俗，为道德所不容许，会受到道德的谴责。从法律层面来说，会受到两种处罚：民事责任、刑事责任。
（1）民事责任。如果出轨行为极其恶劣，法官认定了男方存在婚内过错，则会依据过错的程度在分割财产的时候直接倾斜分割。
除此之外，第三者的配偶还可以您侵害自己的配偶权为由提起精神损害赔偿，据现有的判例显示第三者插足双方婚姻导致离婚，且第三者明知一方有配偶，依然与之保持恋爱关系等，法院按照《最高人民法院关于确定民事侵权精神损害赔偿责任若干问题的解释》和《民法典》第一千一百八十三条，可判决第三者赔偿无过错方精神损害抚慰金等。
（2）刑事责任。刑事责任主要体现在出轨方及第三者触犯重婚罪、或者存在破坏军婚罪的情况。配偶既可以向公安机关报案，请求公安机关立案侦查，移交检察机关审查起诉；也可以直接向法院提起刑事自诉，要求出轨方及第三者承担重婚罪的法律后果。一旦婚外情双方当事人被认定犯有重婚罪时，可能面临着“二年以下有期徒刑或者拘役”的刑事处罚。
另外还需要提醒您，除了法律责任外，有可能受到党纪处分。党纪行政处分适用于特定身份的人，党政机关、事业单位、国企等体制内单位工作人员，公众对其寄予了较高的道德期望，婚内出轨的行为将受到公众的严厉指责。尤其是涉及婚外情的当事人是党员干部时，其发生婚外情的行为不为党纪国法所容，需要接受党纪处分及单位的行政处分。因此如果你是这种情况，女方得配偶向你的主管部门或者上级领导反映情况，提供相应证据，一旦查实，你不仅需要承受道德谴责，还需要接受党纪处分，如婚外情行为同时违反了单位纪律，需要接受单位给予的行政处分，严重会可以影响你职业前程。