如果男方父母没有协议或者约定是借给您的，那么这笔钱属于赠与，赠与完成，没有法定撤销权的事由，男方父母是不能要回的。

如果父母在给您两万块钱时你们之间有相关的协议说明为借款，或者没有书面协议特别约定为借款的情况下但有其他证据材料能够证明此笔款项为借款，由于您未归还，所以离婚时，男方父母作为债权人，当然有权要回。没有约定为借款且也没有相关证据材料证明为借款的情况下，这笔钱属于赠与，由于钱已经交付给您，赠与已经完成，没有出现法律规定的法定撤销权的情形，则离婚时男方父母不能要回。

属于法定撤销权的情形为：

(一) 严重侵害赠与人或者赠与人近亲属的合法权益;

(二) 对赠与人有扶养义务而不履行;

 (三)不履行赠与合同约定的义务。且赠与人的撤销权,需要在自知道或者应当知道撤销事由之日起一年内行使。