夫妻双方在离婚的时候，可以选择两种方式，一种是协议离婚，另一种是诉讼离婚。如果双方可以对财产分割、债务以及子女抚养等进行协商，那么就选择协议离婚的方式，协议离婚的时候签订离婚协议，将互相约定的各项事宜明确到纸面上。这份协议对日后双方的行为都具有约束作用。那么如果离婚协议中约定了高额的赔偿，能不能不给呢？此时需要看双方是否利用这份协议领取了《离婚证》。

如果您双方还没有领取《离婚证》，即使离婚协议已经签署，这份协议也没有生效，您可以与对方重新协商离婚协议的具体内容；

如果您双方已经利用这份离婚协议领取了《离婚证》，该协议已经生效，您应该按照协议规定的内容履行相应义务。如果您没有按照离婚协议的内容履行，对方可以到法院起诉您，在诉讼过程中法官调解的可能性比较大，您也可以提出相应的证据比如您实在无力负担高额的损害赔偿或者能证明当时在签署离婚协议时，不是您的真实意愿，尽量减少损害赔偿的数额。

需要说明的是，如果您无法完成上述举证，您不仅需要按协议约定履行支付义务，同时还可能需要承担协议约定的违约责任。

所以还需要根据您的具体情况来判断，有其他疑问的话可以随时咨询离婚律师了解情况。