买房子在银行按揭贷款，银行说我信用不好直接给我上浮了20%的利率，也没通知我，我完全不知道，贷款放下来才知道，这样我肯定不干要投诉他们，但他们总有有理由，最后我选折退房子，不买了，这样会不会算我的违约金？