当涉及到违约退房的违约金时，这部分金额并不需要缴纳土地增值税。

根据《土地增值税暂行条例实施细则》，转让房地产所获得的收入涵盖了所有相关经济收益，包括转让的全部价款。在留言中提到的情况中，由于房地产并未实际转让，因此违约金作为非经济利益的一部分，不计入应纳税所得额，从而不需要缴纳土地增值税。

土地增值税适用于那些通过转让国有土地使用权、地上建筑物及其附着物并从中获取收益的单位和个人。其计税基础是转让所得减去法定扣除项目后的增值额，但不包括因继承或赠与而无偿转移房地产的行为。