归双方共有。因为房产证上是双方的名字。虽然是男方出资但是你自愿登记了女方名字属于赠与，没有特殊原因不好撤回。既使有赠与协议但没有附加条件也不好撤回。