允许，但要有用地指标和城建手续。

不然算违章建筑，从严格意义上讲，是指违反《土地管理法》、《城乡规划法》、《村庄和集镇建设管理条例》等相关法律法规的规定动工建造的房屋及设施。

你的情况是有使用这个土地种植的权利，但没有在这个土地上建筑房屋的权力，即使可以，也要取得建筑许可证，什么都没做就擅自建设的建筑100%属于违章建筑。