根据《税务登记管理办法》（国家税务总局令第7号）第二条规定，企业在外地设立的分支机构和从事生产、经营的场所，个体工商户和从事生产、经营的事业单位，均应当按照《税收征管法》及《实施细则》和本办法的规定办理税务登记。

前款规定以外的纳税人，除国家机关、个人和无固定生产、经营场所的流动性农村小商贩外，也应当按照《税收征管法》及《实施细则》和本办法的规定办理税务登记。

因此，幼儿园作为从事教育服务的单位，也应按照规定办理税务登记。