应当给予行政处罚。

因为纳税人未缴少缴税款违反了国家税收法规，应当承担相应的法律责任，而行政处罚是国家依法行使管理权力的一种方式。

此外，如果对于违法行为不进行处罚，将会导致其他纳税人对于税收法规的不重视，有损税收的公平和稳定。

在行政处罚的具体处理中，应当根据违法情况的轻重程度，适当进行罚款、行政拘留、吊销税务证照等惩处。