根据《社会保险法》规定，用人单位至少应当有1名在岗职工，即便只有1名职工也需要缴纳残保金。一般来说，单位员工总数达到2人及以上，则需要依照《社会保险法》规定，缴纳残疾人职工基本养老保险费的同时，按规定缴纳残疾人就业保障金。同时，不同地区、行业也可能会有不同的规定，请单位根据当地相关规定进行缴纳。