如果快递被快递员私自退回，首先应该联系快递公司投诉该快递员的行为，并要求进行调查处理。同时，可以要求快递公司赔偿因此造成的损失，并要求重新派送或者退款。

在投诉时，可以使用快递单号和其他相关信息作为证据，并向快递公司提供详细描述情况的解释。

与此同时，也可以考虑向相关部门举报该快递员的违规行为，以便让其受到相应的处罚。