让四年级小学生不上学去捡垃圾属于违法行为。按照中国的《义务教育法》规定，适龄儿童和少年应当接受九年义务教育。此外，国家还出台了《防止未成年人从事危险性、有害性劳动的规定》等法律法规，禁止未成年人从事危险性、有害性劳动。

根据法律规定，对于未成年人，父母应当保护其合法权益，不得强迫、诱导其参与危险性、有害性劳动，学校和教师也应当遵守法律，确保学生的合法权益不受侵害。

因此，不应该让四年级小学生不上学去捡垃圾。学生应当安全有序地学习，在学校接受合理的教育，获得必要的知识和技能，为今后的人生奠定良好的基础。