暗卫生间墙上方小窗户材质需要根据使用和安全要求进行选择。常见的包括玻璃、有机玻璃、钢化玻璃、隔音玻璃等。其中，玻璃的透明度好，美观大方，但是比较容易破碎，安全性差；钢化玻璃则具有强度高、安全性好等特点。另外，如果需要增加隔音效果，可以选择隔音玻璃。因此，在选择小窗户材质时，需要综合考虑使用和安全需求，选择合适的材质进行安装。