越秀山佛山牌坊始建于清道光年间，光绪三年（1877年）重修。该牌坊用花岗岩建造，为四柱三间一楼的格局。
早年越秀山上建有观音阁，这座牌坊是观音阁的一部分。其名称中的“佛山”指的是有“佛”的“山”，这也表明了此地与佛教的渊源。
在明朝时期，越秀山上曾有一座观音阁，每日进香上供之人络绎不绝。关于观音阁还有一个传说，据说，明朝的伦文叙中状元后，遭到湖北人柳先开的嫉妒。柳先开请风水先生到越秀山，算出广州龙头越秀山与珠江形成龙吸水的聚才之气，于是柳先开找高人请了一尊凶神冒充观音供奉在越秀山上，并在门上挂了观音庙的牌匾，后来被一位尚书发现真相，将庙宇拆毁。