传说有一年，八仙赴王母娘娘蟠桃宴会，喝得东倒西歪。返回的路上，波涛汹涌的东海水挡住了去路，他们每人拿出一件宝贝，坐在上面过海。宝贝发出的耀目光芒被龙宫三太子发现了，于是趁八仙不防，抢走了何仙姑的荷花，八仙一气之下大闹龙宫。

张果老年纪大脾气倔，忍不下被龙王打得四散奔逃的气，从很远很远的地方背了一口袋山土，骑着心爱的小毛驴，找逃回钟离县的钟离先生，合计去填平东海，报复龙王，半路碰上了孙悟空。

孙悟空念着当年东海老龙王赠送定海神针的情义，把金箍棒变成一根锈花针，划破了张果老装山土的口袋。等张果老到了风景宜人的淮河之滨钟离县时，才发现一袋子山土几乎都漏光了，还剩口袋底余下的一点土，不够填海了，于是甩手放在钟离先生那里，就成了一座山，也就是如今城区西南的张公山。

因为化山的土是张果老背来的，所以后来人们叫它“张公山”。