張湘祥出生于福建龍巖。16歲時，張湘祥是中國男子舉重隊里最年輕的隊員，也是唯一一個利用業余時間練習舉重被選入國家隊的運動員。

2000年的奧運會，張湘祥發揮穩定，獲得了男子舉重58公斤級第三名的好成績。悉尼奧運會的出色表現，讓17歲的張湘祥成為雅典奧運會上的奪金熱門人物。就在張湘祥備戰雅典奧運會時，一場疾病讓他幾乎與死神擦肩而過。張湘祥在這樣消極的情緒和困惑中度過了四年，而他的隊友楊帆、邱樂、毛角在國內外各種大賽中表現出色。2008年的全國舉重奧運選拔賽上，張湘祥以一個冠軍向人們示意，他又回到了這片熟悉的賽場。