1925年2月24日,李高山出生于广东茂名的一户农民家庭。因为家境困难,李高山很小时,姐姐就被卖做童养媳。十岁时,父母相继去世,李高山成为孤儿。村中一户人家被“抽丁”,生计无着的李高山,便顶替了参军名额,被编入粤军一五四师三营三连,担任勤务兵。