上海音乐学院前身是革命家、教育家、思想家蔡元培先生和音乐教育家萧友梅博士于1927年11月27日共同创办的国立音乐院。首任院长为蔡元培先生。1929年9月更名为国立音乐专科学校。中华人民共和国成立后，于1956年定名为上海音乐学院，上海音乐学院作为中国历史最悠久的高等音乐学府，在多年的发展历程中已经在经典严肃音乐的创作、表演和研究方面积累了雄厚的学科基础。

自1949年至1984年，著名作曲家、音乐理论家、音乐教育家贺绿汀担任院长（后任名誉院长），为学校的建设及发展做出了卓越的贡献。1984年后，桑桐、江明惇、杨立青教授曾先后任院长。