學堂唱樂到底也只是普及運動，可以認作是中國現代音樂的發端，真正起步還要從專業音樂院開始。中國傳統概念裏,國民音樂是個不存在的名字，古來音樂分為兩種,壹是文人自娛，作為修身養性的手段。如果音樂用以牟利，便是伶人，屬於傳統中的賤行。上海雖然得風氣之先，但在1927年時，囿於傳統觀念，國立音樂學院招生異常困難，扛出蔡元培先生作虎皮，才招來學生二十余名。
便是在如此窘境下，上海國立音樂學院依舊嚴苛教學，培養出了眾多菁英，前十年畢業生壹***五十四名，其中有李獻敏、裘復生、喻宜萱、丁善德、戴粹倫、勞景賢、胡靜翔、陳又新、劉雪庵、胡然、洪達琦、黃廷貴、張雋偉、李慧芳、張昊、譚小麟等，都是可入中國音樂史的大家。150名肄業生中，也不乏賀綠汀、江定仙、陳田鶴、冼星海、張曙、呂驥、蔣風之、洪潘等棟梁。能有這樣的成果，最大的功臣無疑是蕭友梅先生。
上海國立音樂院首任院長是蔡元培先生，最早提出創立音樂學院，則是蕭友梅先生。蕭先生是學院工作的實際主持者，當學院成立後，蕭友梅先生任教授兼教務主任。蕭先生是中國最重要的音樂教育家，中國現代音樂教育的奠基人。生於廣東香山，即為現在的廣東中山人。1901年赴日本東京音樂學校留學、求學東京帝國大學。1912年再赴德國，進入入萊比錫音樂學院學習作曲理論，1916年以論文《十 七 世 紀 以 前中國管弦樂隊的歷史研究》獲博士學位。
1928年蔡元培先生辭去院長職務，蕭友梅先生隨即被扶正，但到了次年，政府修正大學組織法，學院降級為國立音樂專科學校。雖然被降級，但國立音專的水準並未降低，蕭友梅為招攬人才，可謂苦心積慮，不但國內音樂家多被網羅麾下，副課也請得壹流學者任教。當時國文課的教師，有易韋齋、龍榆生等人，筆者讀過龍榆生先生的唐宋詞格律，是位學識壹流的大家。1929年世界著名鋼琴家、俄羅斯的查哈羅夫旅居上海，蕭友梅先生聞訊後多次登門，並將月薪提至400元，延請查哈羅夫任教，查哈羅夫直至1942年病逝，都壹直停居在上海，讓中國鋼琴教學水平提高了很多，其影響延續至今，鋼琴系依舊是上海音樂學院的教學強項。
1930年留美著名音樂家黃自回國，即被聘為教務主任，蕭黃聯手，國立音專由此進入盛世。經過前幾年的慘淡經營，國內音樂教育的環境終於有了變化，音樂系在各大學中開始設立，其時北平有燕京大學，中央教育大學，國立北平大學女子文理學院設立了音樂系，杭州有國立藝術專科學校，私立學校跟隨風尚，也開辦音樂專科，如京華美術專科學校，私立廣州音樂院等。在眾多音樂專科中，上海國立音樂院無疑個中翹楚。
蕭友梅辦學采用國際通行的專業音樂教育標準，逐步推行學分制。該校師資也是中外結合，除前文提到的查哈羅夫，在國立音專從教的外籍音樂家，還有富華、佘甫磋夫、蘇石林、阿薩科夫、拉查雷夫等人。對於留學歸來的音樂家，他更是加以重用。黃自先生擔任教務主任，擔任了幾乎所有的作曲理論課程，對學校的發展大有建樹。
黃自是上海川沙人，1924年赴美留學，在歐伯林大學攻心理學，後轉入耶魯大學音樂學院，獲音樂學士學位，在美期間創作的管弦樂曲《懷舊》，是國人創作的第壹首交響樂作品，同時也是國外交響樂隊演出的首部中國交響作品。回國後任教上海滬江大學，1930年被聘為國立音專理任教務主任兼作曲教授。黃自存世作品不多，但涉及到的體裁廣泛，很多都開中國之先河，前文提到的官弦樂曲《懷舊》是中國人創作最早的交響樂，《長恨歌》是中國最早的清歌劇，抗戰開始後他創作了最早的抗日歌曲《抗敵歌》、《旗正飄飄》，為電影《都市風光》譜寫的片頭曲，也是器樂曲與中國電影的第壹次親密接觸。當時上海國立音樂院還有壹大批從留學回來的音樂菁英，有周淑安、吳伯超、應尚能、李惟寧、蕭淑嫻、陳洪、趙梅伯等人。
在音樂師專任職教師中，還有位傳奇人物，筆名為青主，原名廖尚果，早年是辛亥革命參與者，後赴德國學習法律，旁修鋼琴與作曲理論，大革命時期被國民政府通緝，在蕭友梅掩護下藏身上海。青主在上海期間任國立音專校刊編輯，後為季刊《樂藝》的主編，寫了大量音樂評論，並將此期間所創作的聲樂作品匯編為《音樂》和《清歌集》兩本書，其中翻自蘇東坡的“大江動去”，取材李之儀的“君住長江頭”，至今還常被演唱。青主的美學理論，涉及到藝術哲學與音樂藝術，是早期音樂美學系統研究的論者，受康德，叔本華，李斯特，以及“表現派”理論家赫爾曼.培爾等主觀唯心哲學的影響。 1935年國民政府取消了對青主的通緝，於是他抽身遠離，此後再不涉足音樂，但他所遺留下音樂觀，被後來中國音樂家作為“藝術至上”“為藝術而藝術”的依據。
到了國立音樂院時期，學堂樂歌時以留日學生為主的局面，變更成歐美海歸為主導，這說明音樂啟蒙已經完成，開始向專業縱深發展。蕭友梅在教學中精選了中外經典優秀音樂作品作為教材，逐步建立我國音樂教育教材體系。當時的壹些音樂舉動，如編寫出版“國立音樂專科學校叢書”，不定期舉行音樂會，成立“教育音樂播音委員會”，定期在上海中西電臺廣播音樂，並在《新夜報》上開辟“音樂專刊”，這是我國最早的專題音樂廣播和報紙音樂專欄。都為上海乃至全國的現代音樂奠定了基石。
上海還是中國歌劇與舞劇的發祥地，黎錦輝的《麻雀與小孩》是最早的歌舞劇，此後邱望湘的《天鵝》、陳田鶴的《皇帝的新衣》、張曙的《王昭君》、聶耳的《揚子江風暴》、陳歌辛的《西施》、張昊的《上海之歌》、錢仁康的《大地之歌》、阿夫夏洛穆夫的《孟姜女》等，以及阿夫夏洛穆夫的舞劇《琴心波光》、《古剎驚夢》等相繼出現，促成了我國歌劇與舞劇的產生。