65438年至0929年，南京政府修改了大學組織法，規定只教授壹種專門技術的學校壹律改為專科學校，並頒布了《專科學校組織法》。這時，國立音樂學院也改為國立音樂學院，由小任校長。他招募當時上海乃至全國都能找到的中外著名音樂家，或高薪聘請，或苦口婆心勸說。即使是語文、英語等普通課，他也是請水平最高的人來教。如易和(時任暨南大學中文系系主任)曾是該校的語文課教師。從65438年到0929年，世界著名的鋼琴家和俄國的哈洛夫住在上海。為了請他到國立音樂學院任教，肖多次登門拜訪，把月薪提高到400元(普通教授200元)。實踐證明，查·哈洛夫從那時起直到1942在上海逝世，對我國鋼琴教學水平的提高起到了重要作用。1930年秋，小聘請留美著名音樂家擔任教務主任。從那時起，他們為中國的專業音樂教育做出了巨大的貢獻。
國立音樂學院舊址在今天的民敬路918號。