在記譜法還沒有問世之前,歐洲的音樂都靠口頭傳授。在祭祀舞蹈活動中,領唱者為了向歌手們指揮旋律,用手在空中劃出旋律線來。這種最早的指揮法在當時叫手勢術。在17世紀的希臘,壹些樂隊的指揮指揮時用腳蹬地,或揮動著手絹,還有的用手杖敲擊地板。指揮歌劇的人更是特別,他坐在鋼琴旁,手拿木棍,按著節奏敲擊桌子,發出砰砰砰的聲音,因而被稱之為伐木者。17世紀,有人又用鐵杖敲擊地板作為指揮。法國音樂家盧利就因用鐵杖指揮擊傷了自己的腳而致死。
18世紀初,歌劇作曲家哈賽在德國用大鍵琴指揮演奏,收到了意外的效果。接著又有人用譜紙卷成棒狀指揮樂隊。1802年,德國小提琴家史博在倫敦演奏時,首次使用了指揮棒。指揮有了這根魔棒,揮舞起來得心應手,於是指揮棒很快便風靡世界各地。