在記譜法還沒有問世之前，歐洲的音樂都靠口頭傳授。在祭祀舞蹈活動中，領唱者為了向歌手們指揮旋律，用手在空中劃出旋律線來。這種最早的指揮法在當時叫手勢術。在17世紀的希臘，壹些樂隊的指揮指揮時用腳蹬地，或揮動著手絹，還有的用手杖敲擊地板。指揮歌劇的人更是特別，他坐在鋼琴旁，手拿木棍，按著節奏敲擊桌子，發出砰砰砰的聲音，因而被稱之為伐木者。17世紀，有人又用鐵杖敲擊地板作為指揮。法國音樂家盧利就因用鐵杖指揮擊傷了自己的腳而致死。
18世紀初，歌劇作曲家哈賽在德國用大鍵琴指揮演奏，收到了意外的效果。接著又有人用譜紙卷成棒狀指揮樂隊。1802年，德國小提琴家史博在倫敦演奏時，首次使用了指揮棒。指揮有了這根魔棒，揮舞起來得心應手，於是指揮棒很快便風靡世界各地。