生於天保六年（1835），也有壹說他生於天保七年。是常陸國誌陸本堂家（旗本）鄉目付鈴木專右衛門的長子。然而，父親專右衛門卻因為同家老起了沖突而閉門蟄居、脫藩。伊東在母親的家鄉長大，在水戶學習學問和劍道。家族成員包括父、母、姐、弟（三木三郎）、妹二人（壹人死亡）。