1936年(昭和11年)3月23日就任軍務局長，全力平息二·二六事件帶來的影響。同年12月晉升為中將。1937年3月，被任命為第十師團長。77事變後出征華北，38年跟中國第五戰區司令長官李宗仁指揮的國民革命軍在臺兒莊會戰，壹度受挫。同年6月，接替東條英機成為日本關東軍參謀長。
1939年5月，偽滿洲國軍隊跟蒙古軍隊在諾門坎發生小規模邊境沖突，後演化成為日本關東軍與蘇聯紅軍的正面對決。朱可夫指揮6個旅70,000名蘇聯遠東軍，以機械化部隊擊敗兩個師團約4萬名日本關東軍。18,000名日軍戰死或受傷。日本全國震動，平沼騏壹郎內閣請辭。關東軍司令官植田謙吉及參謀長磯谷廉介被撤職，磯谷廉介轉預備役。