隨著越來越因《生活》雜誌配給式的工作感到不滿，史密斯於1954年底辭去了在那裏的工作，1955年成為了瑪格南圖片社（Magnum Photo Agency）的壹員，在隨後的三年裏，他向《生活》雜誌、《體育畫報（Sports Illustrated）》、《大眾攝影》和其他刊物投稿。
圖片編輯斯蒂凡·洛倫特（Stefan Lorant）需要壹些反應匹茲堡的照片制作畫冊。而這本畫冊的收入將被用到壹個城市復興工程。史密斯接受了這項工作，先期預支了史密斯500美元，項目完成時史密斯將壹***得到1200美元作為報酬。這項工作本應在兩至三周之內完成。然而史密斯卻將它做成了壹個長達三年的工程，“匹茲堡”照片故事，而且最終基本上沒有完成。然而，史密斯在這次任務中發現了擴展照片敘事形式的機會。史密斯搬到了匹茲堡居住，在公寓裏設立了壹個暗室，雇傭了壹個助理還有壹個導遊。辛勤工作的他，將自己的很多錢投入到了這個項目之中。在1955年的五個月和1957年的幾個星期的工作中，史密斯壹***拍攝了11000張底片。由於史密斯的時常自暴自棄，固執和壹些法律上的問題，這項工作進行的舉步維艱。洛倫特的書最終於1964年面世，史密斯的照片有64張入選。
為了挽救史密斯的作品，瑪格南與《展望周刊（Look）》和《生活》雜誌達成了出版的協議。但因為史密斯對雜誌社的版面布局和他們布局的出爾反爾感到不滿，這項協議最終落空了。他想要把照片組合成擁有豐富的主題，並包含很多隱喻的整體。“匹茲堡”的故事從來都沒有以任何類似“史密斯的書”的形式出版發行過。他自己排版的最完整的版本，出現在1959年的《攝影年報（Photography Annual）》上，用了37頁刊登了88張照片。史密斯認為這個工作很失敗，但匹茲堡項目被認為是壹個卓越的創舉，推動攝影故事向廣闊的空間發展。
在這（拍攝匹茲堡故事期間），史密斯的婚姻結束了，他的健康惡化的很嚴重，並且官司纏身。他欠了瑪格南圖片社很多錢，自己則破產了。他將他的家庭置於非常窘迫的境況，盡管他曾兩次獲得古根海姆獎金（Guggenheim Fellowships）。
很快就又有了任務。1956年，史密斯受美國美國建築師協會（American Institute of Architects）的委托，拍攝壹些美國當代建築的彩色照片。史密斯第二次造訪日本是1961年的訪問日立（Hitachi Corporation）公司之行。他被邀請在那裏待上壹年的時間，拍攝公司和雇員。在壹篇攝影大師（Masters of Photography）網站上的文章中，托尼·海登（Tony Hayden）回憶起曾在1969年8月的伍德斯托克音樂節（Woodstock Festival）上見過史密斯。史密斯是在紐約完成對歌手鮑勃·迪倫（Bob Dylan）的拍攝後來到伍德斯托克的。史密斯和海登***度了在那裏的第壹天下午，邊走邊拍照。海登回憶說史密斯似乎很喜歡這段平靜的時光，感覺就像在家壹樣。海登寫道，“他是那麽的投入，感覺就像和照相機融為壹體，成為照相機的壹部分，融入到他所拍攝的對象的世界中。”