“斯沃斯莫爾”的得名源于教友派的早期歷史。在英格蘭,位于坎布里亞郡的斯沃斯莫爾禮堂是Thomas和Margaret Fell在1652年的住所,當時George Fox剛從1951年在藩德爾山上舉行的主顯節(jié)下來視察。由于George Fox使得Thomas和Margaret Fell和附近村莊的居民信服了Fenmore of Friendly,因此這次視察演變成了長期的交流,而“斯沃斯莫爾”也被用來指代朋友的首次聚會。
該學校于1864年建立,斯沃斯莫爾學院其發(fā)起者是一群教友派成員,他們參與了宗教界舉行的費城年會、紐約年會和巴爾的摩年會。Edward Parrish是首任校長,而Lucretia Mott是那些堅持男女合校原則中的一員。Solomon Asch和Wolfgang Köhler這兩位斯沃斯莫爾學院的教授是著名的心理學家。Asch于1947年進入該校,一直指教到1966年,而Köhler在1935年來到該校,直到1958年退休。在斯沃斯莫爾學院誕生了著名的Arch從眾實驗。