Селение основано на южном берегу Белого моря, на реке Сума в XV веке новгородскими переселенцами. Является одним из самых древних поморских поселений. Принадлежало Марфе Борецкой (Марфе-посаднице). Жители села занимались рыболовством, судостроением, солеварением. В 1452 году Марфа Борецкая передала село во владение Соловецкому монастырю. В 1576 году в ходе Ливонской войны село было значительно разорено и сожжено. Для защиты земель от дальнейших набегов монастырь построил крепость в селе. Местные крестьяне помимо прочего отныне несли и воинскую повинность. В 1613 году острог подвергался осаде шведских войск, но не был взят.
В 1704 году Сумский острог был приписан к Олонецким горным заводам. Часть населения обязали покинуть село для исполнения заводской повинности. Вмешательство Соловецкого архимандрита позволило вернуть жителей на родную землю.
Сенатским указом от 12(24) июля 1806 года селение Сумское преобразовано в посад.
В 1838 году в селе было открыто первое в Поморье приходское двухклассное училище. С 1868 года при нём открыли мореходный класс, подготовивший многих известных капитанов, в частности, уроженца села, известного полярника Владимира Воронина.
В 1870 году село посетил великий князь Алексей Александрович, позже в память о своём посещении приславший в дар мореходную лодку, которая ныне является историческим памятником, охраняющимся государством. Среди архитектурных памятников — амбар Соловецкого монастыря постройки 1757 года, рыбный двухъярусный амбар (вторая половина XIX века), дом № 79 (конец XIX века). От Сумской крепости сохранились только часть стены и восьмиугольная воротная башня с шатровым верхом. В 1930-е годы они были перевезены в подмосковный музей, а в 70-е восстановлены в музее в Коломенском. В самом селе сохранились следы рвов и валов. Место, где располагался Сумский острог, охраняется государством.
До 30-х годов XX века в селе были каменная Никольская церковь (1693), деревянная Успенская (1768) и деревянная шатровая колокольня. В 90-е годы была вновь воссоздана церковная община. В старинном доме купцов Шуттиевых прихожане обустроили домовую церковь в честь Покрова Пресвятой Богородицы.
В ноябре 2005 года было определено место, установлен памятный крест (ранее здесь стоял гостиничный корпус Соловецкого подворья, где останавливались паломники) а в 2013 году сооружена деревянная церковь в честь преподобного Елисея Сумского, соловецкого чудотворца, — первый и единственный храм в России в его честь.
Сохраняется братская могила советских воинов, погибших в годы Советско-финской войны (1941—1944).