Yaygın inanca göre, Karadenizli Hristiyan Rumlar Mela dağındaki mucizevi Panagia ikonosundan bir şey diledikleri zaman 'stou mela' derlermiş, bu kelime zamanla Sumela'ya dönüşmüş, bu yüzden manastıra ‘Karadağın (Mela dağının) bakiresi' de denilmektedir.

Kilisenin MS 375-395 tarihleri arasında inşa edildiği sanılmaktadır. Anadolu'da sıkça rastlanılan Kapadokya kiliseleri tarzında yapılmış, hatta Trabzon'da Maşatlık mevkiinde benzeri bir mağara kilisesi daha vardır. Kilisenin ilk kuruluşu ile manastır haline dönüşümü arasındaki bin yıllık dönem hakkında fazla bir şey bilinmemektedir. Karadeniz Rumları arasında anlatılan bir efsaneye göre Atina'lı Barnabas ile Sophronios adlı iki keşiş aynı rüyayı görmüşler; rüyalarında, İsa’nın öğrencilerinden Aziz Luka’ın yaptığı üç Panagia ikonundan, Meryemin bebek İsa’yı kollarında tuttuğu ikonun bulunduğu yer olarak Sümela'nın yerini görmüşler. Bunun üzerine birbirlerinden habersiz olarak deniz yoluyla Trabzon'a gelmiş, orada karşılaşıp gördükleri rüyaları birbirlerine anlatmış ve ilk kilisenin temelini atmışlardır. Bununla birlikte manastırdaki fresklerde sıkça yer alıp, özel bir önem verilen Trabzon İmparatoru III. Alexios’un (1349-1390) manastırın gerçek kurucusu olduğu sanılmaktadır.

14. yüzyılda Türkmen akınlarına maruz kalan kentin savunmasında ileri karakol görevi üstlenen manastırın statüsünde Osmanlı fethinden sonra bir değişiklik olmamıştır. Yavuz Sultan Selim'in Trabzon’da ki şehzadeliği sırasında iki büyük şamdan buraya hediye ettiği, Fatih Sultan Mehmed, II. Bayezid, I. Selim, II. Selim, III. Murad, İbrahim, IV. Mehmed, II. Süleyman ve III. Ahmed'in de manastırla ilgili birer fermanları bulunmaktadır. Osmanlı döneminde manastıra sağlanan imtiyazlar, Trabzon ve Gümüşhane bölgesinin İslamlaşması sırasında özellikle Maçka ve kuzey Gümüşhane'de Hristiyan ve gizli Hristiyan köyleri ile çevrili bir alan yaratmıştır.

18 Nisan 1916’dan 24 Şubat 1918’e kadar süren Rus işgali sırasında Maçka civarındaki diğer manastırlar gibi bağımsız bir Pontus devleti kurmak isteyen Rum milislerin karargahı olmuş, nüfus mübadelesi ile bölgedeki Hristiyanların Yunanistan'a gönderilmesinin ardından önemini yitirerek T.C. Kültür Bakanlığı tarafından yakın zamanda onarılana dek kaderine terkedilmiştir.

Yunanistan'a mübadele ile göçen Karadenizli Rumlar Veria kentinde Sümela adını verdikleri yeni bir kilise inşa etmişlerdir. Her yıl Ağustos ayında tıpkı geçmişte Trabzon Sümela'da yaptıkları gibi yeni manastırın çevresinde geniş katılımlı şenlikler düzenlemektedirler