Мавзолеят се издига над град Халикарнас в продължение на много векове. Остава недокоснат когато градът е превзет от Александър Велики през 334 г. пр.н.е. и след пиратски нападения през 62 и 58 г. пр.н.е. Около 16 века стои над руините на града, докато поредица от земетресения не пречупва колоните, запращайки каменната колесница да се строши в земята. Към 1404 г. се запазва разпознаваема само основата на Мавзолея.

През първата година на XIV век рицарите-хоспиталиери нахлуват в региона и построяват огромен замък. Когато решават да го укрепят през 1494 г., използват камъните на Мавзолея. През 1522 г. слухове за турско нашествие кара кръстоносците да подсилят замъка в Халикарнас (по онова време известен като Бодрум) и голяма част от останалите останки от гробницата са разрушени и използвани в стените на замъка. Парчета полиран мрамор от гробницата могат да бъдат видени там и днес.

По това време група от рицари влиза в основата на паметника и открива зала, съдържаща голям саркофаг. Те обаче, решавайки че е твърде късно, за да го отварят този ден, се връщат на другата сутрин, но съкровищата са ограбени. Телата на Мавзол и Артемизия също липсват. Рицарите обявяват, че селяни са виновни за кражбата, но вероятно и някои от кръстоносците са плячкосвали гробове. Преди счупването и изгарянето на много от останалите скулптури от Мавзолея във вар за мазилка рицарите пренасят няколко от най-добрите творби в замъка в Бодрум. Там те стоят 3 века. По това време британският посланик получава няколко от статуите от замъка, които днес са собственост на Британския музей.