Zamek krzyżacki został wybudowany w latach 1398 - 1406, pod okiem ówczesnego komtura Baugi - Urlicha von Jungingena (późniejszego Mistrza Zakonu Krzyżackiego).

Początkowo drewniana konstrukcja. W 1409 roku zburzyły go wojska Jagiełły.
Urlich von Jungingen był już wtedy Wielkim Mistrzem Zakonu Krzyżackiego i poległ rok później pod Grunwaldem. (Artykuł z dodatku do Super Exspresu z seri Tajemnice Świata 31 Lipca-1 Sierpnia 2004 r. -
NK Mirosław Boczkowski
W kronice Jana Długosza przy opisie bitwy pod Grunwaldem znajduje się taki ustęp: "W czasie wielkiej bitwy walczył między innymi oddział piechoty mazurskiej, który uformowany został w rejonie Łku (dawna nazwa Ełku) wyłącznie z chłopów mazowieckich, częściowo zbiegłych z ziem Zakonu." Musiał być to liczny oddział, skoro w obliczu rozprawy na śmierć i życie z Zakonem zwrócił na niego uwagę Jagiełło. Długosz jest pierwszym kronikarzem wymieniającym nazwę Łek. 


Rycina z książki Ch.Hartknohta Alt-Und Neues Preussen z 1684 r. przedstawia dawny Ełk-
NK Mirosław Boczkowski.
Ełk w XVII wieku rozciągał się tylko wzdłuż głównej ulicy, jak widać na rycinie. Nie sięgał jeszcze do dobrze nam znanych miejsc w kierunku obecnego dworca kolejowego. Na rysunku widać dwie bramy. Były ponoć takie, pełniły chyba jednak rolę reprezentacyjną, bo Ełk nigdy nie był otoczony murami. Ta w głębi nazywana była Bramą Polską, ta na pierwszym planie — Bramą Niemiecką. Brama Polska stała mniej więcej tam, gdzie i dziś na ul. Wojska Polskiego są ostatnie budynki przed mostem na rzece Ełk. Brama Niemiecka mieściła się gdzieś w okolicy obecnego skrzyżowania ulic Wojska Polskiego i Mickiewicza. Uwagę zwraca tajemnicza rzeka na pierwszym planie. Dziś jej na pewno nie ma, ale w XVII wieku mógł przecież spływać ze skarpy jakiś strumień. Mieszkańcy Ełku wiedzą, że ul. Wojska Polskiego mocno obniża się w miejscu, gdzie w kierunku jeziora odchodzi ul Pułaskiego.Czy to nie jest ślad po dawnym strumieniu, a być może nawet rzeczce? Być może półwysep na jeziorze powstał z pisaku naniesionego przez ów strumień.I jeszcze kościół. Na rycinie Hartknocha stoi on wzdłuż głównej ulicy, nie zaś prostopadle do niej. To wydaje mi się niemożliwe. Kompletnie nie pasuje do układu miasta. Jednak w przeszłości, tak jak i dziś, kościół „patrzył” na zamek, a zamek — na kościół. 
Został odbudowany jako murowany w końcu XV wieku. Dostępu do zamku broniły dwie wieże i dwie wartownie. Początkowo był siedzibą krzyżackiego namiestnika. Później stał się książęcym starostwem. Zamek był najdalej na wschód wysuniętą krzyżacką fortyfikacją i stanowił przyczółek do wyprawy na Litwę.
Z miasteczkiem które z czasem wyrosło wokół zamku, łączył go drewniany most zwodzony i tajemniczy tunel, o którym już w czasie budowy krążyły legendy.
Plan sytuacyjny zamku z lat 1826-1828 według T.Ch.Giese'go 
Ełk na przełomie XVIII i XIX wieku W drugiej połowie XVII wieku Ełk zyskał impuls do rozwoju w postaci przywileju Fryderyka III potwierdzającego w 1669 roku lokację miasta. Przypomnijmy że było to 13 lat po bitwie pod Prostkami (opisanej zresztą przez Sienkiewicza w „Potopie”). W październiku 1656 r. Tatarzy walczący po stronie polskiej splądrowali i spalili miasto. Obronił się tylko zamek. Po tamtych wydarzeniach pozostały legendy i nazwy topograficzne w okolicach Ełku takie jak jezioro Tatarskie, Tatarska Góra czy Tatarska Droga. Kiedyś pewnie do tych wydarzeń, legend i miejsc wrócę w moich zapiskach. Na razie pozostańmy przy topografii samego miasta.
Mimo tego przywileju Ełk właściwie nie rozwijał się. A gdy już nawet trochę się rozwinął, to przychodziła jakaś plaga, pożar albo epidemia.
Pod koniec XVIII wieku Ełk stał się miastem garnizonowym, co zapewne przynosiło dochody dostawcom koni, zboża i napojów wyskokowych. Koszar jednak wtedy chyba jeszcze nie zbudowano. Bo gdy w roku 1826 albo 27 pruski oficer Johann Michael Giese przeprowadzał inwentaryzację umocnień w Prusach Wschodnich, zapewne zaznaczyłby je na planie.
Jak widać miasto rozciągało się wzdłuż głównej ulicy. Z jednej strony schodziło do jeziora, z drugiej sięgało do dzisiejszej ulicy Słowackiego. Zaczynało się na południu przy rzece Ełk, na północy już wyszło już jak widać poza Bramę Niemiecką (zwaną też Garncarską) 
Mieściły się w nim również władze sądowe: Urząd Sprawiedliwości (1751), Powiatowa Komisja Sprawiedliwości (1782), Sąd Powiatowy i Grodzki (1818), Sądu Krajowy i Powiatowy (1879).
W swoich murach gościł też zamek tak dostojnych gości jak:

car rosyjski Aleksander I

i marszałek napoleoński Ney.
Z zamkiem związana jest również legenda, jakoby łą
czył się z miastem za pomocą podziemnego tunelu, wiodącego pod dnem jeziora do pobliskiego kościoła. Mówi się, że za pomocą tego przejścia ludność miasta znalazła schronienie
w murach zamku, gdy podczas ?potopu szwedzkiego? okoliczne tereny najechali Tatarzy
w służbie króla polskiego. Wielokrotnie służył też jako schronienie dla ludności
w czasie często nawiedzających Ełk pożarów, aż
w końcu i on sam padł ofiarą tego żywiołu 25 czerwca 1833 roku.
Z dawnej budowli zamkowej pozostały tylko mury obwodowe i jego wcześniejszy kształt, a zniszczone wnętrze przystosowano później do innych celów
W ogrodzie przy zamkowym postawiono w XIX wieku więzienie. Wkrótce przekształcono