Punktem wyjścia przy zakładaniu cmentarza wojennego w Bartoszach był niewielki cmentarz z okresu I wojny św. tzw. „Golgota Prus Wschodnich”, na którym spoczywało 84 żołnierzy niemieckich. W roku 1999 władze polskie przekazały Volksbundowi 5 hektarowy teren pod budowę cmentarza dla żołnierzy poległych na Warmii i Mazurach oraz w rejonie Białegostoku. W roku 2001 zakończono prace budowlane przy tym obiekcie.
Trzy duże, z daleka widoczne krzyże na cmentarzu z I wojny św. dominują nad całym obiektem. Na wzniesieniu, na które prowadzą schody, znajdują się kwatery dla żołnierzy poległych w czasie II wojny św. oznaczone grupami symbolicznych krzyży. Na kamiennych stelach umieszczone są nazwiska zmarłych. Alejki oraz ogrodzenie z naturalnego kamienia odwołują się do architektury Prus Wschodnich i wtapiają się harmonijnie w krajobraz.
Dalsze pochówki na tym cmentarzu będą kontynuowane przez najbliższe lata. W pewnych odstępach czasowych nazwiska żołnierzy będą stopniowo umieszczane na stelach. Do chwili obecnej na cmentarzu tym miejsce swego ostatniego spoczynku znalazło ponad 13 tysięcy niemieckich poległych.
Otwarcie i poświęcenie cmentarza odbyło się dnia 9 sierpnia 2003 r.