Muzeum znajduje się w zabytkowym poewangelickim kościele pod wezwaniem św. Piotra i Pawła, położonym w centrum miasta, tuż obok portu. Część frontową wieńczy niewysoka, drewniana wieża. która pełni funkcję widokową.
Pierwsza wzmianka o kościele pochodzi z 1417 roku. Pełnił on wtedy funkcję kościoła parafialnego w Nowym Helu. W 1525 roku został on przekształcony w świątynię protestancką, ponieważ większość mieszkańców przeszła na wyznanie ewangelickie.
W 1572 r. wieża uległa zniszczeniu podczas pożaru miasta. Została ona później odbudowana i pełniła funkcję latarni morskiej. W siedemnastym wieku sztormy i fale morskie doprowadziły do zawalenia części frontowej budynku wraz z wieżą.
W dwa lata później przystąpiono do odbudowy pozostałej części budowli. W okresie wojennym wieża kościoła została rozebrana. Zniszczenia wojenne Kościoła zostały odbudowane w 1959 roku. Ponieważ w Helu nie działała już wtedy parafia ewangelicka, budynek pokościelny zaadaptowano na cele muzealne.
W 1972 roku obiekt przekazano Centralnemu Muzeum Morskiemu w Gdańsku, które utworzyło tam swój oddział - Muzeum Rybołówstwa.