Bókasafn Ísafjarðarkaupstaðar var stofnað 13. júlí 1889. Áður hafði lestrarfélag verið starfrækt í bænum frá 1886. Um miðja 19. öld var Ísafjörður orðinn annar stærsti kaupstaður á landinu og sáu menn þörf á að stofna opinbert bókasafn.
Bókasafnið var fyrst til húsa í barnaskólanum sem þá var við Silfurgötu 3. Tveim árum síðar fluttist safnið í fyrrum þinghús, þar sem er nú skátaheimili. Árið 1929 flutti safnið svo í það hús sem lengi var pósthús Ísfirðinga, við Aðalstræti 18. Næstu heimkynni safnsins voru á annarri hæð Sundhallar Ísafjarðar við Austurveg. Þangað var flutt árið 1946 og var húsnæðið hugsað til bráðabirgða.
Löngu var þó farið að þrengja að starfseminni þegar safnið flutti sig á Gamla sjúkrahúsið á Eyrartúni árið 2003 þar sem hið nýja Safnahús var opnað eftir gagngerar endurbætur. Önnur söfn sem hýst eru í sömu byggingu eru: Héraðsskjalasafn, Ljósmyndasafn og Listasafn Ísafjarðar.