Þann 21. janúar 1874 var haldinn almennur borgarafundur á Ísafirði þar sem bæjarstjórn lagði fram áætlun um byggingu barnaskóla og var byggingakostnaðurinn áætlaður 2000 rikisdalir. Almenn samskot til byggingarinnar voru þá þegar orðin 830 ríkisdalir en þetta sama ár gaf Bernhard Sass stórkaupmaður í Kaupmannahöfn 1500 ríkisdali til skólabyggingar og var þá hægt að hefjast handa við byggingu skólahúss. Efniviður í skólahús var pantaður og tók Vilhelm Holm, verslunarstjóri Sass, að sér kaup á efnivið til hússins og að annast telgingu þess í Danmörku, málningu á því og flutning til Ísafjarðar. Húsið var byggt upp í Kaupmannahöfn, en Jón Sigurðsson smiður tók að sér að taka það niður aftur og búa til flutnings.
Bæjarstjórn auglýsti 28. janúar 1875 eftir tilboðum í að setja skólahúsið upp á Ísafirði, að Silfurgötu 3. Sigurður Andrésson smiður tók það verk að sér fyrir 760 krónur og lauk verki sínu seint í septembermánuði 1875. Af hálfu bæjarstjórnar fór fram skoðunargerð á byggingunni 27. september og þótti smíðin miðlungi vönduð. Skólinn var vígður 1. október 1875 og hófst kennsla sama dag. Fyrstu nemendur skólans voru 23 og skólastjóri var Ámi Jónsson guðfræðingur, síðar verslunarstjóri við Ásgeirsverzlun.
Haustið 1901 var nýtt skólahús tekið í notkun og gamli skólinn seldur Davíð Sch. Thorsteinssyni héraðslækni og var þar síðan læknissetur og lyfjabúð. Hann stækkaði húsið í norður þegar á fyrsta ári eftir að hann eignaðist það. Seinna eignaðist Þóra J. Einarsson húsið og rak þar veitinga- og gistihús meðan henni entist heilsa til. Var húsið löngum síðan kennt við hana og kallað Þórustaðir. Árið 1984 keyptu eigendur Björnsbúðar húsið og var það þá rifið og lóðin nýtt sem bílastæði og aðkoma fyrir vörumóttöku.