Knihovna byla založena počátkem roku 1951 jako Státní studijní knihovna. Od roku 1954 nesla název Státní vědecká knihovna v Ostravě. Ve svých počátcích se knihovna zaměřila na hornictví, hutnictví a polonika, již od šedesátých let 20. století se však její fond rozrůstal o knihy z dalších technických oborů, literaturu firemní a podnikovou, publikace lékařské i společenskovědní. Získání práva povinného výtisku v roce 1964 určilo všeobecný odborný profil knihovny.
Knihovna postupně rozvíjela poradenské a bibliografické služby, propagačně se soustředila nejen na vysokoškoláky, ale také na studenty středních škol. Během osmdesátých a devadesátých let se knihovna úspěšně vypořádala s výzvou automatizovat své služby.
Od roku 2001 je knihovna příspěvkovou organizací Moravskoslezského kraje a funguje pod názvem Moravskoslezská vědecká knihovna v Ostravě. Kromě zákonem nařízených funkcí knihovna pečuje o regionální písemné dědictví, např. budováním Digitální knihovny Moravskoslezského kraje nebo webového portálu věnovanému osobnosti a dílu Vojtěcha Martínka. Vlastní péčí knihovna vydává regionální e-knihy a audioknihy. Navzdory změnám v doplňování knihovního fondu knihovna usiluje o zachování svého všeobecného zaměření. Společensky významné je zapojení knihovny do projektů zaměřených na handicapované občany – fond se rozrůstá o audioknihy, knihy pro nevidomé, filmy s titulky apod.
Knihovna sídlí od svého vzniku v
Ostravě v
Nové radnici. V současnosti probíhá příprava podkladů pro stavbu nové budovy, tzv. Černé kostky, která by měla být otevřena v roce 2027.