Kun Rikhardinkadun kirjastotalo 1881 valmistui, se oli Pohjoismaiden ensimmäinen nimenomaan yleiseksi kirjastoksi suunniteltu rakennus. Tontin ja varat rakentamiseen lahjoitti Helsingin Anniskeluyhtiö. Arkkitehtina toimi Carl Theodor Höijer, jonka piirtämät uusrenessanssitalot kuuluvat edelleenkin tunnusomaisella tavalla Helsingin kaupunkikuvaan. Uusi kirjastotalo oli aluksi valtiopäivien aatelittomien säätyjen käytössä, varsinainen kirjastotoiminta alkoi 1882.
Rikhardinkadun kirjasto palveli helsinkiläisten pääkirjastona vuoteen 1986 - varsin pitkään, sillä kirjastolautakunta oli jo 1912 todennut pääkirjaston tarvitsevan uuden tilavamman talon.
1920-luvulla Rikhardinkadun kirjastoon rakennettiin lisäkerros ja uusi portaikko, jotka suunnitteli arkkitehti Runar Eklund. Vuosien mittaan rakennukseen tehtiin muitakin muutoksia, joiden seurauksena se menetti paljon alkuperäisestä ilmeestään.
Uuden pääkirjaston noustua Itä-Pasilaan aloitettiin Rikhardinkadun kirjaston uudistustyöt, jotka valmistuivat 1988. Professori Olof Hanssonin suunnitelmien mukaisesti rakennuksen alkuperäinen, tyylillisesti eheä interiööri palautettiin. Samalla parannettiin kirjaston toimivuutta. Keskiosaan avattiin valopiha, jota kiertää kirjatorni. Myös muita yleisötiloja laajennettiin.
Peruskorjauksen toinen vaihe, jonka varsinainen kohde oli viimeksi 1950-luvulla kunnostettu lastenosaston, kaunokirjallisuusosaston ja lukusalin käsittävä siipiosa, valmistui vuonna 2003. Remontin yhteydessä uudistettiin myös lainaustoimisto ja tietopalveluosasto. Lisäksi musiikkiaineisto sai uudet tilat nuortenosaston yhteydessä. Täysin uusia ovat puolestaan ilmastoitu, kymmenen työaseman nettihuone sekä lukusalin kirjallinen salonki, jossa järjestetään yleisötilaisuuksia.
Rikhardinkadun kirjaston merkitys on sen pitkän perinteen ja keskeisen sijainnin ansiosta moniulotteisempi kuin yksittäisillä kirjastoilla yleensä. Sen tiloissa ovat toimineet Suomen Taideyhdistys ja Suomen Tiedeseura. Tärkeintä on tietenkin se, mitä kirjasto tarjoaa varsinaisille käyttäjilleen: tietoa ja elämyksiä, viihdettä ja virikkeitä. Alkuvuosien kirjastonjohtajaa Valfrid Vaseniusta (1848-1912) mukaillen kannattaakin kysyä:
"Kuka voi laskea niiden ajatusten määrän, joille
kirjasto on antanut pesäpaikan ja siivet?"