Являлась частью комплекса здания Морской библиотеки. Она была создана в 1822 году по инициативе лейтенанта В.И. Мелихова и офицеров Черноморского флота, в том числе М.П. Лазарева, В.А. Корнилова и П.С. Нахимова. Первое здание библиотеки построили в 1844 году. Спроектировал его архитектор Д.И. Уптон - сын И.И. (Джона) Уптона - автора Графской пристани, строил инженер-кондуктор Дикорев. Но Морской библиотеке не повезло с самого начала: через восемь месяцев она сгорела. В 1849 году на прежнем месте по проекту А.П. Брюлова было сооружено новое здание, выдержанное в классическом стиле. Вход оформляли колонны белого мрамора с портиком, на котором возвышались шесть мраморных статуй - Минервы, Немезиды, Урании, Клио, Математики и Каллиопы. Вход с широкой лестницей фланкировали мраморные сфинксы, в нишах были установлены статуи Архимеда и Ксенофонта (Морской сборник, 1855, № 3, с. 6-7).

По проекту скульптора Н.А. Рамазанова в Италии Фердинандо Пелличио высекал два мраморных барельефа, изображающих всемирную историю мореходства и русского флота: от первобытного челна до кругосветных путешествий первооткрывателей новых континентов, а также историю российского флота от Петра I до адмирала Лазарева. По скромности Михаил Петрович просил на барельефе его не изображать.
До Крымской войны успели выполнить и установить только один барельеф. В период обороны защитники сняли его и зарыли в землю, но французы, войдя в Севастополь, барельеф обнаружили и увезли во Францию, установив в саду Тюильри.
В 1854-1855 годах здание пострадало от бомбардировок, а 28 августа 1855 года сгорело. От библиотеки сохранилась лишь башня, служившая вытяжной шахтой для вентиляции книгохранилища. Она имеет много общего с башней Ветров в Афинах, сооруженной в глубокой древности архитектором Андроником, но имеет более стройные пропорции. Это 8-гранное призматическое сооружение из инкерманского камня с шатровой крышей, ранее увенчанной шпилем. В каждой грани второго яруса - узкие полуциркульные оконные проемы, в верхней части расположен фриз с горельефными изображениями символов ветров (отсюда и название башни). На карнизе имелись маскароны (львиные головы).

В 90-е годы XIX века напротив Графской пристани построили третье здание Морской библиотеки. На нем и установили второй барельеф. Зданию также не повезло: разрушено уже в годы второй мировой.
Современная Морская библиотека располагается на проспекте Нахимова, ей присвоено имя адмирала М.П. Лазарева.