Особняк, построенный частично на средства помещика Калиновского, частично – на средства купца Сарандино (которому Калиновский проиграл здание в незавершённом виде), с 1883-го по 1894 год принадлежал семье агента отделения Русского общества пароходства и торговли, отставного военного моряка, капитана первого ранга Ипполита Ильича Чайковского (он арендовал этот дом у вдовы Сарандино).
Брат Ипполита Ильича, знаменитый композитор Пётр Ильич Чайковский, останавливался здесь в 1886, 1888 и 1890 годах по пути в Тифлис и обратно.
В 1974 году решением исполкома городского Совета депутатов трудящихся дом Чайковского передали городскому отделу культуры. Теперь здесь – комната-музей П.И.Чайковского, концертный зал и нотно-музыкальный отдел центральной городской библиотеки имени А. П. Чехова.
