В 1839 году генерал-лейтенант Антон Антонович Скалон приобрёл участок земли на берегу Игнатовского озера. Спустя два десятка лет он отстроил там деревянный дом, хозяйственные помещения и мукомольную мельницу, разбил небольшой парк и сад. В 1883 воздвиг деревянную церковь. Следующим владельцем усадьбы был Дмитрий Антонович Скалон (1840—1919). Он приходился дальним родственником композитору Сергею Васильевичу Рахманинову (1873—1943), тот даже один раз гостил в усадьбе с мая по сентябрь 1897 года.

Рахманинов рано приобрёл известность как композитор, пианист, дирижёр и был обожаем московской публикой. В возрасте 19 лет он окончил консерваторию с Большой золотой медалью как пианист и как композитор. Во время обучения им уже были написаны Первый фортепианный концерт, ряд романсов и пьесы для фортепиано, в том числе Прелюдия до-диез минор, ставшая позднее одним из наиболее известных произведений Рахманинова. Дипломной работой стала первая опера — «Алеко», написанная по произведению А. С. Пушкина «Цыганы». Опера очень понравилась П. И. Чайковскому, и по его настоянию была поставлена в Большом театре. Неожиданно столь успешная его карьера была прервана в 1897 году провалом премьеры Первой симфонии в Петербурге. Композитор А. К. Глазунов загорелся идеей познакомить столицу с музыкой молодого московского таланта. Однако премьера окончилась полным провалом как из-за некачественного исполнения, так и, главным образом, из-за новаторской сущности музыки, не понятой ни самим Глазуновым, ни петербургской публикой. Рецензии на неё были разгромными: «Если бы в аду была консерватория, Рахманинов, несомненно, был бы в ней первым учеником». Особенно огорчил молодого композитора отрицательный отзыв Н. А. Римского-Корсакова, с которым он был лично знаком и чьё мнение очень ценил. Провал послужил причиной глубокой депрессии Рахманинова:

Раньше между аллеями был парк, в котором гуляли Скалоны и Рахманинов. Эти аллеи идут вниз по склону параллельно друг другу вдоль рва. От главного дома сохранился только фундамент, на котором и построили новое здание.