این خانه محل زندگی و اسکان حاج محمد جعفرزاده از تجار معروف سبزوار بوده است که در سن ۲۰سالگی از یزد به سبزوار عزیمت و به دلیل رونق تجاری سبزوار در همین شهر ازدواج و سکنی گزیده و به تجارت فرش مشغول می گردد. اصل بنای این خانه توسط حاج محمد سل دوز(رضایی) بنا شده که قبل از جعفرزاده در آن ساکن بوده است. مرحوم جعفرزاده فردی خدوم و امین بوده و هم اکنون مدفن وی در امامزاده یحیی می باشد.