در انتهای خیابان علوی، در طرفین خیابان، دو دیوار بلند کاهگلی به چشم می خورد که از بقایای حصار معروف عهد سلجوقی است. گفته شده است كه این دژ تسخیرناپذیر در اواسط قرن پنجم هجری قمری به همت یکی از رجال نامدار و سخاوتمند، در دولت سلجوقیان به نام خواجه مجدالدین ابوالقاسم کاشانی ساخته شده و بارها جان مردم کاشان را از دست مهاجمین و اشرار نجات داده است.
برج و باروی جلالی کاشان تا اواسط دوران قاجار پابرجا بوده و محدوده اي كه امروز به عنوان بافت تاريخي كاشان از آن نام برده مي شود را پوشش مي داده است. اين بارو از همين منطقه تا ميدان قاضي اسدالله و از آنجا تا ميدان فين كه دروازه اي موسوم به دروازه فين در آن جاي داشته است، از آنجا تا دروازه ملك آباد و سپس تا ميدان 15 خرداد كه دروازه قم ناميده مي شد. از آنجا تا دروازه دولت، سپس تا دروازه عطا و از آنجا تا دروازه اصفهان كه نزديك همين برج و باروي انتهاي خيابان علوي است امتداد داشته است.