امامزاده علاالدین منصور معروف به شیخ منصور بن ابراهیم خزاعی از نوادگان امام علی النقی بود که با 8 واسطه به امام علی النقی می رسد. شیخ منصور به همراه یکصد نفر کاروان از شیعیان قبیله خزاعی وارد ایران شدند و در روستای قلعه خشتی شهرستان دشتستان از توابع استان فارس سکنی گزیدند.

ورود این کاروان مصادف با حکومت سی و سومین حاکم عباسی ( دوره تیموریان – ایلخانی) بود؛ وقتی خبر ورود ایشان با اهل و عیال به گوش حاکم عباسی و حاکم وقت ناحیه برازجان رسید، به دلیل خصومت  و اختلاف با خاندان اهل بیت، تدارک لشکر مجهز برای مقابله با شیخ منصور خزاعی و یارانش دید و آن لشکر را عازم قلعه خشتی کرد. پس از 5 شبانه روز جنگ و درگیری این شخصیت بزرگوار به شهادت رسید.

پس از شهادت وی جسد ایشان در روستای قلعه خشتی به خاک سپرده شد. آرامگاه شیخ منصور در زمان تیمور لنگ گورکانی به دست هنرمندان معمار سمرقند ساخته شد. گنبد پلکانی این آرامگاه و سبک ساخت آن تشابه زیادی به امامزاده محمد حنفیه در خارک و امامزاده سلیمان در گناوه دارد. کتیبه ای سنگی که نام نیاکان شیخ منصور خزاعی روی آن قید شده بود، با قدمتی مربوط به قرن هشتم در آرامگاه وی وجود دارد.

نام روستا که تا قبل از به خاکسپاری این شخصیت بزرگ قلعه خشتی نام داشت پس از شهادت ایشان به روستای زیارت تغییر نام پیدا کرد. این این اثر فرهنگی مذهبی با شماره 2881 در تاریخ 5 آذر 79 ثبت فهرست آثار ملی شد.