قلعه رستم در جنوب شرقی شهر خوسف و غرب روستای گنج، بر فراز تپهای مشرف بر جلگه خوسف و دشت ماژان قرار گرفته است. بدلیل مطلوب نبودن مسیر دسترسی به قلعه، آسیب کمتری به فضاهای آن رسیده و همین دسترسی مشکل موجب شده که آن را اینگونه نام نهند. قدمت این بنای تاریخی به عصر ساسانی بر می گردد و در دوره اسماعیلی مورد بازسازی قرار گرفته، لازم به ذکر است که این قلعه در برخی متون به نام قلعه دختر نامگذاری شده است.
این بنا به گونه ای طراحی شده که در همه ی جوانب عبور و مرورهای اطراف قلعه زیر نظر گرفته می شده و در سمت شرق قلعه که غیر قابل نفوذ بوده ارتفاعات کوه ریچ واقع شده است. قلعه دارای بخش های مختلفی بوده از جمله ی این بخش ها می توان به برج ها، پله های دسترسی، تلارها، آب انبارها و بناهای ساخته شده در پیرامون دامنه های کوه، اشاره کرد. در دو جبهه ی شمالی و غربی 7برج قرار دارد و همچنین آثار وجود برجی در سمت شرق قلعه دیده می شود. مصالح بکار رفته در ساخت برج ها سنگ و ملات ساروج می باشد.
در فضای زیرزمین 7تالار وجود دارد که در غرب و بر بالای دیواره غربی امتداد یافته است. این تالارها دارای 7متر طول و 3متر عرض می باشد و برای ساخت آن از سنگ استفاده شده است. ورودی تالارها از سمت دیواره بوده و به صورت موازی طراحی شده اند. آب انبار اصلی با عمقی نزدیک به 8متر، بیش از 600مترمکعب ظرفیت دارد و آب آن از آبی که در دامنه کوه جریان دارد تأمین می‌شده است. مصالح بکاررفته در ساخت دیواره های آن سنگ و ملات ساروج می باشد. قلعه چاهی که در قسمت مرکزی قرار دارد، پله هایی جهت راه یافتن به قسمت های مختلف مسیر بالای کوه و قلعه دارد که جنس آن ها از سنگ بوده و به صورت زیگزاگ ساخته شده اند. این اثر جزو آثار به ثبت رسیده ملی ایران بشمار می آید.
