در سفرنامه شاهزاده فیروز میرزا فرمانفرما، کهنوج اینگونه توصیف شده است که قلعه ای محکم و سرسخت دارد که در ابتدای کهنوج قرار گرفته است و از قلعه بمپور بلند تر است. اکنون این قلعه خراب و مخروبه شده است و جای تاسف است که چاه آب آن را پر کرده اند. در مورد دلیل خرابی قلعه گفته می شود در سالی که سعید خان، ضابط رودبار بود، امیر توپخانه دستور خرابی قلعه را داده بود. حاکم کرمان بر علیه محمد شاه قاجار شورش کرده بود و چون سعید خان به او قول همکاری داده بود، به این قلعه پناه برده بود پس قلعه به توپ بسته شد و در سال 1257 ویران گشت.
سعید خان رودباری این قلعه را از سنگ ساخته بود بر بالای یک بلندی که کاملا مستحکم بود و وسط آن چاه آبی عمیق بوده است. این قلعه سه دروازه و شانزده لوله برج داشته است. بر اساس اسناد تاریخی این قلعه تا زمان قاجار پابرجا بوده است و زمان دقیق ساخت آن معلوم نیست.
قلعه تاریخی کهنوج به دلیل قدمتی که دارد همواره مورد توجه گردشگران و باستان شناسان قرار می گیرد.