قلعه اسماعیلیان یکی از قلعه‌های معروف فرقه اسماعیلیان به ‌شمار می‌رود. در زمان سلجوقیان که اسماعیلیان بر طبس مسلط شدند، قلعه‌های محکمی در کوه‌های پیرامون آن بنا کردند. قلعه‌ اسماعیلیان طبس که از یادگارهای همان دوره محسوب می‌شود، بر فراز کوهی در مجاورت روستای خراوان احداث شده است. دورتادور قلعه را کوه‌ها دربرگرفته‌اند و هیچ افق بازی وجود ندارد. از چهار آب‌انبار درون قلعه، تنها یکی سالم باقی مانده و فقط پوشش گنبدی وسط آن از بین رفته است. 

از فراز قلعه به هر طرف که چشم بدوزیم، کوهستان است و افق بازی وجود ندارد و تنها می‌توان روستاهای خراوان بالا و پایین را مشاهده کرد. درون قلعه چهار آب‌انبار وجود دارند که سالم‌ترین آنها در بالاترین سطح کوه قرار دارد و تنها پوشش گنبدی آن در وسط بنا از بین رفته است.
سبک بنای قلعه اسماعیلیان ( قلعه طبس ) آشکار می کرد که در یکی از دوره های گذشته بنا گردیده، شاید در دوره ای هنوز اسلام به خراسان نیامده بود. قلعه در میان کوه به طوری بنا شده بود که وقتی کسی از قلعه خارج می شد و به آن می نگریست متوجه می گردید که کوه با یک سربالایی خیلی ملایم به طرف بالا می رود. شیب کوه از خارج به سوی قلعه بقدری کم بود که در موقع راه رفتن شخص احساس نمی کرد که از یک سربالایی بالا می رود. بهمین جهت شیب مزبور مانع از این نمی شد که از پایین کوه قلعه طبس را در بالای کوه مشاهده ننمایند. در چهار طرف قلعه وضع کوه همین طور بود و در چهارسمت، زمین با یک شیب ملایم به سوی قلعه می رفت و در هر سمت مجراهای مخصوص از خارج منتهی به قلعه می شد.

سازندگان قلعه، بدین سبب زمین را نسبت به قلعه دارای شیب کرده بودند که آب باران و برف از چهار سمت به سوی قلعه برود و از راه مجاری مخصوص وارد مخازن آب شود، چون به طریق دیگر نمی توانستند در آن کوه برای سکنه قلعه آب فراهم نمایند. همچنین وضعیت فیزیکی قلعه به گونه ای بود که دروازه قلعه احتیاج به نگهبان نداشت.

برای اینکه از هیچ طرف امکان صعود از کوه میسر نبود و کسی نمی توانست خود را به قلعه برساند و هیچکس نمی توانست بعد از خروج از قلعه از کوه پایین برود مگر اینکه خود را پرت کند که در اینصورت لاشه اش به زمین می رسید. در طرفهای مشرق و مغرب و شمال قلعه فقط کوه بود و جز قلل کوهها چیز دیگری به چشم نمی خورد. اما در قسمت جنوب یک وسعت روشن وجود داشت که آنجا جلگه ای بود بنام طبس و چون قلعه مزبور نزدیک به این جلگه بود، اسماعیلیان آنرا «قلعه طبس» می گفتند.