किले की दीवारों से कुछ ही दूर अब मेस्टन गंज का भीड़भाड़ वाला बाजार है, और अगर कोई गलियों में भीड़ से गुजरता है तो एक प्रसिद्ध रामपुरी चाकु (चाकू) और रामपुरी टोपी (टोपी) के बाजार में पहुंचता है। इसके केंद्र में पुरानी तहसील दफ्तर की इमारत है जिसमें सौलत पब्लिक लाइब्रेरी है।

अपने उत्तराधिकार में, पुस्तकालय के प्रसिद्ध आगंतुकों में खालिद शेल्डके (ब्रिटिश अचार निर्माता चीनी "इस्लामिस्तान"), सैय्यद हाशिमी फरीदी (ग्रीस के एक प्रसिद्ध उर्दू इतिहास के लेखक), ख्वाजाबान निज़ामी (दिल्ली के महान चिश्ती सूफ़ी) और आगा खान शामिल थे। रामपुरियों के योगदान के आधार पर, पुस्तकालय ने जल्द ही मिर्ज़ा ग़ालिब के कविता संग्रह (महावर और कुरिया) के दुर्लभ संस्करण सहित अरबी, फ़ारसी, उर्दू पांडुलिपियों और प्रकाशनों का एक समृद्ध संग्रह विकसित किया। यहाँ ऐतिहासिक रूप से महत्वपूर्ण (मौलाना आज़ाद के अल-हिलाल और रामपुर की मिट्टी के अपने बेटे मुहम्मद अली और उनके साथियों से सम्बंधित) समाचारों की प्रतियों के साथ समाचार-पत्रों, पत्रिकाओं और पत्रिकाओं का एक समृद्ध संग्रह भी है- इसके अलावा यहाँ 25,000 उर्दू मुद्रित पुस्तकें पुस्तकालय में सैकड़ों अपूरणीय पांडुलिपियाँ हैं तथा अठारहवीं शताब्दी के अफ़गान कालक्रम, मनोगत विज्ञान, रामपुरी से जुडी व्यक्तिगत जन्त्रियाँ, बड़ी संख्या में फ़ारसी कविताएं, और समृद्ध पैमाने पर प्रकाशित कुरान भी है। यह राजा राम मोहन राय के फ़ारसी अखबार जाम-ए-जहाँ नुमा, मुहम्मद अली जौहर की उर्दू-भाषा हमदर्द और अंग्रेजी-भाषा साथी के साथ-साथ सैय्यद अहमद खान की तहज़ीब अल-अख़लाक का भी पूरा हिस्सा है।

अपने समृद्ध इतिहास के साथ पुस्तकालय अब खराब स्थिति में है। विभाजन के बाद से, जब इसकी अग्रणी धरोहर पाकिस्तान में चली गईं, तब से इसमें लगातार गिरावट आई है। लाइब्रेरी के प्रमुख संरक्षक रामपुरी शाही परिवार की सम्पदा के उन्मूलन के साथ इसकी स्थिति को एक और झटका लगा। इसके अलावा, पिछले मानसून ने पुरानी इमारत को भारी नुकसान पहुंचाया और पुस्तकालय की दीवारों में से एक दीवार गिर गयी। नतीजतन, पुस्तकालय का समृद्ध संग्रह, जो कि संसाधनों की कमी के कारण वैसे भी संरक्षण की अच्छी स्थिति में नहीं था, अब निश्चित विनाश की ओर चलता जा रहा है।

सौलत पब्लिक लाइब्रेरी रामपुर के लोगों द्वारा विकसित सबसे रचनात्मक सार्वजनिक संस्थानों में से एक थी। यह ज्ञान और राजनीतिक चेतना के प्रसार का केंद्र भी रही। विभाजन के बाद, सौलत अली खान सहित पुस्तकालय के कई संस्थापक सदस्य पाकिस्तान चले गए, लेकिन अन्य रामपुरियों ने संरक्षण का काम संभाले रखा। रामपुर के विद्वान आबिद रज़ा बेदार द्वारा पुस्तकालय के संग्रह की सूची का संकलन करके पुस्तकालय के संरक्षण के लिए एक महत्वपूर्ण योगदान दिया गया था। दुर्भाग्य से, पुस्तकालय को अतीत में कई आपदाओं का सामना करना पड़ा है और वर्तमान स्थिति में राजनीतिक वर्ग और आम जनता दोनों से पुस्तकालय के लिए समर्थन की कमी बढ़ रही है। पुस्तकालय के मामले "प्रशासनिक मंजूरी" के मुद्दों में उलझे हुए हैं और किसी भी संस्थान से वित्तीय सहायता के अभाव में पुस्तकालय की स्थिति बिगडती जा रही है। इन दिनों रामपुर के क्षेत्रिय निवासियों ने भी मुश्किल से इसका नाम सुना है, जब कोई सौलत पब्लिक लाइब्रेरी तक पहुंचने की कोशिश करता है तो अक्सर अपने आप को अपनी अधिक शानदार और अच्छी तरह से वित्त पोषित बहन रज़ा लाइब्रेरी की ओर निर्देशित करता है।

लाइब्रेरी का एक नियमित संरक्षक (सेवानिवृत्त इंजीनियर) है, जो अलीगढ़ मुस्लिम विश्वविद्यालय में पढ़ता था, वो यहाँ प्रत्येक सुबह अखबार पढ़ने के लिए आता है। उन्होंने पुस्तकालय को "किताबों का कब्रिस्तान" के रूप में वर्णित किया। उनसे असहमत होना मुश्किल है क्यूंकि अलमारियों पर पुस्तकों का ढेर बना हुआ है, फर्श पर कुछ बिखरे हुए और फटे हुए किताबों के ढेर हैं जो धूल की इतनी मोटी परत में ढंके हुए है कि यह एक निम्न-श्रेणी की डरावनी फिल्म के सेट जैसा प्रतीत होता है।

दुखद विडंबना यह है कि संग्रह एक बार पहले ही लगभग विनाश से बच गया। 1947 में देश विभाजन के साथ हुई हिंसा में, पुस्तकालय की प्रबंध समिति को एक उग्र भीड़ का सामना करना पड़ा, जो शहर की सरकारी इमारतों में आग लगा रही थीं। क्योंकि पुस्तकालय एक पूर्व तहसील कार्यालय में स्थित है, इसे विनाश के लिए लक्षित किया गया था। मानव श्रृंखला बनाकर, उन्होंने हजारों किताबें, पांडुलिपियाँ और अख़बार हाथ से आंगन के उस पार निकाले, जो अस्सी मीटर दूर जामा मस्जिद से पुस्तकालय को अलग करता है। लेकिन जहां आग और हिंसा विफल रही, आज वहीँ चींटियां और उपेक्षा जीत रही हैं। संग्रह को संरक्षित करने या कम से कम डिजिटल (Digital) करने के लिए कुछ कार्यवाही नही किये जाने पर भारत के बौद्धिक इतिहास को बहुत अधिक नुकसान होगा।