বর্ধমান-হুগলীর সীমান্তের দেবীপুর গ্রামের ভট্টাচার্য পরিবার ১৮০০ শতকের শুরুতে যশোরে চলে এলেও ১৮৬০ সালে ঈশ্বরচন্দ্র বিদ্যাসাগরের কথামত কালীনাথ ভট্টাচার্য শ্রীরামপুরে এসে বসবাস শুরু করেন। কালীনাথ ছিলেন সংস্কৃতের পণ্ডিত - এখানে এসে দে পরিবারের শিশুদের শিক্ষক হিসাবে কাজ শুরু করেন। সেই শুরু ভট্টাচার্য পরিবারের শ্রীরামপুরের দে স্ট্রীটে থাকা। কালীনাথের ছেলে দূর্গাপ্রসন্ন (স্থানীয়দের কাছে পাঁচুবাবু বলে পরিচিত) চিকিৎসক হতে চাইলেও পরে পেশা হিসেবে বেছে নেন বাড়ি তৈরির কাজকে। ব্রিটিশদের তত্ত্বাবধানে তৈরি করতে থাকেন একের পর এক জুট মিল, সরকারি-বেসরকারি বাড়ি।অর্থাজনের সাথে সাথে তিনি ছিলেন শৌখিন মানুষ। কলকাতার রাজেন্দ্র মল্লিকের মার্বেল প্যালেস ও চিড়িয়াখানার অনুকরণে দূর্গাপ্রসন্ন তৈরি করেন এই ইউনিক লজ এবং ডগ কেনেল। মূল দরজার বাইরে আছে দুটি সিংহ মূর্তি - এই জন্য ২১ নম্বর দে স্ট্রিটের এই বাড়িটি ‘সিংহ বাড়ি’ নামে পরিচিত।
