শ্রীরামপুরে গোস্বামীরা ছিলেন মূলত ব্যবসায়ী, কিন্তু হঠাৎ এঁদের বাড়ি রাজবাড়ি হয়ে উঠল কি ভাবে? ইতিহাস বলছে গোস্বামীরা শ্রীরামপুরে স্থিতু হন শেওড়াফুলির রাজা মনোহর রায়ের অনুরোধে। সেই অর্থে শেওড়াফুলির রাজার অধীনে ছিলেন গোস্বামীরা।
রঘুরাম গোস্বামীর সময়ে শ্রীরামপুরের গোস্বামী পরিবারের অর্থনৈতিক অবস্থা তুঙ্গে ওঠে। 'প্রিন্স অফ মার্চেন্ট' হিসেবে বিখ্যাত রঘুরাম গোস্বামী সেই সময়ে এতটাই ধনী ছিলেন যে রঘুরাম ১২ লাখ টাকা দিয়ে ড্যানিশদের থেকে শ্রীরামপুর কিনে নিতে চেয়েছিলেন। কিন্তু বাঁধ সেঁধেছিল ইংরেজরা। শেষমেশ ব্রিটিশ ইস্ট ইন্ডিয়া কোম্পানি তেরো লক্ষ টাকায় ড্যানিশদের থেকে শ্রীরামপুর কিনে নেয়।
১৯১১ সালে এই পরিবারের উজ্জ্বল নক্ষত্র কিশোরীলাল গোস্বামীকে ব্রিটিশ সরকার রাজা উপাধি দেন। এর পর থেকেই গোস্বামী বাড়ি বা গোস্বামীদের ঠাকুরদালানকে লোকে রাজবাড়ি বলতে শুরু করে।