শ্রীরামপুরে গোস্বামীরা ছিলেন মূলত ব্যবসায়ী, কিন্তু হঠাৎ এঁদের বাড়ি রাজবাড়ি হয়ে উঠল কি ভাবে? ইতিহাস বলছে গোস্বামীরা শ্রীরামপুরে স্থিতু হন শেওড়াফুলির রাজা মনোহর রায়ের অনুরোধে। সেই অর্থে শেওড়াফুলির রাজার অধীনে ছিলেন গোস্বামীরা।
রঘুরাম গোস্বামীর সময়ে শ্রীরামপুরের গোস্বামী পরিবারের অর্থনৈতিক অবস্থা তুঙ্গে ওঠে। 'প্রিন্স অফ মার্চেন্ট' হিসেবে বিখ্যাত রঘুরাম গোস্বামী সেই সময়ে এতটাই ধনী ছিলেন যে রঘুরাম ১২ লাখ টাকা দিয়ে ড্যানিশদের থেকে শ্রীরামপুর কিনে নিতে চেয়েছিলেন। কিন্তু বাঁধ সেঁধেছিল ইংরেজরা। শেষমেশ ব্রিটিশ ইস্ট ইন্ডিয়া কোম্পানি তেরো লক্ষ টাকায় ড্যানিশদের থেকে শ্রীরামপুর কিনে নেয়।
