দীর্ঘ ২৩বছরের সংসারে একে একে খোকা ও তার বাকি চার ভাইবোন জন্মায়। সবচেয়ে ছোট মেয়ে নিনুর জন্মের সময় মারা যান খোকার মা। খোকার মা যেহেতু জন্মগত অভিজাত শ্রেণীর এবং খোকার বাবা যেহেতু দরিদ্র ঘরের ছেলে সেহেতু খোকার মায়ের সাথে তার অন্তরঙ্গ হতো না। তবুও তিনি পছন্দ এবং সম্মান করতেন তার স্ত্রীকে। কিন্তু তার স্ত্রী থাকতেন চুপচাপ, গম্ভীর। রাবেয়া ছাড়া তার অন্যান্য সন্তানরাও তার স্নেহ পায়নি তেমন। তার মনে খুব দুঃখ থাকতো লুকিয়ে। সেজন্যই গানপাগলী হয়েও তিনি সংসারে ২৩ বছরের জীবনে আর কখনও গান করেন নি।