बाबूजींची आई लहानपणीच वारली. त्यानंतर त्यांच्या वडिलांचे वकिलीतील लक्ष उडाले. त्यामुळे घरात आर्थिक चणचण जाणवू लागली. बाबूजींना एकूण चार भावंडे होती. या भावंडांचे एकमेकांवर अत्यंत प्रेम होते. पुढे काही कारणांमुळे काही काळ त्यांच्यामध्ये दुरावा निर्माण झाला; मात्र नंतर ते पुन्हा एकत्र आले.

२९ मे १९४९ रोजी बाबूजींचा विवाह गायिका ललिता देऊळगावकर यांच्याशी पुण्यात साधेपणाने झाला. विवाहाच्या वेळी पुढे प्रसिद्ध पार्श्वगायक महंमद रफी यांनी मंगलाष्टके म्हटली होती. ललिता देऊळगावकर या बाबूजींप्रमाणेच मध्यमवर्गीय कुटुंबातील होत्या. त्यांचे वडील कापड गिरणीत अधिकारी होते. पुढे ती गिरणी बंद पडली. त्यानंतर त्यांनी दुसरा व्यवसाय करण्याचा प्रयत्न केला; परंतु कोणत्याही व्यवसायात त्यांना स्थैर्य मिळाले नाही. उलट कर्जाचा बोजा वाढत गेला. ललिताबाईंना दोन भाऊ आणि चार बहिणी होत्या. या संपूर्ण कुटुंबासाठी काहीतरी करणे आवश्यक होते.

ललिताबाईंचा आवाज अत्यंत चांगला होता. त्या उत्तम गात असत. परिस्थितीमुळे त्यांना संगीताचे औपचारिक शिक्षण घेणे शक्य झाले नाही. मात्र, त्यांच्या शेजारी राहणाऱ्या चट्टोपाध्याय यांनी त्यांचे गायन ऐकले. ते ललिताबाईंच्या वडिलांना म्हणाले, 

"तुमच्या मुलीला चित्रपटात गाण्याची किंवा अभिनयाची संधी देऊन तुमची आर्थिक अडचण दूर का करत नाही? माझ्या परिचयाचे हिमांशू रॉय हे 'बॉम्बे टॉकीज'चे मालक आहेत. त्यांच्याकडे मी शब्द टाकू शकतो." 

ललिताबाईंच्या वडिलांना ही कल्पना पसंत नव्हती; मात्र शेवटी त्यांनी आपल्या मुलीला 'बॉम्बे टॉकीज' येथे हिमांशू रॉय यांच्याकडे कामासाठी पाठविले.

सर्वप्रथम ललिताबाईंनी 'दुर्गा' या चित्रपटात एक छोटी भूमिका साकारली. त्यानंतर त्यांनी काही जाहिरातींसाठी पार्श्वगायिका म्हणून काम केले. 'बॉम्बे टॉकीज' व्यतिरिक्त त्यांनी इतर ठिकाणीही काम केले. काही चित्रपटांमध्ये त्यांनी पार्श्वगीते गायली. पुढे जिथे जिथे काम मिळेल, तेथे तेथे काम करून त्यांनी वडिलांनी घेतलेले कर्ज फेडले. या संपूर्ण काळात त्यांनी इतके काम केले की, शेवटी त्यांना या धकाधकीचा कंटाळा आला.

१९४३ च्या सुमारास ललिताबाईंची बाबूजींशी ओळख झाली. त्या वेळी भगवान शंकरांच्या जीवनावर आधारित एक संगीतिकेची निर्मिती सुरू होती. बाबूजींनी त्यांना 'मदनसंहार' या संगीतिकेसाठी मुंबई आकाशवाणी केंद्रावर गायनासाठी बोलाविले. याच वेळी त्यांचा परस्पर परिचय झाला.

या सुमारास बाबूजींचा मराठी चित्रपटसृष्टीत जम बसू लागला होता. मराठी चित्रपटांचे काम प्रामुख्याने पुण्यात होत असे. तेथे गीते ध्वनिमुद्रित करावी लागत असल्याने ललिताबाईंना अधूनमधून पुण्याला जावे लागे. त्या काळात त्यांचे एकमेकांशी फारसे जमत नसे. त्यांच्यात वादही होत असत. पुढे मात्र त्यांचा विवाह झाला. विवाहानंतर ललिताबाईंनी बाबूजींसमोर एक अट ठेवली, 

"मी लग्नानंतर अजिबात गाणार नाही. मला शांत आयुष्य हवे आहे." 

बाबूजींनी ही अट मान्य केली. तरीही काही वेळा बाबूजींसाठी त्यांना गीते गायावी लागली. घर जपण्यासाठी आणि कुटुंब उभे करण्यासाठी त्यांनी आपल्या गायन कारकिर्दीला बाजूला ठेवले.

दोघांचाही स्वभाव काहीसा तापट होता; परंतु विवाहानंतर त्यांच्या स्वभावात उत्तम समन्वय निर्माण झाला. बाबूजी जरी तापट असले, तरी ते अत्यंत साधे आणि सरळ मनाचे होते. ललिताबाईंनी प्रत्येक प्रसंगी त्यांना मोलाची साथ दिली. बाबूजींच्या यशामध्ये त्यांचा सिंहाचा वाटा आहे. बाबूजींना वाकड्या मार्गाने जाणाऱ्या लोकांची चीड होती. अन्यायाविरुद्ध ते नेहमी आवाज उठवत असत. संगीताबरोबरच त्यांच्या सामाजिक जाणिवाही अत्यंत तीव्र होत्या.

कोयना येथे भूकंप झाला, तेव्हा तेथील भूकंपग्रस्तांना आर्थिक मदतीची नितांत आवश्यकता होती. त्या काळात बाबूजींना 'फेशियल पॅरॅलिसिस' झाला होता. तरीही त्यांनी गायनाचे कार्यक्रम करून निधी उभारला आणि भूकंपग्रस्तांना मदत केली.

१९५० साली श्रीधर यांचा जन्म झाला. बाबूजींना अभियंता व्हायचे होते; परंतु घरच्या आर्थिक परिस्थितीमुळे त्यांची ही इच्छा पूर्ण होऊ शकली नाही. तरीही त्यांनी श्रीधर यांच्यावर ‘तू अभियंता हो’ असा आग्रह किंवा दबाव कधीही टाकला नाही. ते त्यांना नेहमी म्हणत, 

"तुला जे करायचे आहे ते कर; पण जे काही करशील, ते पूर्ण विचारपूर्वक कर."

श्रीधर फडके सांगतात, 

“बाबूजी स्वच्छतेचे अत्यंत भोक्ते होते. त्यांना झोपायच्या चादरीवर एकही सुरकुती चालत नसे. बाबूजी अत्यंत आतिथ्यशील होते. घरात राहण्यासाठी आलेल्या पाहुण्यांची गादी ते स्वतः घालत असत. जर रात्रीपर्यंत गप्पा रंगल्या, तर जेवायला उशीर होऊ नये आणि पत्नी तसेच सुनेला उशिरापर्यंत जागावे लागू नये, असे त्यांना नेहमी वाटत असे. अशा वेळी ते स्वतः जेवण गरम करून ताट वाढत आणि रिकामी भांडी योग्य ठिकाणी ठेवून ओल्या फडक्याने जागाही पुसत असत.

ते नेहमी हसतमुख असत. आमच्या घरी कोणीही आले, तरी बाबूजी प्रत्येकाचे हसतमुखाने स्वागत करीत. ‘येणाऱ्या प्रत्येकाचे मनापासून आतिथ्य केले पाहिजे’ असे त्यांचे म्हणणे असे.”

श्रीधर फडके पुढे सांगतात, 

“माझे लग्न झाल्यानंतर मी आणि माझी पत्नी पार्ल्यात स्वतंत्र राहू लागलो; तरीही बाबूजी आणि आमच्यात कधीही दुरावा निर्माण झाला नाही.” 

श्रीधर यांची पत्नी चित्रा या उत्तर भारतातील एका श्रीमंत घराण्यातील होत्या. बाबूजींना त्यांचे फार कौतुक होते. श्रीधर बाबूजींना ‘अण्णा’ म्हणून हाक मारत असत. बाबूजी श्रीधरच्या पत्नीचेही मनापासून कौतुक करीत. श्रीधर फडक्यांना दोन मुली झाल्या. दोन्ही मुली बाबूजींच्या अत्यंत लाडक्या होत्या. 

श्रीधर फडके म्हणतात,

“बाबूजींबद्दल मला अतिशय आदर आहे. बाबूजींना देखील माझा अभिमान होता.”

आयुष्यभर प्रचंड परिश्रम केल्यामुळे बाबूजींचे शरीर थकले. विशेषतः सावरकरांवरील चित्रपटाच्या निर्मितीच्या वेळी त्यांनी अतोनात कष्ट घेतले. अखेरीस प्रकृतीने साथ सोडली. २४ जुलै २००२ रोजी बाबूजींना हिंदुजा रुग्णालयात दाखल करण्यात आले. त्यानंतर २९ जुलै २००२ रोजी त्यांनी अखेरचा श्वास घेतला. 

लहानपणापासूनच त्यांनी अत्यंत शारीरिक कष्ट सोसले होते. मानसिक त्रासही भोगला होता. मात्र, जीवनाच्या अखेरीस त्यांचे आयुष्य कृतार्थ झाले होते. त्यांना गुणी आणि कर्तव्यदक्ष ललिताबाईंसारखी पत्नी, श्रीधर यांच्यासारखा आदर्श पुत्र आणि संगीतक्षेत्रात उज्ज्वल कारकीर्द लाभली होती. मृत्यूसमयी त्यांचे वय ८३ वर्षे होते. त्यांच्या निधनामुळे मराठी चित्रपटसृष्टी एका श्रेष्ठ संगीतदिग्दर्शकाला मुकली आणि ही हानी भरून निघणे अशक्य होते.