अभिजीत के पिता का नाम दीपक बनर्जी और मां का नाम निर्मला बनर्जी है। पिता दीपक बनर्जी और मां निर्मला बनर्जी दोनों ही कोलकाता के जाने माने प्रोफेसर थे। पिता दीपक बनर्जी प्रेसीडेंसी कॉलेज में इकोनॉमिक्स के प्रोफेसर थे और मां कोलकाता के सेंटर फॉर स्टडीज इन सोशल साइंसेज में प्रोफेसर थीं।अभिजीत की पहली शादी कोलकाता में ही हुई थी। एमआइटी में साहित्य की प्रोफेसर अरुंधति तुली से उनकी शादी हुई थी। अभिजीत और अरुंधति दोनों कोलकाता में एक साथ ही बड़े हुए। 1991 में उनका एक बेटा भी हुआ जिसका नाम कबीर बनर्जी था। कबीर की असामयिक मौत हो गई थी। इसके बाद अभिजीत और अरुंधति ने एक-दूसरे को तलाक दे दिया था। फिर अमरीका में अभिजीत ने प्र्रोफेसर एस्थर डुफ्लो से शादी कर ली थी।
अभिजीत बनर्जी के कॉलेज फे्रन्ड अभिजीत पाठक के अनुसार बचपन में वे सरल स्वभाव के थे। संभ्रात परिवार से ताल्लुकात रखने वाले अभिजीत हमेशा साधारण कपड़े पहनते थे। फुल पैन्ट पर पंजाबी पहन कर कॉलेज आते थे। पढ़ाई में तेज के होने का बावजूद उनमें घमंड नहीं था। सहपाठियों के साथ हमेशा मधुर संबंध रखते थे।
