تزوج عليه السلام زوجات عديده منهن فاطمة بنت الحسين الأثرم ابن الحسن بن علي بن أبي طالب وكان أبوها ابن عم زين العابدين (ع) ومنهن حميدة البربرية والدة الإمام موسى الكاظنم (ع)
وولد له من الأولاد أحد عشر ولداً سبعة من الذكور وأربع إناث فاما الذكور فهم : إسماعيل الأعرج ، وعبدالله ، والأمام موسى بن جعفر (ع) وإسحاق ، ومحمد ، وعلي ، والعباس ، وأما الإناث فهن فاطمة وأسماء وفاطمة الصغرى ، وام فروة .
وكان الإمام (ع) شديد الولوع بولده البكر إسماعيل (ع) وكثيرالأشفاق عليه ، ولذا كان قوم من الشيعة يظنون انه الإمام بعد أبيه، ولكن إسماعبل توفي في حياة والده (ع) وقد حزن عليه الإمام كثيراً ، ثم إنه (ع) ودفعاً للشبهه عن الناس ، ومنعاً للإلتباس أوألأحتمال الظن بإمامة إسماعيل (ع) أوبقائه على الحياة كشف الإمام الصادق (ع) عن وجه أسماعيل مرات عديده بعد وفاته ، وأشهد ثلاثين من صحابه على موته فشهدوا بذلك ثم أمر (ع) بغسله وتجهيزه وحمله إلى قبره في البقيع من المدينة المنورة ، ووضعه في لحده وأهال التراب عليه ودفنه ، واستشهد أصحابه على دفنه أيضاً من رؤساء قومه ، فشهدو كلهم على موته ودفنه ، ومع ذلك كله لما استشهد الإمام الصادق (ع) بقي فريق من الناس يقولون بإمامة اسماعيل مدعين حياته . وقال فريق منهم وهم اكثر عدداً بإمامة أبنه محمد بن إسماعيل ، وذهبوا إلى أن الإمامة في ولده إلى أخر الزمان ، وكلا الطرفين من الطائفة المعروفة بأسم الإسماعيلية ، واما بقية الشيعة القائلين بإمامة إسماعيل ، فقد رجعوا إلى الحق وقالوا بإمامة الإمام موسى الكاظم (ع) بعد استشهاد أبيه الصادق (ع) .
وكان إسماعيل (رض) رجلاً تقياً عالماً باراً مطيعاً لأبيه ، بخلاف أخيه عبدالله الذي كان بعده ، والذي يعرف بلقب الأفطح ، لأنه أفطح الرأس أوالرجلين – أي كان عريض الرأس والرجلين – فإنه كان متهماً بمخالفة أبيه في الأعتقاد ، ويقال أنه كان يخالط الحشوية ، ويميل إلى مذهب المرجئة ، كما عارض أخاه الإمام موسى (ع) في الإمامة ، وادعى الإمامة بعد أبيه لنفسه ، احتجاجاً بانه اكبرأخوته الباقين ، واتبعه بعض أصحاب الإمام الصادق (ع) ورجع اكثرهم إلى إمامة الإمام موسى الكاظم(ع) ، وأقام نفر منهم على القول بإمامة عبدالله وهو المعروف بالفطحية ولكن عبدالله لم يعش بعد أبيه الصادق (ع) ألا سبعين يوماً ومات .
وأما إسحاق بن الصادق (ع) فقد كان ثقة ومن أهل الفضل والورع والأجتهاد وكان يقول بإمامة أخيه الإمام موسى الكاظم (ع) .
واما محمد بن الصادق ، كان سخياً شجاعاً ، ولكنه كان يرى رأي الزيدية في الخروج بالسيف ، فخرج على المامون بمكة المعظمة ، واتبعه الزيدية ، فقاتله المأمون في خراسان حين كان عاملاً عليها من قبل أبيه هارون ، فلما انتصر عليه أشخصه لخراسان ، ولم يؤذه ، بل أكرمه وأدنى مجلسه ، وبقي محمد بن جعفر عند المأمون في خراسان حتى مات ودفن هناك .
وأما علي بن جعفر فقد كان راوياً للحديث كثير الفضل وقد لزم الإمام موسى بن جعفر (ع) وروى عنه ، وكذلك كان العباس .
ولكن أجلهم قدراً وأعظمهم محلاً وأبعدهم في الناس صيتاً هو أخوهم الإمام السابع ، حجة الله على الخلائق أجمعين ، وباب الحوائج إلى الله الإمام موسى بن جعفر (ع) المنصوص على إمامته من أبيه وأجداده (ع)