桓温一死，虽然说不上树倒猢狲散，但桓氏的权势也大为削弱。桓温在病重时，以幼弟桓冲代领部众，其他几个兄弟，二弟桓云已经故去多年，三弟桓豁在他移镇后代为掌握荆州，四弟桓秘能谋善断却备受忌惮不得重用。
桓冲出生那年，正逢苏峻之乱，桓彝死守泾县遇害，在他的成长过程中，大十六岁的长兄桓温，自然而然代替了他心目中父亲的形象。
在桓温一生的征战中，桓冲通常是作为副手，领一路偏师配合作战，北伐前秦、前燕时都是如此。
桓温幕下谋士众多，能独当一面的却屈指可数，其中早故的袁乔善谋断，中途离去的习凿齿长于治乱、谋身，晚于前两者入幕的郗超则是以权谋着称。
而形成鲜明对比的桓豁、桓秘二人，桓秘的才能得到习凿齿认可，与之相比桓豁在个人能力上稍逊一筹，可最终被桓温放心安排接手荆州的却是桓豁。原因就是桓豁能拎得清自己，换言之就是没野心、更听话，他年轻时就曾拒绝王导辟请。
因为桓温娶了司马兴男，与公主的母族庾氏间接成为姻亲，苏峻之乱后庾亮被迫外任，之前一度被压制的王导再度掌权。王导辟请桓豁为秘书郎时，庾亮正谋求北伐，这种举动一看就知道不怀好意。当时，桓温的谋士辅国将军司马袁乔也被王导辟请，同样没去上任，随后又受到朝命征拜为尚书郎，直到王导死后，才被出任徐州刺史的桓温再度延请为司马。
桓豁在桓温死后的短短几年里，先后升任征西将军、征西大将军，这份堂堂正正的阳谋出自朝廷，或者说是来自王坦之、王彪之相继死后掌控中枢的谢安，真正目的是分化桓豁和桓冲。这种计谋是明摆着的，可桓豁没有被触手可及的权势所迷惑，先后两次用拒绝开府的方式表明态度，维护了桓氏内部的团结。
在一个家庭中，长子最受重视，幼子最受宠爱，排行在中间的次子多少会有点上不着天，下不着地，关注不够就只能自谋出路。同样是被王导以朝命拜为秘书郎，桓秘却答应了，这个举动被庾氏误解为桓氏释放的政治信号。桓温娶公主后仕途一帆风顺，庾氏是出了大力支持的，可因为桓秘的个人举动，已是琅琊内史的桓温在仕途上陷入蹉跎，直到八年后协助庾翼北伐，才外任徐州刺史成为方镇重臣。
道安受习凿齿之邀入襄阳前，有感于苻融劝说，决意为前秦效命，走到新野时派了同学法和入蜀。当时，自桓温灭成汉后负责平乱，留镇蜀郡三十年的益州刺史周抚去世，早有割据蜀地之心的司马勋自称梁益二州牧、成都王，在汉中起兵反叛。
时任宣城内史、辅国将军的桓秘都督梁益二州征讨军事，江夏相朱序被桓温表为征讨都护前往成都救援周楚（周抚之子，父死后监梁益二州）。次年，镇守荆州的桓豁也派督护桓罴进攻梁州治所南郑协助平乱，不久后前秦王猛就趁机率军南攻荆州，在南乡、新野连续调动急于救援的桓豁，最后成功掠民北还。
桓温向东移镇之初屯驻的赭圻就在宣城郡西北，卢悚起事后桓秘被罢去中领军一职闲居的宛陵，就是宣城的郡治。
已经进位大司马的桓温当时加领扬州刺史、录尚书事移镇姑孰，桓冲代掌江州刺史坐镇武昌。这些都刺激着桓秘，他一心想要建立功勋，与兄弟比高下。可越是如此，桓温越不放心桓秘外任，因为移镇姑孰后的他需要一个安稳的后方。在司马勋之乱平定后，桓温干脆以酬功为名，让桓秘入朝为散骑常侍、中领军，监视朝廷中枢动态，总归是亲兄弟，远比旁人值得信任。