殷浩两次北伐，屡战屡败，军需物资更是被掠夺殆尽，朝野上下一片震惊，群臣怨恨不已。
“哈哈哈哈，殷浩自视清高，腹有五斗，其实纯粹是草包一个！”
桓温听说殷浩北伐失利，顿时开怀大笑。
一旁的桓冲听后，立即建议道：
“兄长，殷浩北伐失利，朝中再无北伐之将。不如我们现在便上书朝廷，请求北伐。”
桓温笑道：
“你之所言，正合我意。如今正是我们北伐的最佳时机。我这便派人前往建康，上书请求北伐。”
七日之后，桓温的北伐之书送递建康，皇太后褚蒜子见后，立即召集会稽王司马昱等一班重臣进行商议。
“诸位爱卿，如今临贺郡公（桓温）发来书信，列举殷浩之罪状，要求将殷浩贬为庶人，你们当怎么看？”
众人听后，皆都沉默不语，无人说话。
当初，桓温准备北伐，朝中众大臣都怕桓温一家独大，难以掌控，成为第二个王敦，危及朝廷，于是纷纷上书劝阻桓温北伐。
众人一番寻找，屡次邀请，这才最终将殷浩定为北伐之帅。
可是，如今殷浩失利，折兵损将，众人脸上无光，自知惭愧。于是朝堂之上，一时竟然鸦雀无声。
皇太后褚蒜子扫视一周，见无人应答，于是只好看向领班大臣会稽王司马昱。
“会稽王，你看如何是好？”
会稽王司马昱出班，心中也是毫无办法，只好说道：
“此次若是不同意桓温北伐，只怕他会再次带兵而下，到时……”
会稽王司马昱虽然停言，但是皇太后褚蒜子和众位大臣知道他想要说什么。
四年前，后赵皇帝石虎病死，北方形势大乱，桓温请求北伐，但朝中大臣均不同意。
桓温一气之下，率领5万大军顺流而下，直逼建康，朝中一片喧哗，众人惊恐不安。
最后，还是由会稽王司马昱亲自写信给桓温，极力劝阻，这才使得桓温率军而返，回到荆州。
此次若是再不同意，只怕桓温会再次带兵沿江而下，兵临建康。
若真是如此，只怕不会再是会稽王司马昱一封书信，便可让桓温再次退去这么简单了。
此时，散骑常侍郗愔上前道：“皇太后，此次只怕拒绝了桓温的请求，只会给朝廷带来灾难啊！”
皇太后褚蒜子和众位大臣听后，都是默默地点了点头。
皇太后褚蒜子道：“如此，便同意临贺郡公的意见，革去殷浩中军将军之职，贬为庶人。
另命桓温为征西大将军，持节都督荆、司、雍、益、梁、宁六州诸军事，自行募集兵员，北伐秦国。”
晋室朝廷免去殷浩官职，将他流放到东阳郡信安县。
殷浩虽然被罢黜流放，但却从来没有说过半句怨言，神情依旧坦然。
每天谈道咏诗，就是连他的家人也看不出他有半点被流放的悲伤神色，只是每天用手在空中写着“咄咄怪事”四个大字。
以前的朝中大臣和故旧好友再也没有人来看他，更没有人再像以前那样，频频请他出山为官。
殷浩的外甥韩伯素来受到殷浩的赏识和喜欢，他也随殷浩一同被流放。
一年之后，韩伯回京，殷浩送他到河边，看到河水涟漪，杨柳依依，遂低声吟咏道：“富贵他人合，贫贱亲戚离。”