铁木迭儿这样为所欲为，自然有人看他不顺眼了。
时参议中书省事韩若愚，他就不阿附铁木迭儿，想着参铁木迭儿一本，只是，考虑到人家势力大，参了白参，那才没出手。
他不依附铁木迭儿，这就引起铁木迭儿的侧目了！
铁木迭儿罗织韩若愚的罪名，想要把他置之死地。
元仁宗知道韩若愚是个忠臣，要是他都被铁木迭儿搞死，那么，朝廷里，还有谁敢说真话？当下保住了韩若愚。
铁木迭儿虽然没搞死韩若愚，但他依然枉顾法律，为所欲为。
延祐四年六月，上都富人张弼杀人，被下入狱中。
他知道唯一的生路就是重贿铁木迭儿，当下送给他六万贯。
铁木迭儿便派心腹家奴潜至上都，威胁上都留守贺胜，要他释放张弼。
贺胜不肯，据实上奏。
时侍御史杨朵儿只升任御史中丞，对铁木迭儿在中书怙势贪虐，常“慨然以纠正其罪为己任”，如今听闻张弼贿赂案，当下邀请集平章政事萧拜住及内外监察御史四十余人联合弹劾铁木迭儿，极言铁木迭儿“桀黠奸贪，阴贼险狠，蒙上罔下，蠹政害民，布置爪牙，威慑朝野，凡可以诬陷善人，要功利己者，靡所不至”，并列举其六大罪恶，即：取晋王田千余亩、兴教寺后壖园地三十亩、卫兵牧地二十余亩；窃食郊庙供祀马；受诸王哈儿班答使人钞十四万贯、宝珠玉带氍毹币帛又计钞十余万贯；受杭州永圣寺僧章自福赂金一百五十两；取杀人囚张弼钞五万贯；其子无功于国，尽居贵显，为害百端，以致阴阳不和，灾异数见，百姓流亡。
奏本证据确凿，义正辞严！
元仁宗素恶铁木迭儿所为，闻奏震怒，“击碎太师印，散诸左右”，下诏逮问。
铁木迭儿这才感到害怕，连忙“走匿太后近侍家中”。
有太后保护，使得有司不得捕他。
不久，答己为铁木迭儿说情，元仁宗“恐诚出皇太后意，不尽重伤咈之”，仅罢免了铁木迭儿的相位。
此后，铁木迭儿家居，算是遇到了挫折。
不过，有后台，有关系的人，遇到再大的挫折，很快就能度过去！
延祐六年四月，铁木迭儿被重起为太子太师，又引起了以赵世延为首的内外监察御史四十余人的联合弹劾，认为他“逞私蠹政，难居师保之任”，但结果仍“以太后故，终不能明正其罪”。
至此，真令人怀疑太后是中了铁木迭儿的迷魂汤！不然，怎么会如此保他？
延祐七年，公元1320年正月二十一日，元仁宗死，元英宗未及即位，答己、铁木迭儿就乘机夺取权力。
二十五日，答己从内宫宣旨，命铁木迭儿“复入中书为右丞相”。几日后，又超擢旧日爪牙黑驴、木八剌、赵世荣等人，从外省调入中书任职，对元仁宗时常与他们相对抗的御史台臣实施报复。
二月十四日，铁木迭儿派人逮捕了曾奏劾他十三条罪状的四川行省平章政事赵世延。
二十七日，夺前中书平章政事李孟所受秦国公印，“仍仆其先墓碑”。
二十八日，又伙同其党羽徽政使失列门、御史大夫秃忒哈，以违太后旨之罪，枉杀曾弹劾过他的杨朵儿只、萧拜住二人。