左卫大将军、五原公元旻听见杨坚要废了太子，忙进谏说：“废立是大事，天子说话不能更改，圣旨一下，后悔就来不及了。诬陷的话是没有准则的，希望陛下明察。”
元旻言辞正直，据理力争，声色俱厉，皇上没有答理他。
这时姬威又上书状告太子违法。
杨坚对姬威说：“太子所做的事，应该都说出来。”
姬威回答说：“皇太子多次对我说，他只想骄横奢侈，想要从焚川到散关，一并规定为游苑。还说‘从前汉武帝准备建造上林苑，东方朔规劝他，赏给东方朔百斤黄金，多么可笑。我实是没有黄金赏赐给你们的。如果有规谏的人，就该被斩除，不过杀死百把人，自然而然就永远平息了。’前不久苏孝慈被解除左卫率，太子扬起胡须挥舞手臂说‘大丈夫总会有一天的，决不会忘记他，一定会使我称心如意的。’还有，宫内所要的东西，尚书大都依照规定不给他，他便发怒说‘仆射以下的官员，我要杀他一两人，使人们都知道怠慢我的灾祸。’他又在花苑内建一个小城，一年四季，建城的劳役不能停歇，建起的亭殿，早上建造晚上又改了。常常说‘皇上责怪我有很多偏房，高纬、陈叔宝就一定是孽子吗？’曾经让年老的巫婆占卜吉凶，对我说‘皇上禁忌是十八年，这个期限已经快到了。’”
杨坚听了，老泪纵横，伤心不已，他怎么也想不到自己竟然生了这样的儿子！当下流着眼泪说：“谁不是父母所生，竟是这样可恶！我有过去的一名老侍女，派她探访东宫时，对我说‘不要让广平王到皇太子居处，东宫憎恨我，是广平王教他这样的。’元赞也知道太子的阴险，劝我在左边府库之东，增派两个卫队。当初平定陈国后，宫女容貌美的都安排到了太子宫，但是听说他不知满足，在外面还在访求寻找。我近来读《齐书》，看到高欢放纵自己的儿子，非常气愤，怎么可以效仿他的坏作法！”说完，下令把杨勇以及他的孩子都被监禁起来，部分地逮捕了他的党羽。
过了几天，有关部门按照杨素的意图，向杨坚上书说左卫官元旻身为皇官侍卫，经常暗地里侍奉杨勇，感情深厚，暗自有托付。
在仁寿宫，裴弘将杨勇的书信在朝廷上给元旻，封信处写有“勿令人见”的字。
杨坚看了，说：“我在仁寿宫，连细小的事东宫也一定知道，比驿马传得还快，我觉得奇怪已经很久了，莫非就是这个家伙作祟？”命令武士拘捕元旻和裴弘，交给执法部门治罪。
有关部门又查出来，在这之前，杨勇曾经到仁寿宫参见请安后回来，路上看见一棵枯槐，根节交结盘错，高大而且粗得五六个人才能合抱，他环顾侍从说：“这树能做什么器具用？”有人回答说：“古槐树尤其能够取火。”当时卫士都佩带火燧，杨勇于是令工匠做了几千枚，准备赐给身边的卫士侍从。
另外，又查出太子专门收藏医药的部门里，贮存几斛艾草。
司法部门觉得奇怪，就来问姬威。
姬威说：“太子要这些东西是别有用心的！他接连地派长宁王以下的人，拜谒仁寿宫后回来，每次行动迅速，一夜就到了。所以，这些艾草，就是来喂养千匹马的！”
杨素拿姬威的话质问杨勇，问他养那么多马干什么，杨勇不服，说：“我听说你家就有数万匹马，我好歹也是太子，养马一千匹，这难道是谋反吗？”
杨素听了，为之无语，又找来东宫的穿用和玩赏的物品，好些加以雕刻和装饰的，都陈放在大庭里，展示给文武百官，作为太子的罪证。
杨坚派人将这些东西拿给杨勇看，以此来诘难他。
皇后也斥责杨勇的罪过。
杨坚派使者责问杨勇，杨勇不服。
太史令袁充向高祖进言说：“我观察天象，皇太子应当废除了。”
杨坚说：“天象早就显示出来了，只是大臣们没有敢说话的罢了。”于是派使臣召见杨勇。
杨勇见了使臣，惊恐地说：“莫非要杀我了？”