说这权万纪也是个“人物”，敢于直言不讳，从潮州刺史晋升为正四品下的朝廷京官。作为一个守书侍御史，全万纪理应该珍惜这个得之不易的升迁机会，继续发挥自己直言善诫的一面，结果却不然。根据《旧唐书》、《贞观政要》等史书的记载，全万纪升职后，开始利用职务之便“批评和毁灭”——揭露他人隐私、诬陷和诽谤，甚至肆意弹劾其他大臣，引起朝臣们的恐慌。
最后，魏征再也受不了了了。在他无法忍受的情况下，他非常认真地对唐太宗说：“全万纪和李仁发不是恶棍。他们不知道一般情况。他们以毁灭为是，以批评为直。他们弹射的一切都不是有罪的。。。他们充耳不闻，多行无礼，以强直的名义。“一针见血地指出，权万纪只是一个打算骗取直言不讳、敢于劝诫的恶棍。他认为，如果唐太宗出于吸引敢于说话的人的目的，他就不必把权万纪这样的人留在朝鲜。这样做只会损害他的声誉。听了这话，唐太宗欣然采纳了魏征的建议。权万纪后来被贬为连州司马。据史书记载，朝廷其他官员的反应是“咸相庆祝”，可见权万纪平日的行为是多么卑鄙和不受欢迎。
顺便说一句，司马这个职位在唐代就是贬官的象征。唐朝在每个州都设立了司马一职，名义上是州郡佐官，实际上是用来安排京城被贬或闲散的官员的。事实上，全万纪不仅喜欢通过揭露他人的隐私来赢得声誉，而且他的唯利是图，只关注直接利益的行为也吸引了唐太宗的仇恨。全万纪曾提议通过在宣饶二州开采大量银矿获得巨额利润。唐太宗听后非常生气地说:“我是天子。我缺的不是钱，而是不利于人民的好建议！与其多赚几百万，不如得到一个贤才！你从来没有推荐过一个贤才，所以你致力于税银的利益。你想让我成为汉桓帝和汉灵帝吗？于是那天罢免了权万纪的官职，让他回家了。
正因为如此，后人在评论权万纪的时候评价很低。他们认为，提出多开采银矿、牟取暴利的权万纪，是“败仁义者”，是“不仅忠于宣扬本朝，为了幸福而献出大珠”的反派行为，也是“横向人民”应该抛弃的行为。在唐太宗任命吴王李恪的长史之前，权万纪被降职了很长一段时间。结果，权万纪担任长史后不久，李恪在打猎时踩坏了人民的庄稼，被刘凡弹劾。唐太宗知道后勃然大怒，认为权万纪未能履行职责罪应该当死。刘范劝道：“房玄龄还是不能阻止陛下打猎，何况权万纪？“唐太宗刚刚放弃，但李恪本人在与母亲的儿子赌博后，再次被唐太宗削减为安州都督，实封再次被削减为300户。
《贞观政要》：揭开唐朝历史名不副实的权万纪