郁如此高调嚣张，自然成为了楚国文武百官中的头号人物。马殷的那些儿子们，尤其是马希声，自然心中不爽。他们担心高郁会对他们的继位产生威胁，于是想早日把高郁除掉。而楚国的其他文武官员，嫉妒高郁的长期得宠，经久不衰，也有不少了欲除之而后快。
四周的各藩镇也知道高郁在楚国的作用和地位，也行干掉高郁，以此使楚国早日走向衰亡。从马殷的儿子们，到楚国的大部分文武官员，再到楚国的邻居，大家都对高郁十分不满，甚至有联手干掉高郁的趋势。
之前马希范出洛阳时，李存勖便搞了一次调拨离间的把戏，虽然并不高明，却让马希范中计。马希范回到楚国后，便反复向马殷讲述高郁的坏话。虽然马殷并不理会，但对高郁在楚国的地位产生了一定的影响。
荆南的高季兴，也不遗余力的离间高郁和马家关系。当马希声还是节度副使时，高季兴便偷偷写书信给马希声，书信的内容很有意思，和马希声几乎毫无关系。高季兴在信中表示对高郁的能力和功劳十分赞赏，因此决定和高郁结为结拜兄弟。高季兴要想和高郁结拜，却些信给马希声，明显是在挑拔离间。然而却被马殷识破，此计毫无效果。
不久之后，高季兴见此计不成，又生一计，干脆派遣奸细到楚国，到处散播不利于高郁的言论，诸如“听说楚国重用高郁，各藩镇大喜，以为亡马氏者必定是搞郁。”“马氏政事皆出于高郁，这是马家子孙的大忧！”
马希声的妻子是节度行军司马杨諡之女杨氏，杨氏家族的成员们靠着马希声这层关系，开始骄横跋扈、胡作非为。杨氏的兄长杨昭遂，已经当上了行军司马，但贪心不足，十分嫉妒眼红高郁职位。便在妹夫马希声跟前反复诉说高郁的坏话，目的很明确，搞掉高郁，让他接替高郁，以职掌楚国的财政大权。
马希声在众人的挑唆下，开始不断地在马殷面前编织罗列高郁的各种罪行，如贪污受贿、奢侈不法、勾结外敌、私通强藩等等，如不除掉高郁，将来会对楚国有巨大隐患。
高郁跟随马殷三十多年，是楚国的开国元勋。高郁和马殷感情十分深厚，而且也为楚国立下了巨大功劳。马殷对高郁极为了解和信任，当然不会轻易听信马希声的一面之词。
马殷对儿子语重心常的说道：“高郁，是成就马家霸业之人，你们以后不得再说这种话！我们不能亏待了他，你们务必要尊重高先生！”在马殷那边碰了钉子的马希声仍不肯死心：要保全高郁也可以，但是又剥夺高郁的兵权，让他掌握兵权，是件非常可怕的事，还是要防患于未然。
尽管马殷不相信马希声所罗列的那些罪行，但架不住马希声的反复诉说。当然马希声也通过母亲德妃向马殷进言，外加马希范也对高郁有意见。马殷最终选择了妥协，将高郁贬为行军司马，免去了高郁一些权力。马殷其实也是为高郁好，他不想让高郁和儿子们闹得太僵。
高郁却没有体会出马殷的一番苦心，得