他跟慕流云说，袁牧因为性子冷淡，不喜欢和其他高门子弟来往，再加上在年纪相仿的同辈之中，他又是最天资卓越的那一个，文韬武略，卓尔不群，那些纨绔不免对他心生嫉恨。

再加上在任提点刑狱公事之前，袁牧还曾经在军中挂职过一阵子，也是以军法严明而著称，期间几个同样在军中挂名，却只想要混混日子，求个虚名以应付家里的世家公子哥儿做了败坏军纪的事情，居然偷偷从外面带了姑娘、琴师到军营里面喝酒取乐，被袁牧当众惩戒，打了个屁滚尿流，还丢了好大的人，从那以后就算是结下了大梁子。

那些不成器的混世魔王之所以能那么没规没矩，和家里头的管教方式自然也是不无关系的，正所谓上梁不正下梁歪，他们家里面的父兄表面上对于忠勇郡王客客气气，恭恭敬敬，私下里却也嫉妒袁怀的那份荣光和体面，更嫉妒他有一个如此优秀的儿子。

原本还只是暗搓搓地嫉妒着，也不好表现出来，结果因为袁牧处置了他们家里不成器的败家子，这多少也等于打了他们的脸，既然袁怀是一个不问政事的富贵闲人，他们无处下口，那袁牧变成了这些人泄愤的唯一目标。

打那之后，袁牧被人找茬儿参了几次本子，不过上面追查下来，发现都是一些捕风捉影的事，便不了了之。

那些人一看没有小辫子可以抓，后来竟然狗急跳墙似的想要人为给袁牧制造几条小辫子，在一次袁牧替父亲去赴宴的时候，有人竟然偷偷在他的酒里面加了迷药，还偷偷雇了几个琴师，打算把袁牧迷晕了，制造出一些丢人现眼，伤风败俗的丑闻来，让他抬不起头。

当时多亏是袁甲见别人都散席离开，唯独没见袁牧，而袁牧事先也与他交代过，赴宴过后要尽快回家去，还有公事没有处理完，于是冒着被问罪的风险强行闯进去，这才让那几个人的阴谋没有得逞，将神智已经有一些不太清醒的袁牧给背回了家。