1、对蛋白质过敏的人。蛋白质过敏重要是由于食物中的某些物资（通常是蛋白质）进入了体内，被免疫体系当成入侵病原，免疫体系便释放出一种特异型免疫球蛋白E，并与食物联合生成许多化学物资，造成皮肤红肿、经常性腹泻、消化不良、头痛、咽喉疼痛、哮喘等过敏症状，而香榧就是高蛋白质食物，如有蛋白质过敏的话，是不合适吃香榧的。
2、易上火人群。香榧子一种高油脂、高热量的坚果，每100克香榧中的油脂含量可高达50%，供给热量618大卡，人体食用之后会加重体内的火气，而易上火或本身材内火气较重的人群，食用过量的香榧很容易加重牙龈肿痛、口腔溃疡、皮肤长痘等上火症状。
3、肝病患者。香榧中含有大批的脂肪油成分，肝病患者代谢脂肪才能较差，若是食用了大批的脂肪类食物，无法及时期谢，会加重肝脏的累赘，从而可能会导致病情加重，所以建议患有肝炎、重度脂肪肝患者最好少吃香榧。
4、胆囊切除的人。香榧中含有大批的脂肪成分，它须要胆囊分泌胆汁进行代谢，而胆囊切除患者储存胆汁的功效损失，食用香榧这类脂肪高的食物无法及时进行分解代谢，可能会容易引起腹胀、恶心等消化不良症状，所以做了胆囊切除手术者建议少吃香榧。