امیر علیشیر نوایی(د906ق.)در اوانی که وزیر سلطان حسین بایقرا(د911ق.) بود، از خواجه قوام‌الدین نظام‌الملک خوافی دیگر وزیر این دربار هیچ خوشش نمی‌آمد. چوب این تضاد و تعارض طبیعتأ اصحاب خواجه را نیز نوازشکی می‌داد. مثلاً  در تذکره مجالس‌النفایس، امیر از معین‌الدین محمد زمچی اسفزاری، مؤرخ و مترسّل شهیر دوره تیموری که از یاران خواجه بوده با این تخفیف و خوارداشت یاد کرده است: 

ملا نامی از ولایت سبزوار است و بانشاء و خط تعلیق شهرت تمام دارد، اما در انشاء او را هیچ منشی پسند نمی‌کند بتخصیص مولانا عبدالواسع و در خط تعلیق او را هیچ خوشنویس قبول ندارد خصوصاً شیخ عبدالله دیوانه و خواجه غیاث‌الدین ده‌دار نیز که در مجلس حضرت پادشاه از روی ندیمی مردم را بسیار تقلید کرده و میکند، و مولانا را گفته است که در محل سخن‌کردن ظاهراً صابون میخواید که مغرابه از دهان او میرود و تکلمش را چنان تقلید میکند که اهل ادراک همه بسیار تعریف میکنند، این مطلع از اوست:

لافد ز خطا نافه زهی بی سر و پائی

غماز سیه باطن مادر بخطائی

اما سر انجام امیر علیشیر و خواجه:

سعایت و بدگویی امیر از خواجه عاقبت نتیجه داد و سلطان دستور داد خواجه را به همراه دو فرزندش به سال 903ق. در قلعه هرات پوست بکنند.
آرامگاه خواجه خوافی در کنار محدث بزرگ هرات ابوالولید آزادانی است.