الدُّوريّ وأنا حَدَث، فكتبتُ عَنْهُ مجلسًا، وخرَجت فلقِينيَ بعض الصُّوفيّة فقال: إيش هذا؟ فأريْتُه، فقال: ويْحك؛ تدع عِلْم الخِرَق وتأخذ عِلْم الوَرَق!! ثمّ خرق الأوراق. فدخل كلامه فِي قلبي فلم أعد إلى عَبَّاس. ووقفت بعرفة ستًا وخمسين وقفة. وقيل: عجائب بغداد فِي الصوفية ثلاث: نكت المرتعش، وإشارات الشلبي، وحكايات الخُلْديّ.
وقال أَبُو الفتح القوّاس: سمعتُ الخُلْديّ يَقُولُ: لا يجدُ العبد لذّة المعاملة مَعَ لذّة النَّفس؛ لأنّ أهل الحقّ قطعوا العلائق الّتي تقطعهم عَنِ الْحقّ قبل أن تقطعهم العلائق. وسُئِل الخُلْديّ عَنِ الزّهْد، فقال: من أراد أن يزيد فليزهد ولا فِي الرّئاسة، ثمّ لِيَزْهَدْ فِي قدر نصيب نفسه ومُراداتها. ورأى امرأةً ثَكْلَى تبكي عَلَى ولدها، فأنشد:
يقولون: ثَكْلَى، ومن لم يَذُقْ ... فراق الأحبة لم يَثْكَل
لقد جرَعتْني ليالي الفِراقِ ... شرابًا أَمَرَّ مِن الحنْظلِ