كان قد رأى وهو بالكوفة رؤيا أفزعته وغمه ذلك فدخل عليه جبريل بن بختيشوع فيقال مالك يا أمير المؤمنين فقال رأيت كفا فيها تربة حمراء خرجت من تحت سريري وقائلا يقول هذه تربه هارون فهون عليه جبريل أمرها وقال هذه من أضغاث الأحلام من حديث النفس فتناسها يا أمير المؤمنين فلما سار يريد خراسان ومر بطوس واعتقلته العلة بها ذكر رؤياه فهاله ذلك وقال لجبريل ويحك أما تذكر ما قصصته عليك من الرؤيا فقال بلى فدعا مسرورا الخادم وقال ائتني بشئ من تربة هذه الارض فجاءه بتربة حمراء في يده فلما رآها قال والله هذه الكف التي رأيت والتربة التي كانت فيها قال جبريل فو الله ما أتت عليه ثلاث حتى توفي وقد أمر بحفر قبره موته في الدار التي كان فيها وهي دار حميد بن أبي غانم الطائي فجعل ينظر إلى قبره وهو يقول يا ابن آدم تصير إلى هذا ثم أمر أن يقرأوا القرآن في قبره فقرءوه حتى ختموه وهو في محفة على شفير القبر ولما حضرته الوفاة احتبى بملاءة وجلس يقاسي سكرات الموت فقال له بعض من حضر لو اضطجعت كان أهون عليك فضحك ضحكا صحيحا ثم قال أما سمعت قول الشاعر
وإني من قوم كرام يزيدهم * شماسا وصبرا شدة الحدثان
مات ليلة السبت وقيل ليلة الأحد مستهل جمادى الآخرة سنة ثلاث وتسعين ومائة عن خمس وقيل سبع وأربعين سنة وكان ملكه ثلاثا وعشرين سنة