בְּעֵת שְׁהוּתוֹ בְּאִיזְמִיר, הָיָה יָדוּעַ בְּקֶרֶב אַנְשֵׁי הַקְּהִלָּה שֶׁאָסוּר לִפְגֹּעַ בִּכְבוֹדוֹ שֶׁל הָרַב הֶעָנָו,
הָיָה יָדוּעַ בְּקֶרֶב אַנְשֵׁי הַקְּהִלָּה שֶׁמִּי שֶׁפּוֹגֵעַ בִּכְבוֹדוֹ שֶׁל הָרַב, לֹא מוֹצִיא אֶת שְׁנָתוֹ.
הַדָּבָר הָיָה מַפְתִּיעַ בְּיוֹתֵר, כִּי רַבִּי חַיִּים אַבּוּלְעַפְיָה הָיָה עָנָיו, לֹא דָּרַשׁ שׁוּם כָּבוֹד וּמָחַל עַל כְּבוֹדוֹ פַּעַם אַחַר פַּעַם.
שָׁאֲלוּ אֶת רַבִּי חַיִּים אַבּוּלְעַפְיָה מַדּוּעַ, מִי שֶׁפּוֹגֵעַ בִּכְבוֹדוֹ, לֹא מוֹצִיא שְׁנָתוֹ, הִסְבִּיר רַבִּי חַיִּים אַבּוּלְעַפְיָה שֶׁהוּא מִזַּרְעוֹ שֶׁל דָּוִד הַמֶּלֶךְ, וּמֶלֶךְ שֶׁמָּחַל עַל כְּבוֹדוֹ, אֵין כְּבוֹדוֹ מָחוֹל. וְאָמְנָם וַדַּאי שֶׁהוּא מוֹחֵל לְכָל מִי שֶׁפּוֹגֵעַ בּוֹ, אַךְ לְצַעֲרוֹ אֵין זֶה עוֹזֵר.