故事發生在宋太宗淳化二年，定川府有一個名叫赫仁貴的貨郎。赫仁貴娶妻孫氏，次年孫氏為他生下一個女兒，段仁貴給女兒取名叫赫蘭香。赫仁貴平日走街串巷，賣些頭花首飾之類，孫氏則在家中紡紗織布，照看女兒。
他們的日子雖然過的清貧，但是好在夫妻恩愛，女兒可愛懂事，赫仁貴十分知足。但是厄運悄悄降臨這個家庭，孫氏一連數日咳血不止，最後撒手人寰。赫仁貴悲痛欲絕，將孫氏埋葬在後山。當時赫蘭香剛剛三歲，哭著嚷著喊媽媽。
沒人照顧女兒，赫仁貴只好每日背著女兒遊街賣貨。赫仁貴做生意忠厚老實，大家又可憐他帶著一個孩子，都願意支持他的生意。一日，赫仁貴背著女兒走在街上賣貨，突然一頭小毛驢從巷子裡沖了出來，撲通跪倒在赫仁貴面前。
從巷子裡追出來一個漢子，氣喘吁吁手裡拿著一個菜刀，那漢子說道：「今天我倒要看看是你這驢脾氣厲害，還是我這菜刀厲害。」赫蘭香看到這一幕突然嚇得哭了起來，說道：「這小毛驢好可憐，我們救救它吧。」
赫仁貴攔住那個漢子說道：「這位仁兄，小驢尚未長成，為何要殺它？」那漢子生氣地說道：「這頭驢不知何故，已經三天不吃不喝，還不如殺了它賣些錢來，餓死了就不值錢了！」赫仁貴心想不如將驢買下，等它長大後可以用來拉貨，于是說道：「你看這樣成不成，你賣驢肉也值不了多少錢，不如將這頭小毛驢賣給我，如何？」
那漢子一聽，喜出望外說道：「這個好說，倘若賣驢肉的話能得五兩銀子，我也不多要你的，你就給我五兩銀子吧。」赫仁貴見漢子爽快，當即回家取來五兩銀子，將小毛驢牽回家中。
說來也怪，那小毛驢到了赫家之後變得十分溫順，蘭香找來幾片菜葉喂它，小毛驢吃完之後，還用舌頭舔了舔赫蘭香的小手，赫蘭香開心得合不攏嘴。赫仁貴十分欣慰，這是妻子去世後，第一次見女兒這麼開心。
從此，小毛驢成了赫家的一名家庭成員，赫仁貴也不捨得用它拉貨，平日挑著扁擔走街串巷，等貨賣完後再割些青草回來喂驢。每當小蘭香開心或者傷心的時候，都會找小毛驢訴說，那小毛驢似乎能聽懂人語一般，時不時地用鼻子哼兩聲。
女兒一天天長大，赫仁貴天天帶著女兒遊街串巷也不是個辦法，但是家中又沒有人照看，正在赫仁貴發愁之時，媒婆王嬸找上門來，說鄰鎮有個名叫焦媚娘的寡婦，托自己前來說親。赫仁貴思慮再三，便答應了這門婚事，選了個良辰吉日，將焦媚娘迎娶家中。
赫仁貴聽聞鄰縣的芭蕉扇十分出名，便想採購一些回來，趁著酷暑來臨之前，提前售賣一番。赫仁貴挑了一筐髮卡和頭飾，邊走邊賣，走了七八日終于到了鄰縣。赫仁貴又花了七八日光景，終于回到家中。
赫仁貴走進家門，只見那小毛驢頭上戴上了籠頭，枯瘦如柴拴在木樁之上。女兒站在小毛驢旁默默地流著眼淚，赫仁貴一把抱起女兒說道：「蘭香，是不是你最近貪玩，都忘了給小毛驢割草了？」蘭香搖了搖頭。
赫仁貴從懷了拿出一把精緻的繡扇，遞到女兒手上說道：「這是我特意在鄰縣買的，喜歡嗎？」蘭香點了點頭。赫仁貴大惑不解：「蘭香，你怎麼不說話，只是點頭搖頭？」蘭香張開嘴巴，發出咿咿呀呀的聲音，似乎在表達什麼。
正在這時，焦媚娘從屋裡走了出來，說道：「夫君回來了。」蘭香見焦媚娘過來，當即不再發聲。赫仁貴問道：「蘭香這是怎麼回事？我出去的時候好好的，怎麼回來就成這樣了？」焦媚娘長歎一聲說道：「你走後第二天，蘭香就發了高燒，後來燒了一夜，等天明請來郎中時，她嗓子已經被燒壞了。」
赫仁貴看著女兒，不禁流下了淚水，說道：「這孩子真是可憐，三歲沒了娘，現在六歲又成了啞巴，這是造的什麼孽啊。」赫仁貴在家中逗留了幾日，採購回來的芭蕉扇也售賣一空，赫仁貴此番掙了不少利錢。
赫仁貴便想著再去採購些芭蕉扇，到遠處去賣，等掙了錢好給女兒看病，為了能夠拉更多的貨，這次赫仁貴破天荒地帶上了小毛驢。赫仁貴見小毛驢枯瘦如柴，不忍騎在上面，便只讓小毛驢馱著竹筐。
黃昏時分，赫仁貴牽著毛驢從家出發，朝鄰縣走去。約莫走了有二三十裡的時候，那毛驢突然渾身發顫，死活不再往前走，此時差不多是二更天左右，月色皎潔亮如白晝。赫仁貴對毛驢說道：「老夥計，我養了你三年，你總得給我出點力吧，你現在撂挑子的話，這荒郊野外咱倆可不好過。」
那毛驢突然轉身，朝來時的方向跑去，赫仁貴心中大驚，生怕毛驢跑丟，嘴裡暗自怒道：「這毛驢還真是倔脾氣，不想幹活轉身就跑。」那毛驢雖然枯瘦如柴，但是不知哪來的力氣，跑起來如同瘋了一般，赫仁貴在後面追得是氣喘吁吁。
毛驢一頭撞開自家大門，赫仁貴此時也追了過來。赫仁貴看到眼前一幕時，不禁驚得目瞪口呆，只見女兒蘭香被赤身裸體綁在樹上，渾身全是鞭打的痕跡。聽見院裡動靜，從屋裡跑出兩個人來，一個正是赫仁貴的後妻焦媚娘，只見焦媚娘衣衫不整，頭髮散亂，嘴裡喃喃地說道：「夫...夫君...你為何去而復返？」
而另外一個人赫仁貴也認識，乃是鄰鎮磨豆腐的光棍王老漢，赫仁貴賣貨時經常遇見！那王老漢慌得連褲子都沒穿，王老漢對焦媚娘使了一個眼色說道：「通姦報官會被浸豬籠，不如我們結果了這廝，我們好做長久夫妻。」焦媚娘點了點頭，抄起旁邊的鐵鍬朝赫仁貴砸來。
赫仁貴手無寸鐵，正在這千鈞一髮之際，毛驢從旁邊沖了出來，一頭將焦媚娘頂飛到牆上，焦媚娘當時便昏了過去。王老漢抄起斧子朝赫仁貴砍來，毛驢擋在赫仁貴身前，用後蹄一蹬，王老漢被踢出門外，亦是昏死過去。不幸的是，毛驢亦被王老漢的斧子砍中，身上被豁開一個大口子，不一會便倒地身亡。
鄉鄰們聽見動靜，紛紛趕來，眾人將赫蘭香從樹上解下，然後將王老漢和焦媚娘繩捆索綁送到縣衙。縣衙有位捕頭曾經學過醫術，聽聞赫蘭香突然變啞，懷疑是王老漢和焦媚娘毒害所致，于是配製藥水讓赫蘭香服下，赫蘭香吐出許多黑水，過了一會便能說出話來。
在公堂之上，赫蘭香哭著講出了自己的遭遇。原來，焦媚娘守寡期間寂寞難耐，便與王老漢通姦有染，但是王老漢脾氣暴躁，常常對焦媚娘打罵，焦媚娘便想著自己嫁出來，與王老漢斷絕往來。誰知自己嫁給赫仁貴之後，王老漢趁赫仁貴不在家，又找了過來。
赫蘭香發現王老漢和焦媚娘私通，正欲呼喊，王老漢便用毒耳屎將赫蘭香弄啞。王老漢還將赫家的毛驢牽走替自己拉磨，那毛驢從未幹過重活，故而十幾天的光景毛驢變得消瘦許多。倘若那晚赫仁貴回來的遲些，恐怕再也見不到女兒，那晚王老漢本打算和焦媚娘雲雨之後，將赫蘭香拐走，到時賣到深山老林給人家當童養媳，如此便可得不少銀子，到時只讓焦媚娘對赫仁貴說女兒走丟了便是。
一切真相大白，焦媚娘和王老漢被剮了三千刀，遊街三日之後才被浸豬籠。
赫仁貴將那毛驢葬在自己妻子墳邊，當晚赫仁貴做了一個夢，他夢見妻子孫氏來跟他告別。孫氏說道：「我死後掛念你和女兒，遲遲沒有去投胎，後來向閻王請求托生為驢，陪在你們身邊。如果你們的劫難已經度過，我也可以放心投胎去了。一年之後你還會有一段好姻緣，到時她會替我照顧女兒，希望我們來世可以再作夫妻。」說罷，孫氏消失不見。赫仁貴急忙呼喊，才發現原來是一場夢。
自那以後，赫仁貴再也沒有離開過女兒，赫仁貴在街邊開了一間雜貨鋪，生意十分興隆。到了次年冬天，有一日赫仁貴開門掃雪，只見一個女子倒在雪地裡，赫仁貴扶起來一看，此女子竟與自己妻子孫氏有幾分相似。赫仁貴將女子扶到家中，赫蘭香看到之後，嘴裡不停地喊道：「娘！娘！娘！」
原來那女子乃是嶺南人，隨父經商至此，後來父親因病去世，女子便淪落街頭險些凍死。女子見赫仁貴父女忠厚善良，便留在赫家與赫仁貴過活。那女子待赫蘭香如同親女兒一般，一家三口其樂融融，世間的緣分就是這般妙不可言。
後來，赫蘭香長到十六歲時，嫁給縣裡的一個窮秀才，窮秀才寒窗苦讀一舉奪魁，到江州府走馬上任，赫仁貴夫婦自此也過上了錦衣玉食的生活，後來活到九十多歲才無疾而終。
