他的母亲因触犯刑法遭到处刑后身体残缺，被收入官府设立的隐官，而隐官是介于庶人和奴隶之间的一种身份，相当于今天的刑满释放人员，地位在普通庶民之下，所能占有的土地和住宅，只有普通庶民的一半。
而赵高父亲娶这样的女子，可见，当时混的实在不怎么如意。他本身就是隐官工作的下级文法官吏，通晓法律，精于书法，在隐官任职时结识了赵高的母亲，组建了家庭，生下赵高、赵成。
赵高兄弟便是在这样的氛围下长大，而胡毋敬一家比赵高兄弟要好不少，他的父亲是秦栎阳狱吏，经济上要比较赵高的父亲好得太多，时常资助赵高的父亲。
他敬重赵高父亲的文采，让儿子胡毋敬拜赵高父亲为师，学习书法和史学，而赵高也跟随父亲学习历法和书法，他们二人年纪相仿，志趣相投，学习很是用心，所以年龄虽小，在当地早有赞誉。
由于出名早，再加上聪慧知学，等到他们长大，身份地位发生了翻天覆地的变化，赵高受皇帝的赏识，担任了中书府令，而胡毋敬子承父业，当上了秦栎阳狱吏。
后来赵高的地位水涨船高成为郎中令，在他的推荐下，好友胡毋敬从狱吏摇身一变，成为中车府今兼行符玺令。
只是他性格酷烈，与同僚不和，最终被穿了小鞋，在赵高的干预下，灰溜溜的调到史官。
当时史官地位尊崇，生活虽然清贫，但是名声却好，很符合他沽名钓誉的心理，所以越干越开心，最后做到了太史令，而他的女儿，也因为父亲的身份，选入秦宫，成为有名号的妃子，胡妃。
可以说胡毋敬的一生，同赵高联系紧密，在政见上也相互呼应，他们可以说是一荣俱荣，一损俱损，最能证明这一点，便是子婴设计杀死赵高后，完)
：。：
