司马迁的祖上几代都做太史令，这个职位不是很显要，但司马迁和他的父亲司马谈都以此为荣。为了使儿子早日成才，继承自己的职位，父亲在司马迁10岁的时候，就引导他学习当时的古文。
年纪稍长，司马迁便跟随当时著名的经学大师孔安国学习《尚书》。后来，他又拜儒学大家董仲舒为师，在他的指点下研读《春秋》。虽然司马迁的父亲身居高位，但司马迁身上没有一点纨绔子弟的习气。他刻苦读书，努力钻研，谦虚谨慎，得到人们的好评。司马迁不愿意做两耳不闻窗外事的书呆子，20岁时随褚太等人周游天下，开始了艰苦的游历生活。
一天，司马迁来到会稽，访问了大禹的遗迹。在那里，他一边看着大禹走过的山山水水，遥想当年大禹顶风冒雨指挥众人疏通河道、堵塞决口的情景；一边向当地的乡亲们了解大禹治水的传说。一位老人告诉他，大禹接受治水任务时心理压力很大，独自到南岳衡山，祭奠自己的父亲。他对着苍天大声呼喊：“苍天啊，你为什么不助我父亲治水成功！神灵呀，洪水何时能归大海！”他从衡山归来，沐浴斋戒，把自己关在屋子里，苦苦思索父亲治水失败的原因，最后才想出用疏通河道治理洪水的办法。听着老人的叙述，司马迁感到史书上记载的大禹治水过于简略，而且只是突出他治水如何功高盖世，如何公而忘私，而忽视了他作为普通人的一面。