1936年的陕北农村，还处在极其封闭的状态。憨厚的马大虎出生在陕北的一个小山村里，因为家中贫困，马大虎一直帮村里的胡大爷家放羊。马大虎从小和钱家的蕊蕊定下娃娃亲，但最近钱蕊蕊考上了大学，钱父嫌弃马大虎没本事，想要将她重新许配给在部队里当参谋的宋老三，于是钱父便伙同宋老大一起逼马大虎同意退婚，钱父提出赌约，让马大虎把宋老大家的驴撂倒，否则就要退婚。在众人起哄下，马大虎不知天高地厚的答应了，可是三个回合下来，马大虎不仅没把驴撂倒，反而被驴呲了一脸尿，遭到了全村人的嘲笑，从此马大虎得名绰号“二毛驴”。本来宋老大还想借机再戏弄马大虎一把，这时钱蕊蕊出面帮大虎解了围，不过马大虎和钱蕊蕊的婚事彻底黄了。

钱蕊蕊在全村人的欢送下前往省城西安上学，路过马家时，蕊蕊本想去跟大虎告别，但被父亲制止了，马父看到这一幕，想起了钱父来自家退婚的场景，顿时觉得老脸无光。马大虎帮胡大爷将羊赶回胡家，胡大爷把大虎叫了过来，原来胡大爷在省城部队里当官的儿子胡志清来信了，胡大爷不识字，就想着让大虎帮自己读信。虽然大虎识字，但是识字并不多，他囫囵的将信读了下来，结果将胡志清信里的意思曲解了，本来胡志清来信说因为自己立下战功，蒋委员长嘉奖自己两万大洋，被自己用在了兴办学校上，结果大虎告诉胡大爷那两万块钱是蒋委员长给自己养老的，胡大爷听完不干了，当即决定去省城找儿子要钱。

胡大爷没出过门，于是此行西安，胡大爷决定带上大虎，这可把大虎高兴坏了。很快，两个人便出发来到了车站，结果却坐错了火车，几经周折，大虎和胡大爷总算是坐上了去西安的火车，在火车上，大虎遇到了一群国民党军官，大虎还跟这些国民党攀谈起来，胡大爷无意间告诉这些国民党军官自己的儿子是胡志清，而这些国民党军官恰好是胡志清的手下，领头的便是胡志清手下的张学普营长，张学普等人当然不认为眼前的这个土老帽是自己师长的父亲，认为他们是骗子，本来大虎想要拿出胡志清寄回家的那封信来证明，结果这个时候大虎才发现那封信竟然没带，于是张学普便对大虎和胡大爷进行了搜查。这个时候有个名叫黄飚的年轻人站出来发表自己的看法，张张学普决定这个黄飚颇有见识，于是邀请他参军，黄飚正有这个打算，于是便答应了。

胡志清在西安焦急的等待着父亲的到来，他知道父亲西安就是为了要钱，他已经准备好了欢迎仪式，也是想给父亲一个下马威。被当成骗子的大虎和胡大爷在西安下了车后便没有见到胡志清派来接自己的人，而张学普觉得大虎适合当兵，于是把大虎和胡大爷一起带回了部队，他还打算让胡大爷去部队上喂马做饭。直到在回军营的路上，张张学普这才确定胡大爷真的是胡志清师长的父亲，张张学普等人连连讨好胡大爷，他们一路把胡大爷背着护送到了军营。

来到军营，胡大爷终于见到了儿子胡志清，然而见面之后老爷子第一件事情就是向儿子讨要那两万大洋，胡志清这也才知道原来是大虎念错了信，这才造成了这场误会。不过此行大虎护送胡大爷来西安也算有功，胡志清大方的给了大虎五十块钱，这可把大虎给乐坏了。第二天胡志清带着胡大爷和大虎在部队观看训练，大虎趁机在胡志清面前告了张学普一状，张学普在胡志清面前连头都快抬不起来了。

在新兵的训练场上，大虎对他们的训练器械非常好奇，一不留神从器械上摔了下来，在胡志清那里当参谋的宋老三，是大虎的老乡，以前就总欺负大虎，到了这里，他还是很针对大虎，大虎则准备让宋老三看看自己的厉害。