水利是发展农业的根本。唐太宗既然以农为本，那就必然要重视水利工程建设。特别是贞观年间，水旱连年不绝，治水更成为一项紧迫的任务。例如，贞观十一年七月，洛水暴涨，淹没六百余家。唐太宗下诏自责，说： “暴雨成灾，大水泛滥，静思厥咎，朕甚惧焉。”同年九月，黄河泛滥，毁坏很多地方，唐太宗亲自到白司马坂巡视，足见他对水利设施的关注。
为了有效地治水，唐初对治水的专门机构加以整顿。据《唐六典》卷七载，工部设有水部郎中和员外郎，职责是“掌天下川渎陂池之政令，以导达沟，堰决河渠，凡舟楫灌溉之利，咸总而举之。”
京师设有都水监，掌管京师河渠疏浚与灌溉事宜。此外，还制定出水利与水运的专门立法，即所谓《水部式》,以刑律保护河水与堤防的合理使用。唐太宗执法较严，凡是违反《水部式》规定的失职官员，务必惩处。如贞观十八年，太常卿韦挺负责水运粮食至辽东，事先没有视察河道，致使六百余艘粮船因河道“浅塞不能进”。次年正月， “韦挺坐不先行视漕渠”的刑律，被“械送洛阳”,遭到“除名”的处分。
在唐太宗的倡导下，各地兴修水利成效显著。例如，贞观十八年，杨州大都督府长史李袭誉，因江都俗好商贾，不事农业， “乃引雷陂水，又筑勾城塘，溉田八百余顷，百姓获其利。”又如，沧州刺史薛大鼎，针对州内无棣河淤塞、不便通航与灌溉的情况，上疏建议开河。