ตามพระราชบัญญัติปรับปรุงกระทรวงทบวงกรม (ฉบับที่ 4) พ.ศ. 2510 เพื่อจัดตั้งกรมส่งเสริมการเกษตร ได้เข้าสู่ระเบียบวาระการประชุมสภาร่างรัฐธรรมนูญ เมื่อวันที่ 14 กันยายน 2510 ที่ประชุมลงมติรับหลักการ และได้ประกาศใช้เป็นกฎหมายให้ตั้งกรมส่งเสริมการเกษตร เมื่อวันที่ 21 ตุลาคม พ.ศ. 2510
ต่อมา ได้ประกาศใช้พระราชบัญญัติโอนกิจการบริหารในกระทรวงเกษตร พ.ศ. 2511 วันที่ 18 มิถุนายน 2511 คือ งานส่งเสริมการเกษตรของสำนักงานปลัดกระทรวง กระทรวงเกษตร งานส่งเสริมและเผยแพร่การเกษตร และงานปราบโรคและศัตรูพืชกสิกรรมจังหวัด และกสิกรรมอำเภอ ของกรมกสิกรรม งานส่งเสริมและเผยแพร่การเกษตร ข้าวจังหวัดและข้าวอำเภอ ของกรมการข้าว ไปเป็นของกรมส่งเสริมการเกษตร
จากนั้น มีการแบ่งส่วนราชการ ออกเป็น ราชการบริหารส่วนกลาง มี 4 หน่วยงาน ได้แก่ สำนักงานเลขานุการกรม กองคลัง กองประสานงานวิชาการเกษตร กองอบรมและเผยแพร่ ราชการบริหารส่วนภูมิภาคมี 2 หน่วยงาน คือที่ทำการเกษตรจังหวัด และที่ทำการเกษตรอำเภอ
อำเภอท่าม่วงจัดตั้งขึ้นเมื่อปี พ.ศ. 2441 ที่บ้านท่าไม้รวก ตำบลม่วงชุมในปัจจุบัน โดยเริ่มแรกเนื่องจากอำเภอที่ตั้งขึ้น มีอาณาเขตติดต่อกับ “วัดใต้” (วัดมโนธรรมารามในปัจจุบัน) จึงตั้งชื่ออำเภอว่า อำเภอใต้ ต่อมา ความเจริญของลำน้ำเปลี่ยนไป ประชาชนอพยพลงมาทางใต้ เพราะบริเวณท่าไม้รวกเดิมเป็นลำน้ำคด ไม่สะดวกในการสัญจรของเรือแพ จึงย้ายที่ว่าการอำเภอมาตั้งใหม่บริเวณใกล้กับวัดศรีโลหะราษฎร์บำรุง และตั้งชื่ออำเภอใหม่ว่า อำเภอวังขนาย
ต่อมา พระวรภักดิ์พิบูลย์ นายอำเภอสมัยนั้นเห็นว่าอำเภอนี้ควรตั้งชื่อให้สอดคล้องกับความเป็นจริง เพราะอำเภอตั้งอยู่ในเขตพื้นที่ตำบลท่าม่วง และอยู่ท้ายตลาดท่าม่วงซึ่งเป็นตลาดใหญ่ จึงขออนุญาตเปลี่ยนชื่อจากอำเภอวังขนายเป็น อำเภอท่าม่วง ตามชื่อตำบลที่ตั้ง โดยมีผลตั้งแต่ในปี พ.ศ. 2482 จากนั้นในปี พ.ศ. 2489 ได้ย้ายที่ว่าการอำเภอมาอยู่ที่ตั้งปัจจุบัน เนื่องจากอาคารที่ว่าการอำเภอเดิมมีขนาดเล็กคับแคบและชำรุดทรุดโทรม ไม่สามารถขยายได้
อาณาเขตอำเภอท่าม่วง ทิศเหนือ ติดต่อกับ ตำบลปากแพรก อำเภอเมืองกาญจนบุรี และตำบลดอนเจดีย์ ตำบลทุ่งสมอ อำเภอพนมทวน ทิศตะวันออก ติดต่อกับ ตำบลตะคร้ำเอน ตำบลเขาสามสิบหาย อำเภอท่ามะกา จังหวัดกาญจนบุรี และตำบลเขาขลุง อำเภอบ้านโป่ง จังหวัดราชบุรี ทิศใต้ ติดต่อกับ ตำบลธรรมเสน อำเภอโพธาราม ตำบลด้านทับตะโก อำเภอจอมบึงจังหวัดราชบุรี และตำบลแสนตอ อำเภอท่ามะกา จังหวัดกาญจนบุรี และทิศตะวันตก ติดต่อกับ ตำบลเกาะสำโรง อำเภอเมืองกาญจนบุรี และตำบลด่านมะขามเตี้ย อำเภอด่านมะขามเตี้ย จังหวัดกาญจนบุรี
สำนักงานเกษตรอำเภอท่าม่วง ตั้งอยู่หมู่ที่ 3 ตำบลท่าม่วง ติดทางหลวงแผ่นดินหมายเลข 3084 (ถนนแสงชูโต) ห่างจากจังหวัดกาญจนบุรี ระยะทางประมาณ 12 กิโลเมตร พื้นที่โดยประมาณ 6 ไร่ 80 ตารางวา และมีขอบเขตความรับผิดชอบ จำนวน 13 ตำบล 120 หมู่บ้าน ดังนี้
- ตำบลท่าม่วง จำนวน 5 หมู่บ้าน
- ตำบลวังขนาย จำนวน 7 หมู่บ้าน
- ตำบลวังศาลา จำนวน 10 หมู่บ้าน
- ตำบลท่าล้อ จำนวน 6 หมู่บ้าน
- ตำบลหนองขาว จำนวน 13 หมู่บ้าน
- ตำบลทุ่งทอง จำนวน 8 หมู่บ้าน
- ตำบลเขาน้อย จำนวน 8 หมู่บ้าน
- ตำบลม่วงชุม จำนวน 5 หมู่บ้าน
- ตำบลบ้านใหม่ จำนวน 11 หมู่บ้าน
- ตำบลพังตรุ จำนวน 9 หมู่บ้าน
- ตำบลท่าตะคร้อ จำนวน 7 หมู่บ้าน
- ตำบลรางสาลี่ จำนวน 15 หมู่บ้าน
- ตำบลหนองตากยา จำนวน 16 หมู่บ้าน