Van Gaal khởi nghiệp cầu thủ năm 20 tuổi tại Ajax, nhưng không thể có được chỗ đứng trong đội hình chính. Ông lưu lạc qua các đội bóng Royal Antwerp, Telstar, Sparta Rotterdam và cuối cùng là AZ Alkmaar trước khi giải nghệ năm 1987 và trở thành trợ lý HLV tại AZ Alkmaar
Một năm sau Van Gaal chuyển tới Ajax làm trợ lý HLV để học việc Leo Beenhakker và thay thế ông thầy năm 1991
Được giáo dục trong triết lý bóng đá tấn công tổng lực, Van Gaal dẫn dắt Ajax giành 3 chức vô địch Hà Lan, 1 UEFA Cup và 1 cúp C1 (Champions League) trong nhiệm kỳ 6 năm tại Ajax
Nhiều đội bóng châu Âu liên hệ với Van Gaal song ông quyết định chọn Barca năm 1997
Mùa giải đầu tiên, Van Gaal chấm dứt 37 năm chờ đợi của NHM Barca để giành cú đúp danh hiệu La Liga và cúp Nhà vua Tây Ban Nha
Do không muốn bị suy yếu quyền lực, Van Gaal xảy ra các cuộc tranh cãi với NHM cũng như các cầu thủ. Nhiệm kỳ của ông kết thúc ở mùa 1999/2000
Van Gaal nhận lời dẫn dắt ĐT Hà Lan năm 2000, nhưng từ chức vào năm 2002 sau khi không thể giúp đội bóng giành tấm vé dự World Cup 2002 tại Nhật Bản và Hàn Quốc
Sau 1 năm dẫn dắt Barca (2002-2003) nhưng không thành công, Van Gaal trở lại Hà Lan làm GĐKT của Ajax năm 2004 nhưng tiếp tục thất bại
Năm 2005, Van Gaal nhận lời dẫn dắt AZ Alkmaar, một đội bóng tầm trung của Hà Lan. Mùa 2008/09, sau 3 năm gắn bó Van Gaal mới giúp đội bóng vô địch Hà Lan
Sau thành công với AZ Alkmaar, năm 2009 Van Gaal nhận lời dẫn dắt Bayern
Ông trở thành HLV người Hà Lan đầu tiên vô địch Bundesliga ngay mùa đầu có mặt tại Allianz Arena. Ông cũng giúp Bayern vô địch cúp quốc gia Đức, nhưng bỏ lỡ "cú ăn ba" khi để thua Inter của Mourinho ở chung kết Champions League
Chia tay Bayern, Van Gaal nhận lời dẫn dắt ĐT Hà Lan thay Bert van Marwijk năm 2012 và giúp đội nhà về thứ 3 tại World Cup 2014
Kết thúc World Cup 2014, Van Gaal nhận lời dẫn dắt M.U nhưng không để lại nhiều thành công trong 2 năm có mặt tại đây
Van Gaal giành chức vô địch FA Cup cùng M.U năm 2016, danh hiệu vô địch cuối cùng trong sự nghiệp huấn luyện của ông
