Năm Kiến Viêm thứ 3, tướng Ngột Thuật nước Kim lại dẫn quân đánh xuống miền nam, Đỗ Xung bỏ thành Khai Phong trốn xuống miền nam, Nhạc Phi bắt buộc phải đi theo. Mùa thu năm đó, Ngột Thuật tiếp tục nam tiến, Đỗ Xung trấn giữ ở Kiện Khang hoảng sợ chưa đánh đã xin đầu hàng, giặc Kim vượt qua sông Trường Giang nhanh chóng chiếm được Lâm An, Việt Châu, Minh Châu v v, Tống Cao Tông thất thế buộc phải sang lưu vong ở Hải Thượng. Nhạc Phi chỉ huy quân đơn độc tác chiến ở vùng địch hậu, nhưng vẫn liên tiếp đánh thắng 6 trận đánh. Đến khi giặc Kim bao vây Thường Châu, Nhạc Phi lại dẫn quân đến giải vây và đáng thắng 4 trận liền. Năm sau, Nhạc Phi mai phục ở núi Ngưu Đầu đại phá giặc Kim, chiếm lại được Kiện Khang, buộc giặc Kim phải rút về miền bắc.

Năm Triệu Hưng thứ 3, vì có công tiêu diệt lũ đầu khấu Lý Thành và Trương Dụng, Nhạc Phi được Tống Cao Tông tặng một lá cờ gấm trên thêu bốn chữ "Tinh Trung Nhạc Phi". Tháng 4 năm sau, Nhạc Phi đánh lên miền bắc, thu phục lại 6 quận Tương Dương, Tín Dương v v. Tháng 12 cùng năm, Nhạc Phi lại đánh bại giặc Kim ở Lư Châu, buộc chúng phải lui về miền bắc. Năm Triệu Hưng thứ 5, Nhạc Phi thu biên 50-60 nghìn tinh binh, khiến Nhạc Gia Binh càng thêm lớn mạnh, năm sau đã lần lượt chiếm lại được Y Dương, Lạc Dương, Thương Châu v v, và tiếp tục vây khốn khu vực Trần, Sái. Nhưng mãi đến lúc này, Nhạc Phi mới thấy mình đã đi quá sâu vào vùng địch hậu, thêm vào đó lại không có viện binh, nên đã viết lại một câu thiên cổ tuyệt xướng "Đãi tùng đầu, thu thập cựu sơn hà, triều thiên khuyết".

Năm Triệu Hưng thứ 7, Nhạc Phi được thăng làm Thái Úy. Ông đã nhiều lần kiến nghị Tống Cao Tông bắc phạt để thu phục Trung Nguyên, nhưng nhà vua đều từ chối. Năm Triệu Hưng thứ 9, Cao Tông và Tần Cối đã nghị hoà với nhà Kim, Nam Tống phải chắp tay xưng thần và cống nạp cho nhà Kim. Nhạc Phi vô cùng tức giận đã nhiều lần kháng nghị bằng cách xin thôi chức về quê. Năm sau, Ngột Thuật phế bỏ bang ước rồi dẫn quân đánh xuống miền nam, Nhạc Phi được lệnh dẫn quân ra chống cự, rồi liên tiếp thu hồi được Trịnh Châu, Lạc Dương v v.

Trong khi Nhạc Phi chiêu binh mãi mã tại thị trấn Chu Tiên, liên lạc với quân khởi nghĩa Hà bắc, đang tích cực chuẩn bị vượt qua sông Hoàng Hà để đoạt lại đất đai bị chiếm, thì Cao Tông và Tần Cối chỉ mong muốn cầu hòa, đã phát đi 12 đạo kim tự bài ra lệnh cho Nhạc Phi phải rút quân về. Nhạc Phi phấn uất ngửa mặt lên trời than rằng: "Thập niên chi công, hủy vu nhất đán. Sở đắc Châu Quận, nhất triều toàn hưu. Xã tắc giang sơn, nan dĩ trung hưng", rồi gạt lệ dẫn quân quay trở về.