Cũng như cả hệ thống y dược, Trung dược đã ra đời cùng với sự phát triển sản xuất. Rất nhiều sách y của thời cổ Trung Quốc đều có ghi chép về câu truyện "Thần Nông nếm bách thảo". Cuốn "Hoài Nam Tử" viết: "Thần Nông nếm đủ mùi vị của bách thảo, vị ngọt vị đắng của nước suối, để giúp người dân né tránh thành phần độc tố của bách thảo, do vậy đã ngộ độc 70 lần trong ngày, điều này đã thể hiện quá trình sáng tạo y dược trong thực tiễn của tổ tiên chúng ta".
Cách đây khoảng 500-600 nghìn năm, tổ tiên của chúng ta đã sinh sống trên trái đất. Trong hoạt động sản xuất ở thời kỳ đầu, trong trường hợp đói ăn miễn là có gì ăn được thì người nguyên thủy rất mừng, khó mà tránh khỏi ngộ độc bởi ăn phải một số động thực vật chứa độc tố và gây phản ứng sinh lý mạnh, dẫn đến nôn, tiêu chảy, hôn mê thậm chí tử vong. Về sau, trải qua biết bao lần thử nghiệm họ mới có phần nhận thức rằng, một số động thực vật nào đó là có thể ăn được. Về sau, họ lại dần dần phát hiện, nếu con người mắc phải căn bệnh nào đó, sau khi ăn một số động thực vật chứa thành phần độc tố vốn không ăn được lại có tác dụng khỏi bệnh. Ví dụ như đối với trường hợp táo bón, sau khi ăn loài cây thực vật làm cho người ta hôn mê nhưng lại có thể giải quyết vấn đề táo bón mà không bị ngộ độc. Do vậy, tổ tiên của chúng ta lại có sự nhận thức hơn nữa đối với những động thực vật đó, tức là có thể dùng những động thực vật đó trong điều trị bệnh tật, chính đó là cây dược liệu. Trải qua biết bao lần thực tiễn, hai nhận thức trên đã từ truyền miệng tai nghe đến thắt nút làm dấu, cho đến ghi chép lại bằng văn tự, nhờ đó mới dần dần hình thành kiến thức Trung dược.
Từ quan điểm kể trên chúng ta được biết, ngay từ khi có nhân loại, tổ tiên của chúng ta đã bắt đầu tiến hành hoạt động y tế trong quá trình sản xuất, đồng thời dần dần hình thành kiến thức về cây dược liệu. Có thể nói, manh nha của Trung dược được gắn bó chặt chẽ với lao động sản xuất của cha ông dân tộc Trung Hoa.