Bệnh viện Chợ Rẫy được thành lập năm 1900 với tên chính thức là “Hôpital Municipal de Cholon” Rồi lần lượt bệnh viện được đổi tên thành “Hôpital Indigène de Cochinchine” (1919), “Hôpital Lalung Bonnaire” (1938), “Hôpital 415” (1945). Sau đó bệnh viện được tách ra làm 2 phòng khám là Hàm Nghi và Nam Việt. Hai phòng khám này sát nhập lại vào năm 1957 để trở thành Bệnh viện Chợ Rẫy cho tới ngày ngay. Trong thực tế, người dân vẫn dùng tên Chợ Rẫy để gọi Bệnh viện từ ngày thành lập.
Năm 1971, Bệnh viện Chợ Rẫy được tái xây dựng trên một diện tích 53.000m 2 với trang thiết bị hiện đại để trở thành một trong những bệnh viện lớn nhất Ðông Nam Á. Công trình được hoàn thành vào tháng sáu năm 1974, bằng viện trợ không hoàn lại của chính phủ Nhật Bản. Tòa nhà mới của Bệnh Viện Chợ Rẫy ngày nay gồm 11 tầng.
Bệnh viện Chợ Rẫy là một trong 3 bệnh viện được Bộ Y tế đầu tư để trở thành bệnh viện đa khoa hoàn chỉnh. Hiện nay, bệnh viện có 38 khoa lâm sàng, 12 khoa cận lâm sàng và 11 phòng chức năng. Bệnh viện đang xây dựng đầy đủ các chuyên khoa.
Chức năng chính của bệnh viện Chợ Rẫy là điều trị cho bệnh nhân các tỉnh phía Nam, đào tạo đại học và sau đại học, nghiên cứu khoa học và chỉ đạo tuyến và hợp tác quốc tế.
Tháng 2 năm 2010, Bệnh viện được xếp hạng đặc biệt.
Dưới sự chỉ đạo trực tiếp của Bộ Y Tế, Bệnh viện Chợ Rẫy tập hợp đội ngũ cán bộ công chức hơn 3.141 người, trong đó có 690 bác sĩ, 61 dược sĩ, 1.330 điều dưỡng và 226 kỹ thuật viên, năm 2009 bệnh viện điều trị hơn 883.406 bệnh nhân ngoại trú, 102.394 trường hợp cấp cứu; và 113.219 bệnh nhân nội trú. Bệnh viện Chợ Rẫy đã thực sự là cơ sở hỗ trợ và là tuyến sau cùng của 37 tỉnh thành phía Nam, kể cả Thành phố Hồ Chí Minh với tổng số dân khoảng hơn 40 triệu người.
Bệnh viện Chợ Rẫy là cơ sở thực hành Đại học và Sau đại học của trường Đại học Y Dược Thành phố Hồ Chí Minh. Ngoài ra, bệnh viện chủ động đào tạo công nghệ và đào tạo lại cho Bác sĩ khu vực phía Nam . Hàng năm bệnh viện nhận trên 2.500 sinh viên Y khoa đến thực tập và hơn 600 Bác sĩ đến dự các khóa huấn luyện sau đại học.
Công tác chỉ đạo tuyến được thực hiện trên nhiều tỉnh thành với các chuyên khoa như: ngoại thần kinh, tim mạch can thiệp, hồi sức cấp cứu, chẩn đoán hình ảnh… Ngoài ra, Bệnh viện Chợ Rẫy đã hưởng ứng tích cực đề án 1816 của Bộ Y tế gởi các bác sĩ chuyên khoa hỗ trợ các bệnh viện tuyến dưới