Khi còn là một sinh viên đại học, Dexter Caffey đã có cơ hội được đến Sàn giao dịch Chứng khoán New York. Sự kiện này đã truyền cảm hứng cho anh thành lập một công ty đầu tư của riêng mình vào năm 25 tuổi, được đặt tên là Caffey Investment Group.
Trước khi thành lập công ty của riêng mình, Caffey đã làm việc tại công ty bảo hiểm của bố trong 3 năm và sau đó là làm việc tại 2 công ty đầu tư khác. Từ năm 16 tuổi, Caffey đã bắt đầu đầu tư chứng khoán và trải nghiệm này thực sự giúp ích cho anh trong thời gian đầu.
