15살에 교토로 나와 남화를 익혔다. 중국 유학을 꿈꾸며 요코하마로 갔을 때 초창기 서양화가인 고세다 호류(五姓田芳柳)를 만나며 서양화를 접했다. 이때 호류의 아들 요시마쓰(義松)를 비롯해 다카하시 유이치(高橋由一), 워그맨 등과 교류하면서 본격적인 서양화 수업을 쌓았다. 1876년 공부(工部)미술학교가 설립되자 26살의 나이로 입학했으나 1년만에 자퇴했다. 학교를 그만둔 이유는 제1회 내국권업박람회에 작품을 출품하기 위해서로 이때 대작을 출품해 화문장(花紋章)을 수여받았다. 이후 파리만국박람회 사무국직원이 돼 1878년 파리로 건너갔다. 파리에서는 에콜 드 보자르의 교수인 장-레옹 제롬의 화실에 드나들며 역사화, 신화화를 배웠다. 1885년에 조르주 프티 화랑에서 개인전을 열어 파리에서 개인전을 연 최초의 일본인 화가가 됐다. 10년간 파리에 머물 때 화술과 요리 솜씨가 뛰어난 그의 집은 파리에 있던 일본인들의 살롱 역할을 했다. 이때 법률 공부를 위해 파리에 온 구로다 세이키(黑田淸輝 1867-1924)와 농업 연구를 위한 고다 키요시(合田淸 1862-1938)도 드나들었고 호스이의 권유로 두 사람은 각각 서양화와 판화를 공부하게 됐다.
1887년 귀국하면서 일본 해군이 프랑스에 발주한 순양함에 프랑스에서 그린 작품들을 모두 위탁했으나 남지나해에서 원인모를 사고로 군함이 침몰하는 바람에 작품을 전부 잃었다. 귀국후에는 판화가가 된 고다와 함께 화숙을 열어 유아사 이치로(湯淺一郞), 후지시마 다케지(藤島武二), 시라타키 이쿠노스케(白滝幾之助) 등을 가르쳤다. 1889년에는 마쓰오카 히사시(松岡寿), 아사이 주(浅井忠), 고야마 쇼타로(小山正太郎) 등과 함께 메이지 미술원을 설립해 활동했다. 이후 구로다 세이키가 결성한 하쿠바카이(白馬會)에도 참가했으며 연극과 가극 등의 서양화풍 무대장치를 제작하기도 했다.
