No momento da morte de João, Balduíno encontrava-se na
Europa ocidental, tentando conseguir fundos e recrutar um exército para recuperar os territórios do seu império que haviam sido conquistados pelo
Império de Niceia. Incapaz de manter sua posição, após seu regresso a
Constantinopla, entre
1245 e
1247 buscou de novo apoio financeiro na
Itália e
França, chegando inclusive a comprometer a seu filho mais velho aos
venezianos. Em
1261 a sua capital foi tomada por seu rival bizantino,
Miguel VIII Paleólogo. Balduíno fugiu para a Itália, pondo fim ao Império Latino no Oriente.
Firmou o Tratado de Viterbo com
Carlos I da Sicília, que comprometia a seu filho e herdeiro,
Filipe de Courtenay e uma filha do rei, visando assim ser reconhecidos em alguns setores do Oriente.