Сделал так, что server socket теперь имеет собственный поток, что позволило убрать сигналирование с целью прервать poll.
