Борис Гмыря родился 5 августа 1903 года в местечке Лебедин (ныне Сумская область) в семье каменщика.

Работал сначала грузчиком, затем матросом в Черноморском торговом флоте. В 1935 году окончил инженерно-строительный институт в Харькове. В 1939 году окончил Харьковскую консерваторию (класс пения П. В. Голубева).

С 1936 года Борис Гмыря выступал на сцене Харьковского оперного театра, а с 1939 года стал солистом Украинского театра оперы и балета.

Обладая голосом широкого диапазона и мягкого, бархотного тембра Борис Гмыря был одним из ведущих мастеров советской оперной сцены. Певцу были присущи глубокое психологическое раскрытие сценических образов, большая эмоциональная выразительность, сдержанная внутренняя сила.

Среди исполняемых партий: Сусанин в одноимённой опере, Руслан («Руслан и Людмила» М. И. Глинки), Борис Годунов («Борис Годунов» М. П. Мусоргского), Мельник («Русалка»), Гремин («Евгений Онегин» П. И. Чайковского), Сальери, Томский в «Пиковой даме» П. И. Чайковского, Мефистофель («Мефистофель» Бойто), Тарас Бульба (одноимённая опера Лысенко), Фрол («В бурю»).

Борис Гмыря скончался 1 августа 1969 года в Киеве.