Яков Штернберг родился 18 апреля 1890 года в бессарабском местечке Липканы (ныне Молдавия) в состоятельной сионистской семье. Учился в хедере, затем в гимназии в Каменец-Подольском. В юности увлекся поэзией И. Л. Переца и Х. Н. Бялика, сам начал писать стихи. Печатался в сборниках А. Рейзена “Фрайе эрд” (1910) и “Дос найе ланд” (1911), в одесской газете “Гут моргн”. В 1914 году обосновался в Румынии: сначала в Черновицах (ныне Черновцы, Украина), затем в Бухаресте, где вел активную культурно-общественную жизнь. Печатался в различных еврейских изданиях: “Хамер” (город Браила), “Фрайхайт”, “Арбетер цайтунг” и “Дос найе лебн” (все – Черновицы), “Литерарише блетер” (Варшава), “Цайт” (Нью-Йорк) и других.
          Штернберг стал редактором органа еврейской секции Румынской социалистической партии газеты “Дер векер” (Бухарест, 1920). В 1930-е годы в альманахе “Шойбн” (Бухарест, 1936) были опубликованы талантливые очерки Штернберга о еврейских поэтах Х. Лейвике и М. Л. Гальперне. В поэтическом сборнике “Штот ин профил. Лид ун гротеск” (“Город в профиль. Стихи и гротеск”, Бухарест) проявилось значительное поэтическое дарование Штернберга. Поэзия Штернберга привлекала внимание читателей и критиков романтической свежестью и приподнятостью, оригинальностью метафор и сравнений, яркостью поэтического стиля.
          Яркой гранью дарования Штернберга была драматургия и режиссура. Штернберг – один из создателей в Румынии еврейского Театра-ревю, музыкально-эксцентрического комедийного зрелища с элементами сатиры. Для театральных постановок Штернберг написал множество небольших пьес-миниатюр, так называемых ревистес: “Цимес”, “Букарешт – Иерушалаим”, “Грине блетер” (“Зеленые листья”), “Шолем Алейхем”, “Хершеле Острополер” и другие, – поставленных на сцене театра в Бухаресте в 1917–18 годах. В 1924–26 годы работал с театром “Вилнер трупе” во время его гастролей в Румынии. Режиссерское мастерство Штернберга в наибольшей мере проявилось в постановке в “Букарештер идишер театер-студие” (БИТС) спектаклей “Яшка-музыкант” по О. Дымову, “Ночью на старом рынке” по И. Л. Перецу, “Клад” по Шалом Алейхему, “Женитьба” по Н. Гоголю и других. В конце 1920-х – начале 1930-х годов Штернберг гастролировал с труппой БИТС по крупным городам Западной Европы.
          В 1940 году от усиливавшегося фашистского режима в Румынии Штернберг, испытывавший прокоммунистические симпатии, бежал в Советский Союз. В одном из первых стихотворений, написанных в Советской Молдавии, “До” (“Здесь”, 1940), он декларировал: “Пусть моя правая рука отсохнет,/ Если я уже не жил здесь,/ Когда я жил еще там” (подстрочный перевод).
          В годы 2-й мировой войны Штернберг эвакуировался в Узбекистан, сотрудничал с Антифашистским комитетом еврейским. В 1945 году поселился в Кишиневе, где руководил восстановленным еврейским театром, написал пьесу “Ди баладе фун дер эсэсовке Брунхильде ун ир хунт” (“Баллада об эсэсовке Брунхильде и ее собаке”, 1945).
          В 1948 году Штернберг был арестован и осужден на семь лет, пять из которых провел в сибирских лагерях. После освобождения тяжело больной Штернберг обосновался в Москве. Был переводчиком румынской литературы и составителем антологии румынской прозы для Гослитиздата. С выходом журнала “Советиш Геймланд” (1961) публиковал в нем стихи, литературно-критические статьи о Д. Бергельсоне, А. Рейзене, И. Мангере и других еврейских писателях. Некоторое время был членом редколлегии журнала. Период 1960-х годов в творчестве Штернберга ознаменован созданием стихотворных циклов: “Московская сюита” и “На горах Карпатских”. Эти и многие другие поэтические произведения Штернберга вошли в книгу “Лид ун баладе ойф ди Карпатн” (“Стихи и баллада о Карпатах”, издательство “Ойфснай”, Париж, 1968), в которой нашли отражение мотивы Катастрофы.
          В середине 1960-х годов (в связи с 75-летием поэта) в Израиле был издан однотомник избранных стихов Штернберга в переводах на иврит А. Шлёнского и А. Пэнна. В 1970 г. вышел поэтический сборник Штернберга “Ин крайз фун йорн. Геклибене верк 1915–1970” (“В круге лет. Избранные произведения 1915–1970-х годов”, издательство “Критерион”, Бухарест).
          В 1970-х годах Штернберг обратился к властям с просьбой о разрешении на выезд в Израиль. В день получения разрешения в 1973 году Штернберг скончался от сердечного приступа. В том же году умерла и его жена, композитор Отилия Лихтенштейн, писавшая музыку на стихи еврейских поэтов, в том числе на стихи Штернберга.