Яков Крамер родился в небольшом городке Клинцы в 1892 году, тогда входившем в состав Российской империи, в еврейской семье среднего класса, которая вскоре переехала в Санкт-Петербург. Его отец, Макс, был художником, который учился в Санкт-Петербургской академии художеств у Ильи Репина и стал придворным живописцем барона Гинзбурга. Мать Крамера, Сесилия, также была артистической певицей, которая была хорошо известна благодаря гастролям региональной сети театров, созданных ее отцом, в которых она исполняла традиционные славянские и еврейские народные песни. У него было две сестры.
В антиеврейских событиях, последовавших за убийством царя, семья, как и многие евреи, решила уехать. Отец Макс был слаб здоровьем, поэтому не прошел медосмотр для въезда в США, и вместо этого они приехали в Англию, прибыв в Лидс (где было установлено еврейское поселение) в 1900 году.
