Статская советница Анна Петровна Левашова, проживающая в Пензенской губернии, обожала варенье, яблочный мармелад и абрикосовую пастилу. Их для барыни варил крепостной Степан Николаев, который мечтал получить вольную. Но из-за своего таланта кондитер долго не мог выпросить свободу у хозяйки: лишь в 67 лет (1804 год) он уехал в Москву, вскорости выкупил вольную для всей семьи и получил прописку в Семеновской слободе.

Там жили купцы, и торговля сладостями шла довольно бойко. Это позволило его старшему сыну Ивану в 1814 году официально взять громкую фамилию Абрикосов, которая увековечила легендарную пастилу своего отца. А с 1820 года купец 3-ей гильдии Иван Абрикосов уже смог выписать крепостных родственников из Пензенской губернии в качестве работников для себя и получать ежегодный доход в 8 тысяч рублей.

Однако взяв (вместе с братом Василием) огромный кредит для расширения производства, не смог вовремя рассчитаться и ввел всю семью в долги. Его сыну Алеше пришлось оставить коммерческое училище и пойти подмастерьем в кондитерскую фирму Гофмана, которая поставляла Абрикосовым орехи и сахар. В 1848 году Алексей открыл маленькую кондитерскую мастерскую, закупил станки и через четверть века преобразовал ее в фабрику.