Из рода известных русских адмиралов (сын Алексея Самуиловича) и сам первоначально служил в военном и морском ведомстве; образование получил в Пажеском корпусе, участвовал в обороне Севастополя, где был контужен. После того Грейг служил в Морском министерстве, где был директором канцелярии, а в 1866 был назначен товарищем министра финансов – М.Х. Рейтерна, которого он потом и сменил в 1878 после того как с1874 был государственным контролером.

На долю Грейга выпала нелегкая задача – ликвидация тяжелых последствий русско-турецкой войны (1877–1878), что, конечно, трудно было осуществить в течение двухлетнего управления им Министерством финансов (по 1880). Вся сумма военных расходов (вместе с Ахал-Текинской экспедицией) составляла в 1876–1882 немного более 1 млрд руб., в т.ч. чисто военных в 1876–1878 более 888 млн, а на покрытие их имелись только ок. 372 млн, вырученных от 5-процентных займов этого периода, остальное же покрыто усиленным выпуском кредитных билетов, превысившим 1 млрд в 1878, из которых более 700 млн временного выпуска. На погашение части этого выпуска была обращена выручка от выпущенного Грейгом 2-го восточного займа, а именно к 1 янв. 1879на 327 млн; но для обеспечения реализации 3-го восточного займа в 1879 пришлось прибегнуть к усиленному выпуску кредитных билетов приблизительно на ту же сумму (332 млн), т. ч. это было как бы переливанием из пустого в порожнее. По реализации 3-го займа снова были изъяты из обращения ок. 353 кредитных билетов, т. ч. весь «временный» выпуск их сократился в 1879 до 446 млн. Другие займы выпускались для покрытия железнодорожных расходов (6-й консолидированный), на которые также частью шли выпуски кредитных билетов.

Очевидно, Грейг не мог таким образом ликвидировать расходы русско-турецкой войны, да и вообще не улучшил системы русских финансов. Грейг стремился к установлению равновесия между государственными доходами и действительно избегал дефицитов по обыкновенным статьям доходов и расходов. Достигалось это почти исключительно увеличением косвенных налогов на предметы внутреннего производства и ввоза (повышен акциз на водочные изделия, пиво, ограничен размер свободного перекура спирта, увеличен табачный акциз, пошлины на хлопок-сырец, гербовый сбор и даже пошлины на страхование до 75коп. вместо 5коп. со 100руб., введен налог на железнодорожных пассажиров и грузы большой скорости). В таможенной политике с Грейга начался поворот в сторону усиления протекционизма.