نیاکان خاندان برمکی تولیت بزرگ‌ترین معبد بودایی بلخ را داشتند که این معبد «نوبهار بلخ» نام داشت. برمکیان پس از ورود به دستگاه خلافت هارون دست ایرانیان را در امور حکومتی باز گذاشتند و بیشتر کارها را به دست آنها سپردند و خاندان‌های اصیل ایرانی را در کارها به یاری گرفتند. یکی از این خاندان‌ها «خاندان سهل» است. فضل سهل و حسن سهل به وسیله برمکیان به دربار هارون راه یافتند و پس از مرگ او در دستگاه خلافت مأمون رخنه کردند و به وزارت او رسیدند. فضل که خود سبب پیروزی مأمون بر امین شده بود، هنگامی که به وزارت او رسید، چنان کارها را قبضه کرد که به گفته عبدالجلیل رازی در کتاب «النقض» «توقسع فضل کردی و مهر او نهادی و بر درم و دینار نام ذوالریاستین بودی». در این کتاب سرگذشت این مرد ایرانی آمده است.