خلفاي عباسي موالي «ايرانيان» را از نزديكان خود به حساب آوردند و جايگاه بزرگي در حكومت به آنان واگذار كردند. به اين ترتيب وزيران و واليان را از بين آنان برگزيدند كه در نتيجه آن ايرانيان به انديشه بلند پروازي افتادند تا شايد دوباره دوران كسري را زنده كنند.
هم زمان با اعتلاي تدريجي خاندان برمك، منصب وزارت در دستگاه خلافت نيز اهميت ويژه‏اي پيدا كرد كه ظاهراً قسمتي از قدرت اجرايي «بزرگ فرماندار» عهد ساساني را شامل مي شد. اعتلاء اين خاندان كه جد آن ها خالد بن برمك، بعد از واقعه كشته شدن ابوسلمه خلال وزير آل محمد، مدت ها متولي ديوان جند و ديوان خراج خليفه بود و همچنين در ولايات ايران به عنوان حاكم خليفه اشتغال به كار داشت، تدريجاً به آنچه كه شغل وزارت خوانده مي‏شد، حيثيت و اعتباري خاص بخشيد. با آن كه در پاره‏اي از روايت هاي مربوط به عهد هارون اجداد آنها «گبر» خوانده شده‏اند و حتي معبد نوبهار «بلخ» كه اجداد برمك با نام عمومي برمك - مأخوذ از ريشه سنسكريت به معني مهتر و رئيس يا از «پرنگ» از ريشه زبان پهلوي - متولي آن بوده‏اند، و در واقع معبد بودايي به شمار مي‏رفته است، هيكل مجوس و معبد زرتشت پنداشته‏اند. گفته شده كه جد يا پدر خالد، ظاهراً از آيين بوداي به اسلام گرويده است كه به احتمال قوي اعتراضي كه «نيزك طرخان / مقتول در 92 ق / 710 م» به سبب ترك آيين اجداد بر جد خالد كرده،به احتمال زياد همين ترك آيين بودايي بوده است كه در آن زمان در بين طوايف ترك، هياطله طخارستان و سغد نيز رايج بوده است.
اين كه بعضي از شاعران هجاگوي، آل برمك را به مجوس بودن منسوب كرده‏اند، و همچنين رأي خالد در باب منع خليفه از تخريب ايوان كسري که در نيز حمايت از مجوسيت تلقي شده ، از آن روست كه خالد و اجدادش به سبب انتساب به بلخ، ايراني به حساب مي‏آمدند كه غالباً به خاطر همين اصل ايراني بودن، اعراب بغداد، تمام اجداد «بنو برمك» را گبر خوانده‏اند. به هر حال با آن كه احوال گذشته اجداد خالد نامعلوم است و ظاهراً اخباري هم كه درباره پدر و جدش نقل شده خالي از تناقض و مبالغه به نظر نمي‏آيد، چنين استنباط مي‏شود كه خالد و برادرانش، سليمان و حسن، مسلمان بوده‏اند و همان طور كه از نام آن ها پيداست بايد به رغم ترديد ابن خلكان پدر خالد هم مسلمان بوده باشد.