前涉及到几百万贯的金钱管理，以及可能遍布全国的门市店面，还要承担国家的就赈灾救济，医疗教育等辅助方面的任务。
最终，经过张嘉贞与李隆基商议，直接从监，升格为总监，品级比照宫苑总监设为从五品下，衙署内置四大副监，从六品下的级别，其中，分管钱库和收支会计的两位副监，都是内侍监派宦官担任，分管慈善投资项目，以及门店日常经营项目的两位副监，则是通过科举，和举荐的官员担任。
四大副监之下，还设有两京，以及州道经营主管和监事，级别在正七，到从七之间不等，也同样是两套班子相互监督制衡，监事全部由宦官担任。
在这些主管和监事之下，又设有州县分管的官员，以及数量不等的吏员，总体算下来，一个慈善署，就将会有一百多位官员诞生，吏员更是可能会多达三四千人。
不过，这些都还是空架子，只是朝廷未来要补充实现的一个方向，即便是对外宣布了之后，已经被李隆基指定为慈善总监的李龟年，也要在一两年以后，才会有这样的实际权力。
至于太乐署，除了因为所有管辖的人，从奴籍变为民籍之后，自然的比照其它类似管理人数的衙署升级以外，还直接将鼓吹署并入了太乐署之中。