不过，温伯格当上国防部长之后，在国防预算和军费开支方面“大手大脚”为世人所瞩目，与“快刀上尉”的称呼实在名不符实。

　　在推行“星球大战”计划过程中，温伯格在国防部内设立了战略防御计划组织，以管理这一计划的相关研发项目。尽管不少专家质疑其技术可行性，温伯格仍不遗余力地敦促国会增加军费预算，以确保该计划的实施，其理念强调国防装备应随时处于备战状态、保持可持续性和高度现代化。

　　温伯格上任后，首先要求国会在１９８１财政年度的国防部预算中追加一笔７０亿美元的拨款，另外还提出，在前总统卡特任内已提出的１９８２财年预算中增加２６０亿美元供增加军备所用。国会最后同意１９８１财年拨款１７５５亿美元作为军费开支，１９８２财年的军费也增加到２１０６亿美元。在接下来３年内，每年军费预算增加都在２００亿美元以上。按今天的币值来算，１９８１财政年度至１９８８财政年度之间，国防部预算从１７５５亿美元猛涨到２８７８亿美元。

　　１９８１年２月，温伯格告诉美军各分支部队应该“维持和继续发展各自的反恐实力”。陆军马上响应，成立了“特别行动师”，随后又衍生出一支为中央情报局提供空中支援的秘密部队“浪花”。光是这支“特别行动师”在其成立头３年内就花了４亿美元军费。

　　尽管在１９８１年至１９８５年间，温伯格如愿使军费预算大幅提升，但国会对国防部不断“狮子大开口”越来越不满，尤其在１９８６至１９８８年即温伯格任期最后３年。温伯格始终极力抵抗国会任何削减军费预算的举措，坚持说他开出的预算计划是根据实际需要、仔细斟酌而拟就。

　　在一部回忆录中，温伯格承认，他当年的坚持使自己“赢得了固执己见、不肯妥协、没有节制、不切实际的名声。”

　　也是在这一时期，有报道披露说五角大楼的开支浪费现象严重，比如价值６００美元的马桶座圈和４００美元的锤子等。当时的政治讽刺漫画家们为此把温伯格好好取笑了一通——漫画中的温伯格脖子上挂满了马桶座圈。

　　总统里根看不过爱将被“糟蹋”至此，１９８６年２月接受《华盛顿邮报》采访时特为其辩护：“（美国）‘环球’、‘三角洲’和‘联合’三大航空公司（买马桶座圈）付的也是这个价。它是一种能覆盖整个马桶系统的特制模具，而且，它确实就值这个价。”