克格勃有“对外谍报局、国内反间谍局、军队管理局、边防军管理局、总务局、克格勃驻外站组等。克格勃系统工作人员曾一度达到50多万名，其中总部机关1万人，间谍、反间谍和技术保障等部门20万人，边防军30万人。此外，在全国有150万线人，在国外有25万谍报人员，年预算100亿美元。
苏联境内，克格勃在各个共和国境内都设立分局，分局大多领导人为主席，极其重要的地方，例如列宁格勒等地，当地的克格勃主席还同时会成为在莫斯科总部的副主席，在一般加盟共和国的次要城市，也通常会设立办事处，对全国境内进行无死角的监控。
在所处地域的不同，各地分局的侧重点也不尽相同，苏联复地侧重于党务，边疆地区比如谢洛夫所在的地区，则以反间谍以及对付境外势力为主。
比起美国中央情报局和联盟调查局，克格勃的职能合二为一，实力更在两者之上，五十年代到八十年代为克格勃的巅峰期，谢洛夫记忆中克格勃的威名响彻世界，影响力更在中央情报局和联邦调查局之上。
和中央情报局以及联邦调查局地位几乎差不多不同，克格勃几乎同时兼顾对内和对外，苏联国内号称只有星星够不着的格鲁乌，隶属于红军的总参谋部情报局，更多时候只是克格勃下属，克格勃主席几乎可以直接号令格鲁乌行动。格鲁乌的人事权、对外间谍情报活动的计划和安排等，都要受到克格勃的监督与控制。
可以说，在二战期间击败了职能几乎差不多的党卫军之后，克格勃已经在全球范围内没有对手，作为一个部门，克格勃职能和权威凌驾于其他所有部门之上，堪称苏联国内第一实权部门，贝利亚和后来的苏联领导人安德罗波夫足够证明克格勃的实力。
正是因为如此，谢洛夫几乎刚刚一说话气势就弱了三分，这种部门几乎没有人是他们抓不了的，不是几乎，谢列平如果不是控制了克格勃的话，根本没有资格发动对赫鲁晓夫的政变。没有克格勃的支持，谢列平也没有资格在勃列日