M
martin.necas@gmail.com
Dear all,
I am suffering with high usage of non paged memory pool on my
clustered servers running on Windows Server 2003 Server R2 Enterprise
SP2. The typical usage is 100 - 110 MB. The memory pool tag MmCm is
using 50 MB of NPP.
Let's describe my setup.
I have 3-node cluster consisting of 2 HP DL 380 G5 servers and one
virtual server on VMware (this server acts as an arbiter in MNS MSCS
cluster). Both servers has 4 GB of physical RAM installed. Both
servers is using /3GB /PAE /USERVA=3030 boot.ini parameters specified.
I have clustered Microsoft Exchange 2003 Server Enteprise with SP2
running on one one. The second node has file server share clustered
resources, IIS clustered resource, DHCP and WINS clustered resource.
I have the Altiris Client Deploynment sw installed, backups are going
through Data Protector 6, we are using Mcafee Viruscan Enterprise
8.0.0. Note that I tried to stop all these services (DP, MCafee,
Altiris), without freeing any NPP memory.
Note that I have set the SystemPages registry setting to the value
50000, instead of recommended value of 0. When I tried setting it to
the 0, I ran out of free PTE's very soon.
Sometimes I encounter strange behaviour (for example of IIS service -
I had to set it to use aggressive memory allocation (not to refuse
connection when the free NPP fall bellow 20 MB, now it is t 8 MB), and
cluster service is reporting that the file share resource failed with
error 64 sometimes. I suspect the low resources symptom - low free NPP
(non paged pool). Maybe I have to remove the /3GB and /USERVA switches
from boot.ini at the file server cluster node, however, I don't know
if it will not run me in other problems related to different cluster
node config. I am not sure here.
How can I figure out, what driver/sw is allocating so much of NPP
memory? And what is best practice for configuring the boot.ini (can be
different among cluster nodes) ?
Just for clarify: I have cca 1000 users/mailboxes, typicaly 400-500
SMB/MAPI sessions concurrent.
Thanks for helping in advance, and bellow attaching the PoolMon
output:
---------------------------------------
Memory: 4191924K Avail: 749576K PageFlts: 478 InRam Krnl: 2236K
P:76256K
Commit:4966144K Limit:8624216K Peak:5215872K Pool N:
102424K P:87276K
System pool information
Tag Type Allocs Frees Diff Bytes
Per Alloc
MmCm Nonp 169979 ( 61) 164485 ( 61) 5494 50900848
( 0) 9264
NDpp Nonp 1093 ( 0) 0 ( 0) 1093 4316288
( 0) 3949
Mdl Nonp 1148337 ( 0) 1134902 ( 0) 13435 2604856
( 0) 193
LSwi Nonp 1 ( 0) 0 ( 0) 1 2576384
( 0) 2576384
File Nonp 26656483 ( 598) 26640343 ( 595) 16140 2483248
( 456) 153
TPLA Nonp 512 ( 0) 0 ( 0) 512 2097152
( 0) 4096
Irp Nonp 180698964 (1623) 180694827 (1645) 4137 1731696
( -8992) 418
TCPt Nonp 3611263 ( 265) 3611215 ( 265) 48 1663528
( 0) 34656
McFo Nonp 47275 ( 0) 39715 ( 0) 7560 1512000
( 0) 200
Thre Nonp 630421 ( 6) 628005 ( 4) 2416 1507584
( 1248) 624
brcm Nonp 30 ( 0) 0 ( 0) 30 1261568
( 0) 42052
Io Nonp 42367874 ( 757) 42367489 ( 758) 385 1205568
( -8192) 3131
RcpI Nonp 1 ( 0) 0 ( 0) 1 1048576
( 0) 1048576
VadS Nonp 3679187 ( 54) 3649935 ( 52) 29252 936064
( 64) 32
RxHb Nonp 1206 ( 0) 0 ( 0) 1206 935856
( 0) 776
Devi Nonp 661884 ( 18) 660733 ( 18) 1151 894688
( 0) 777
AfdC Nonp 511509 ( 9) 506468 ( 7) 5041 806560
( 320) 160
Even Nonp 11335205 ( 313) 11320105 ( 307) 15100 734880
( 288) 48
FMsl Nonp 80973 ( 0) 77657 ( 0) 3316 689728
( 0) 208
TCPC Nonp 37837 ( 0) 30516 ( 0) 7321 614976
( 0) 84
Pool Nonp 6 ( 0) 3 ( 0) 3 610304
( 0) 203434
MmCa Nonp 2903023 ( 16) 2898113 ( 18) 4910 530832
( -224) 108
NAI0 Nonp 112151092 (2040) 112149570 (2040) 1522 520744
( 0) 342
Ntfr Nonp 251976 ( 0) 244157 ( 0) 7819 501384
( 0) 64
Vad Nonp 5849608 ( 24) 5839282 ( 24) 10326 495648
( 0) 48
UlCO Nonp 960 ( 0) 188 ( 0) 772 469376
( 0) 608
TCPT Nonp 23035 ( 0) 22031 ( 0) 1004 458208
( 0) 456
LSwr Nonp 128 ( 0) 0 ( 0) 128 416768
( 0) 3256
AfdE Nonp 583625 ( 9) 582197 ( 7) 1428 399840
( 560) 280
TCPc Nonp 846591 ( 14) 838855 ( 11) 7736 371328
( 144) 48
evaa Nonp 811692 ( 5) 810719 ( 16) 973 343496
( -440) 353
Mm Nonp 115 ( 0) 93 ( 0) 22 323944
( 0) 14724
CSdk Nonp 967442 ( 36) 967410 ( 36) 32 311808
( 0) 9744
VoSb Nonp 19 ( 0) 0 ( 0) 19 311296
( 0) 16384
CPnp Nonp 2215 ( 0) 1064 ( 0) 1151 294656
( 0) 256
RaTM Nonp 144 ( 0) 4 ( 0) 140 287840
( 0) 2056
bRcm Nonp 14 ( 0) 0 ( 0) 14 280848
( 0) 20060
Sema Nonp 2107275 ( 2) 2102294 ( 2) 4981 279960
( 0) 56
CcSc Nonp 2038145 ( 11) 2037300 ( 13) 845 270400
( -640) 320
R100 Nonp 39 ( 0) 2 ( 0) 37 245856
( 0) 6644
TCPp Nonp 59 ( 0) 0 ( 0) 59 241664
( 0) 4096
NTID Nonp 2602889 ( 100) 2602494 ( 100) 395 238808
( 0) 604
usbp Nonp 290 ( 0) 219 ( 0) 71 235472
( 0) 3316
iGig Nonp 1567 ( 0) 12 ( 0) 1555 232016
( 0) 149
Dump Nonp 8 ( 0) 1 ( 0) 7 229808
( 0) 32829
MmCi Nonp 2030 ( 0) 1088 ( 0) 942 216208
( 0) 229
Lfsr Nonp 18 ( 0) 5 ( 0) 13 212992
( 0) 16384
NtFs Nonp 974929 ( 7) 970583 ( 6) 4346 209232
( 40) 48
SeTd Nonp 29165162 ( 530) 29161917 ( 528) 3245 207680
( 128) 64
Vadl Nonp 3535859 ( 148) 3532684 ( 146) 3175 203200
( 128) 64
Hal Nonp 581827 ( 0) 581812 ( 0) 15 198096
( 0) 13206
Ntf0 Nonp 3 ( 0) 0 ( 0) 3 196608
( 0) 65536
Ntfn Nonp 224460 ( 0) 219843 ( 0) 4617 186456
( 0) 40
FSfm Nonp 171977 ( 0) 167674 ( 0) 4303 172120
( 0) 40
CMpa Nonp 157887 ( 20) 155374 ( 18) 2513 160832
( 128) 64
RxNr Nonp 2029 ( 0) 2007 ( 0) 22 149784
( 0) 6808
PRLH Nonp 8539 ( 9) 8499 ( 9) 40 147040
( 0) 3676
Muta Nonp 2539350 ( 5) 2537347 ( 5) 2003 146752
( 0) 73
RpcC Nonp 1289 ( 0) 9 ( 0) 1280 143360
( 0) 112
AfdB Nonp 1228109 ( 1) 1227862 ( 1) 247 138312
( 0) 559
RaME Nonp 4 ( 0) 0 ( 0) 4 135168
( 0) 33792
RceT Nonp 1 ( 0) 0 ( 0) 1 131072
( 0) 131072
MPIO Nonp 81952 ( 15) 81237 ( 15) 715 127736
( 0) 178
ReTa Nonp 48194 ( 0) 45379 ( 0) 2815 115960
( 0) 41
TCPA Nonp 306664 ( 5) 306375 ( 4) 289 106352
( 368) 368
Dnod Nonp 552 ( 0) 230 ( 0) 322 95312
( 0) 296
Ioin Nonp 24 ( 0) 1 ( 0) 23 92368
( 0) 4016
Proc Nonp 70890 ( 0) 70761 ( 0) 129 85656
( 0) 664
UlFU Nonp 10943 ( 1) 10919 ( 1) 24 81752
( 0) 3406
CM44 Nonp 157891 ( 20) 155375 ( 18) 2516 80488
( 64) 31
ScFt Nonp 74 ( 0) 18 ( 0) 56 79448
( 0) 1418
Ra12 Nonp 287 ( 0) 4 ( 0) 283 74712
( 0) 264
RxNf Nonp 76225 ( 2) 75822 ( 3) 403 71192
( -176) 176
Ntfi Nonp 144559 ( 0) 144309 ( 0) 250 68000
( 0) 272
UlLS Nonp 240 ( 0) 231 ( 0) 9 66696
( 0) 7410
Ica Nonp 514923 ( 112) 514826 ( 112) 97 66128
( 0) 681
AmlH Nonp 1 ( 0) 0 ( 0) 1 65536
( 0) 65536
UlOT Nonp 16 ( 0) 0 ( 0) 16 65536
( 0) 4096
PooL Nonp 8 ( 0) 0 ( 0) 8 65536
( 0) 8192
RpcD Nonp 2 ( 0) 0 ( 0) 2 65536
( 0) 32768
WmiG Nonp 54147 ( 0) 53858 ( 0) 289 64736
( 0) 224
ReEv Nonp 44061 ( 0) 41427 ( 0) 2634 63216
( 0) 24
Info Nonp 978992 ( 11) 978991 ( 11) 1 61440
( 0) 61440
AuxL Nonp 29271 ( 0) 27408 ( 0) 1863 59616
( 0) 32
CSnt Nonp 1671717 ( 28) 1671650 ( 28) 67 56168
( 0) 838
McGD Nonp 5 ( 0) 0 ( 0) 5 53712
( 0) 10742
IpSI Nonp 1027 ( 0) 0 ( 0) 1027 53272
( 0) 51
ReSe Nonp 18901 ( 0) 17318 ( 0) 1583 50656
( 0) 32
ScPC Nonp 25 ( 0) 0 ( 0) 25 49400
( 0) 1976
TCiA Nonp 1519258 ( 17) 1518711 ( 17) 547 48136
( 0) 88
TCPr Nonp 309075 ( 0) 308426 ( 4) 649 47496
( -288) 73
TCPB Nonp 48342 ( 0) 48312 ( 0) 30 45848
( 0) 1528
CcVl Nonp 154 ( 0) 89 ( 0) 65 43536
( 0) 669
LScn Nonp 142 ( 0) 82 ( 0) 60 42720
( 0) 712
MPLB Nonp 3313 ( 0) 3189 ( 0) 124 41664
( 0) 336
MNFI Nonp 18 ( 0) 0 ( 0) 18 41616
( 0) 2312
TCht Nonp 1748 ( 0) 1738 ( 0) 10 40960
( 0) 4096
CcVa Nonp 1 ( 0) 0 ( 0) 1 40960
( 0) 40960
Time Nonp 345 ( 0) 133 ( 0) 212 39088
( 0) 184
NtFL Nonp 497761 ( 16) 497705 ( 16) 56 37680
( 0) 672
vPrt Nonp 7 ( 0) 4 ( 0) 3 36920
( 0) 12306
WmiR Nonp 1803 ( 0) 1253 ( 0) 550 35200
( 0) 64
FMvo Nonp 440571 ( 12) 440537 ( 12) 34 34320
( 0) 1009
Driv Nonp 139 ( 0) 4 ( 0) 135 32808
( 0) 243
Ntft Nonp 162 ( 0) 70 ( 0) 92 32784
( 0) 356
TChi Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
TChu Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
AmlC Nonp 81 ( 0) 77 ( 0) 4 32768
( 0) 8192
TChe Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
TChc Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
UlIR Nonp 7100 ( 0) 7079 ( 0) 21 32680
( 0) 1556
Hdls Nonp 237 ( 0) 0 ( 0) 237 30784
( 0) 129
Port Nonp 372917 ( 5) 371975 ( 5) 942 30144
( 0) 32
ScRp Nonp 57 ( 0) 0 ( 0) 57 29792
( 0) 522
UlHR Nonp 755 ( 0) 733 ( 0) 22 28880
( 0) 1312
CHIF Nonp 6 ( 0) 4 ( 0) 2 28688
( 0) 14344
RxIr Nonp 104548 ( 0) 104517 ( 0) 31 28024
( 0) 904
Wait Nonp 12073617 ( 94) 12073508 ( 94) 109 25784
( 0) 236
FcbL Nonp 54416 ( 2) 54016 ( 3) 400 25600
( -64) 64
MntA Nonp 179 ( 0) 122 ( 0) 57 25536
( 0) 448
Nbtl Nonp 7704 ( 0) 7532 ( 0) 172 24768
( 0) 144
IoCo Nonp 44190 ( 0) 43847 ( 0) 343 24696
( 0) 72
CcVp Nonp 22762 ( 1) 22695 ( 1) 67 23664
( 0) 353
Gsem Nonp 836 ( 0) 552 ( 0) 284 22624
( 0) 79
UlCA Nonp 79 ( 0) 53 ( 0) 26 22360
( 0) 860
CcBc Nonp 3111268 ( 15) 3111105 ( 42) 163 22168
( -3672) 136
UlRP Nonp 107163 ( 5) 107132 ( 6) 31 21256
( -2608) 685
SMBi Nonp 117 ( 0) 107 ( 0) 10 20608
( 0) 2060
MmSd Nonp 7148 ( 0) 6782 ( 0) 366 20496
( 0) 56
Vpb Nonp 219 ( 0) 7 ( 0) 212 20352
( 0) 96
SePa Nonp 34131726 (1230) 34131599 (1230) 127 19264
( 0) 151
TSRM Nonp 32 ( 0) 0 ( 0) 32 18944
( 0) 592
DOPE Nonp 213 ( 0) 0 ( 0) 213 18744
( 0) 88
NpFc Nonp 23291 ( 0) 23058 ( 0) 233 18640
( 0) 80
PciB Nonp 94 ( 0) 61 ( 0) 33 18624
( 0) 564
NDdb Nonp 252266 ( 0) 252225 ( 2) 41 18496
( -1088) 451
FSrm Nonp 296 ( 0) 159 ( 0) 137 17536
( 0) 128
NbL2 Nonp 3227 ( 0) 3133 ( 0) 94 17296
( 0) 184
AcpD Nonp 129 ( 0) 79 ( 0) 50 16880
( 0) 337
UlCK Nonp 6386 ( 0) 6362 ( 0) 24 16432
( 0) 684
LSwq Nonp 2 ( 0) 0 ( 0) 2 16384
( 0) 8192
MmPd Nonp 1 ( 0) 0 ( 0) 1 16384
( 0) 16384
FMfr Nonp 2 ( 0) 0 ( 0) 2 16384
( 0) 8192
b06b Nonp 94 ( 0) 12 ( 0) 82 16264
( 0) 198
UlFO Nonp 64 ( 0) 0 ( 0) 64 15872
( 0) 248
MmLd Nonp 144 ( 0) 12 ( 0) 132 15328
( 0) 116
NDw1 Nonp 11 ( 0) 1 ( 0) 10 14976
( 0) 1497
ObjT Nonp 31 ( 0) 0 ( 0) 31 14384
( 0) 464
SmMm Nonp 5986 ( 0) 5970 ( 0) 16 12896
( 0) 806
MmSP Nonp 1 ( 0) 0 ( 0) 1 12288
( 0) 12288
FstB Nonp 2875 ( 0) 2856 ( 0) 19 12008
( 0) 632
UlBS Nonp 130 ( 0) 100 ( 0) 30 11368
( 0) 378
Ntff Nonp 74 ( 0) 20 ( 0) 54 11232
( 0) 208
MPCo Nonp 465248 ( 0) 465199 ( 0) 49 10584
( 0) 216
AfdL Nonp 305716 ( 5) 305451 ( 4) 265 10560
( 40) 39
RxMs Nonp 765 ( 0) 762 ( 0) 3 10384
( 0) 3461
RpcH Nonp 14 ( 0) 9 ( 0) 5 10280
( 0) 2056
NbtD Nonp 3227 ( 0) 3166 ( 0) 61 10248
( 0) 168
LStb Nonp 175 ( 0) 109 ( 0) 66 10176
( 0) 154
Flst Nonp 1822 ( 0) 1511 ( 0) 311 9952
( 0) 32
SdHt Nonp 37 ( 0) 0 ( 0) 37 9768
( 0) 264
FMic Nonp 6372994 ( 109) 6372957 ( 112) 37 9768
( -792) 264
NaTa Nonp 37 ( 0) 0 ( 0) 37 9768
( 0) 264
CcPc Nonp 878512 ( 3) 878413 ( 3) 99 9504
( 0) 96
rx Nonp 4 ( 0) 0 ( 0) 4 9440
( 0) 2360
ScB4 Nonp 55 ( 0) 0 ( 0) 55 9376
( 0) 170
AfdP Nonp 4978648 ( 114) 4978592 ( 114) 56 9080
( 0) 162
FMis Nonp 3154 ( 0) 3140 ( 0) 14 8512
( 0) 608
FMct Nonp 6155 ( 0) 6141 ( 0) 14 8336
( 0) 595
RaDf Nonp 80 ( 0) 0 ( 0) 80 8320
( 0) 104
NCRE Nonp 130 ( 0) 0 ( 0) 130 8320
( 0) 64
MmHt Nonp 11 ( 0) 7 ( 0) 4 8224
( 0) 2056
Usfd Nonp 1 ( 0) 0 ( 0) 1 8192
( 0) 8192
FMrr Nonp 8633 ( 0) 8605 ( 0) 28 8128
( 0) 290
NDpf Nonp 27 ( 0) 0 ( 0) 27 8008
( 0) 296
OvfL Nonp 19617 ( 0) 19372 ( 0) 245 7840
( 0) 32
MuoC Nonp 4 ( 0) 0 ( 0) 4 7352
( 0) 1838
NpFn Nonp 20688 ( 0) 20570 ( 0) 118 6456
( 0) 54
TD Nonp 168 ( 0) 138 ( 0) 30 6304
( 0) 210
MPSP Nonp 376 ( 0) 248 ( 0) 128 6144
( 0) 48
TCIt Nonp 4 ( 0) 0 ( 0) 4 6064
( 0) 1516
RxVn Nonp 2039 ( 0) 2017 ( 0) 22 5848
( 0) 265
Wmip Nonp 980 ( 0) 740 ( 0) 240 5760
( 0) 24
NbL4 Nonp 350 ( 0) 319 ( 0) 31 5704
( 0) 184
Ddk Nonp 170327 ( 0) 170322 ( 0) 5 5672
( 0) 1134
NpFr Nonp 13474553 ( 318) 13474412 ( 318) 141 5640
( 0) 40
IpTI Nonp 3 ( 0) 0 ( 0) 3 5400
( 0) 1800
Ksec Nonp 6 ( 0) 0 ( 0) 6 5352
( 0) 892
NDoa Nonp 7 ( 0) 0 ( 0) 7 5336
( 0) 762
MmWe Nonp 31 ( 0) 0 ( 0) 31 5208
( 0) 168
RpcB Nonp 14 ( 0) 9 ( 0) 5 5160
( 0) 1032
NbL1 Nonp 339 ( 0) 311 ( 0) 28 5152
( 0) 184
RpcI Nonp 2 ( 0) 0 ( 0) 2 5136
( 0) 2568
Mdp Nonp 8 ( 0) 0 ( 0) 8 5120
( 0) 640
MsvC Nonp 2696 ( 0) 2684 ( 0) 12 5080
( 0) 423
NDmo Nonp 17 ( 0) 0 ( 0) 17 4608
( 0) 271
ScLq Nonp 25 ( 0) 0 ( 0) 25 4512
( 0) 180
Adap Nonp 19 ( 0) 1 ( 0) 18 4504
( 0) 250
IdeP Nonp 1830 ( 0) 1809 ( 0) 21 4496
( 0) 214
FMla Nonp 4 ( 0) 2 ( 0) 2 4240
( 0) 2120
FMpl Nonp 2 ( 0) 0 ( 0) 2 4232
( 0) 2116
PlBd Nonp 2 ( 0) 0 ( 0) 2 4192
( 0) 2096
NDPw Nonp 2 ( 0) 0 ( 0) 2 4176
( 0) 2088
NDPt Nonp 2 ( 0) 0 ( 0) 2 4176
( 0) 2088
Io Nonp 2 ( 0) 1 ( 0) 1 4096
( 0) 4096
FxLg Nonp 1 ( 0) 0 ( 0) 1 4096
( 0) 4096
TOBJ Nonp 322 ( 0) 310 ( 0) 12 4056
( 0) 338
Rpcd Nonp 1 ( 0) 0 ( 0) 1 4032
( 0) 4032
L2T4 Nonp 1 ( 0) 0 ( 0) 1 4016
( 0) 4016
PTPc Nonp 1 ( 0) 0 ( 0) 1 4008
( 0) 4008
8042 Nonp 4 ( 0) 0 ( 0) 4 3944
( 0) 986
UlNP Nonp 7 ( 0) 0 ( 0) 7 3920
( 0) 560
KbdC Nonp 4 ( 0) 0 ( 0) 4 3752
( 0) 938
PlRB Nonp 39 ( 0) 18 ( 0) 21 3648
( 0) 173
RaDS Nonp 141 ( 0) 0 ( 0) 141 3616
( 0) 25
Desk Nonp 48 ( 0) 30 ( 0) 18 3456
( 0) 192
NbL0 Nonp 696 ( 0) 678 ( 0) 18 3312
( 0) 184
ScC9 Nonp 484802 ( 18) 484761 ( 18) 41 3280
( 0) 80
UHUB Nonp 435 ( 0) 407 ( 0) 28 3080
( 0) 110
IoEr Nonp 280 ( 0) 263 ( 0) 17 2912
( 0) 171
LSsh Nonp 58 ( 0) 19 ( 0) 39 2808
( 0) 72
TCIZ Nonp 69 ( 0) 20 ( 0) 49 2776
( 0) 56
HidC Nonp 35 ( 0) 10 ( 0) 25 2744
( 0) 109
NDfa Nonp 51 ( 0) 38 ( 0) 13 2736
( 0) 210
brc2 Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
NDnd Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
brc1 Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
brc0 Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
TCPY Nonp 24 ( 0) 2 ( 0) 22 2688
( 0) 122
AfdF Nonp 4 ( 0) 0 ( 0) 4 2656
( 0) 664
MmDm Nonp 32 ( 0) 0 ( 0) 32 2560
( 0) 80
MmIn Nonp 3726 ( 0) 3710 ( 0) 16 2560
( 0) 160
TDIk Nonp 4 ( 0) 0 ( 0) 4 2536
( 0) 634
TCPX Nonp 24 ( 0) 0 ( 0) 24 2312
( 0) 96
NBSf Nonp 2 ( 0) 0 ( 0) 2 2280
( 0) 1140
UlUL Nonp 395239 ( 1) 395231 ( 1) 8 2272
( 0) 284
LSep Nonp 16 ( 0) 10 ( 0) 6 2256
( 0) 376
AcpR Nonp 9 ( 0) 6 ( 0) 3 2256
( 0) 752
MmSy Nonp 2860 ( 0) 2820 ( 0) 40 2240
( 0) 56
LSrf Nonp 2819 ( 0) 2810 ( 0) 9 2232
( 0) 248
NDan Nonp 30 ( 0) 7 ( 0) 23 2232
( 0) 97
Nb01 Nonp 2 ( 0) 0 ( 0) 2 2208
( 0) 1104
UlCJ Nonp 12 ( 0) 0 ( 0) 12 2208
( 0) 184
Ussy Nonp 244 ( 0) 183 ( 0) 61 2208
( 0) 36
IpEQ Nonp 1 ( 0) 0 ( 0) 1 2208
( 0) 2208
TCIw Nonp 3 ( 0) 0 ( 0) 3 2088
( 0) 696
Nb05 Nonp 28 ( 0) 15 ( 0) 13 2080
( 0) 160
WanO Nonp 1 ( 0) 0 ( 0) 1 2064
( 0) 2064
Mapr Nonp 10 ( 0) 9 ( 0) 1 2056
( 0) 2056
PXl Nonp 1 ( 0) 0 ( 0) 1 2008
( 0) 2008
PX2 Nonp 1 ( 0) 0 ( 0) 1 2008
( 0) 2008
ScFs Nonp 19 ( 0) 0 ( 0) 19 1976
( 0) 104
FLli Nonp 803 ( 0) 754 ( 0) 49 1960
( 0) 40
NDpb Nonp 7 ( 0) 0 ( 0) 7 1904
( 0) 272
UlIC Nonp 77 ( 0) 59 ( 0) 18 1840
( 0) 102
StEl Nonp 12 ( 0) 0 ( 0) 12 1824
( 0) 152
TCCS Nonp 3 ( 0) 0 ( 0) 3 1776
( 0) 592
AcpS Nonp 439 ( 0) 377 ( 0) 62 1648
( 0) 26
Nbt0 Nonp 421 ( 0) 409 ( 0) 12 1632
( 0) 136
HdCl Nonp 6 ( 0) 2 ( 0) 4 1616
( 0) 404
RxSc Nonp 2027 ( 0) 2022 ( 0) 5 1600
( 0) 320
Nb07 Nonp 5 ( 0) 0 ( 0) 5 1520
( 0) 304
ObCi Nonp 32693 ( 0) 32666 ( 6) 27 1512
( -336) 56
McFS Nonp 8 ( 0) 1 ( 0) 7 1512
( 0) 216
LfsS Nonp 68 ( 0) 54 ( 0) 14 1456
( 0) 104
Wind Nonp 18 ( 0) 8 ( 0) 10 1440
( 0) 144
NtfV Nonp 216759 ( 6) 216744 ( 6) 15 1440
( 0) 96
Nbtw Nonp 7 ( 0) 0 ( 0) 7 1400
( 0) 200
NDpk Nonp 49 ( 0) 32 ( 0) 17 1400
( 0) 82
Tnnl Nonp 2 ( 0) 0 ( 0) 2 1384
( 0) 692
UlTT Nonp 19 ( 0) 0 ( 0) 19 1368
( 0) 72
PsQb Nonp 25 ( 0) 6 ( 0) 19 1368
( 0) 72
MmDT Nonp 34 ( 0) 28 ( 0) 6 1360
( 0) 226
TCiQ Nonp 2585 ( 0) 2568 ( 0) 17 1360
( 0) 80
MmSc Nonp 4230 ( 0) 4206 ( 0) 24 1344
( 0) 56
WanJ Nonp 4 ( 0) 0 ( 0) 4 1344
( 0) 336
IoTi Nonp 42 ( 0) 0 ( 0) 42 1344
( 0) 32
Icp Nonp 158532 ( 13) 158499 ( 12) 33 1320
( 40) 40
ArbM Nonp 54 ( 0) 0 ( 0) 54 1296
( 0) 24
TCI4 Nonp 3 ( 0) 0 ( 0) 3 1296
( 0) 432
AfdR Nonp 46 ( 0) 6 ( 0) 40 1280
( 0) 32
Nb27 Nonp 21 ( 0) 19 ( 0) 2 1280
( 0) 640
TCPa Nonp 4861 ( 0) 4822 ( 0) 39 1272
( 0) 32
SeSd Nonp 477 ( 0) 466 ( 0) 11 1264
( 0) 114
CcWk Nonp 468374 ( 0) 468322 ( 0) 52 1248
( 0) 24
PX3 Nonp 2 ( 0) 0 ( 0) 2 1200
( 0) 600
TCPs Nonp 11458 ( 0) 11433 ( 0) 25 1200
( 0) 48
LSnh Nonp 8404 ( 0) 8367 ( 0) 37 1184
( 0) 32
RpcW Nonp 1 ( 0) 0 ( 0) 1 1168
( 0) 1168
FMpr Nonp 4 ( 0) 2 ( 0) 2 1168
( 0) 584
UlEB Nonp 19204 ( 1) 19203 ( 1) 1 1160
( 0) 1160
UlFW Nonp 1 ( 0) 0 ( 0) 1 1160
( 0) 1160
iMAL Nonp 9 ( 0) 0 ( 0) 9 1160
( 0) 128
UlLL Nonp 1 ( 0) 0 ( 0) 1 1160
( 0) 1160
UlLT Nonp 1 ( 0) 0 ( 0) 1 1160
( 0) 1160
------------------
--
Martin Necas
I am suffering with high usage of non paged memory pool on my
clustered servers running on Windows Server 2003 Server R2 Enterprise
SP2. The typical usage is 100 - 110 MB. The memory pool tag MmCm is
using 50 MB of NPP.
Let's describe my setup.
I have 3-node cluster consisting of 2 HP DL 380 G5 servers and one
virtual server on VMware (this server acts as an arbiter in MNS MSCS
cluster). Both servers has 4 GB of physical RAM installed. Both
servers is using /3GB /PAE /USERVA=3030 boot.ini parameters specified.
I have clustered Microsoft Exchange 2003 Server Enteprise with SP2
running on one one. The second node has file server share clustered
resources, IIS clustered resource, DHCP and WINS clustered resource.
I have the Altiris Client Deploynment sw installed, backups are going
through Data Protector 6, we are using Mcafee Viruscan Enterprise
8.0.0. Note that I tried to stop all these services (DP, MCafee,
Altiris), without freeing any NPP memory.
Note that I have set the SystemPages registry setting to the value
50000, instead of recommended value of 0. When I tried setting it to
the 0, I ran out of free PTE's very soon.
Sometimes I encounter strange behaviour (for example of IIS service -
I had to set it to use aggressive memory allocation (not to refuse
connection when the free NPP fall bellow 20 MB, now it is t 8 MB), and
cluster service is reporting that the file share resource failed with
error 64 sometimes. I suspect the low resources symptom - low free NPP
(non paged pool). Maybe I have to remove the /3GB and /USERVA switches
from boot.ini at the file server cluster node, however, I don't know
if it will not run me in other problems related to different cluster
node config. I am not sure here.
How can I figure out, what driver/sw is allocating so much of NPP
memory? And what is best practice for configuring the boot.ini (can be
different among cluster nodes) ?
Just for clarify: I have cca 1000 users/mailboxes, typicaly 400-500
SMB/MAPI sessions concurrent.
Thanks for helping in advance, and bellow attaching the PoolMon
output:
---------------------------------------
Memory: 4191924K Avail: 749576K PageFlts: 478 InRam Krnl: 2236K
P:76256K
Commit:4966144K Limit:8624216K Peak:5215872K Pool N:
102424K P:87276K
System pool information
Tag Type Allocs Frees Diff Bytes
Per Alloc
MmCm Nonp 169979 ( 61) 164485 ( 61) 5494 50900848
( 0) 9264
NDpp Nonp 1093 ( 0) 0 ( 0) 1093 4316288
( 0) 3949
Mdl Nonp 1148337 ( 0) 1134902 ( 0) 13435 2604856
( 0) 193
LSwi Nonp 1 ( 0) 0 ( 0) 1 2576384
( 0) 2576384
File Nonp 26656483 ( 598) 26640343 ( 595) 16140 2483248
( 456) 153
TPLA Nonp 512 ( 0) 0 ( 0) 512 2097152
( 0) 4096
Irp Nonp 180698964 (1623) 180694827 (1645) 4137 1731696
( -8992) 418
TCPt Nonp 3611263 ( 265) 3611215 ( 265) 48 1663528
( 0) 34656
McFo Nonp 47275 ( 0) 39715 ( 0) 7560 1512000
( 0) 200
Thre Nonp 630421 ( 6) 628005 ( 4) 2416 1507584
( 1248) 624
brcm Nonp 30 ( 0) 0 ( 0) 30 1261568
( 0) 42052
Io Nonp 42367874 ( 757) 42367489 ( 758) 385 1205568
( -8192) 3131
RcpI Nonp 1 ( 0) 0 ( 0) 1 1048576
( 0) 1048576
VadS Nonp 3679187 ( 54) 3649935 ( 52) 29252 936064
( 64) 32
RxHb Nonp 1206 ( 0) 0 ( 0) 1206 935856
( 0) 776
Devi Nonp 661884 ( 18) 660733 ( 18) 1151 894688
( 0) 777
AfdC Nonp 511509 ( 9) 506468 ( 7) 5041 806560
( 320) 160
Even Nonp 11335205 ( 313) 11320105 ( 307) 15100 734880
( 288) 48
FMsl Nonp 80973 ( 0) 77657 ( 0) 3316 689728
( 0) 208
TCPC Nonp 37837 ( 0) 30516 ( 0) 7321 614976
( 0) 84
Pool Nonp 6 ( 0) 3 ( 0) 3 610304
( 0) 203434
MmCa Nonp 2903023 ( 16) 2898113 ( 18) 4910 530832
( -224) 108
NAI0 Nonp 112151092 (2040) 112149570 (2040) 1522 520744
( 0) 342
Ntfr Nonp 251976 ( 0) 244157 ( 0) 7819 501384
( 0) 64
Vad Nonp 5849608 ( 24) 5839282 ( 24) 10326 495648
( 0) 48
UlCO Nonp 960 ( 0) 188 ( 0) 772 469376
( 0) 608
TCPT Nonp 23035 ( 0) 22031 ( 0) 1004 458208
( 0) 456
LSwr Nonp 128 ( 0) 0 ( 0) 128 416768
( 0) 3256
AfdE Nonp 583625 ( 9) 582197 ( 7) 1428 399840
( 560) 280
TCPc Nonp 846591 ( 14) 838855 ( 11) 7736 371328
( 144) 48
evaa Nonp 811692 ( 5) 810719 ( 16) 973 343496
( -440) 353
Mm Nonp 115 ( 0) 93 ( 0) 22 323944
( 0) 14724
CSdk Nonp 967442 ( 36) 967410 ( 36) 32 311808
( 0) 9744
VoSb Nonp 19 ( 0) 0 ( 0) 19 311296
( 0) 16384
CPnp Nonp 2215 ( 0) 1064 ( 0) 1151 294656
( 0) 256
RaTM Nonp 144 ( 0) 4 ( 0) 140 287840
( 0) 2056
bRcm Nonp 14 ( 0) 0 ( 0) 14 280848
( 0) 20060
Sema Nonp 2107275 ( 2) 2102294 ( 2) 4981 279960
( 0) 56
CcSc Nonp 2038145 ( 11) 2037300 ( 13) 845 270400
( -640) 320
R100 Nonp 39 ( 0) 2 ( 0) 37 245856
( 0) 6644
TCPp Nonp 59 ( 0) 0 ( 0) 59 241664
( 0) 4096
NTID Nonp 2602889 ( 100) 2602494 ( 100) 395 238808
( 0) 604
usbp Nonp 290 ( 0) 219 ( 0) 71 235472
( 0) 3316
iGig Nonp 1567 ( 0) 12 ( 0) 1555 232016
( 0) 149
Dump Nonp 8 ( 0) 1 ( 0) 7 229808
( 0) 32829
MmCi Nonp 2030 ( 0) 1088 ( 0) 942 216208
( 0) 229
Lfsr Nonp 18 ( 0) 5 ( 0) 13 212992
( 0) 16384
NtFs Nonp 974929 ( 7) 970583 ( 6) 4346 209232
( 40) 48
SeTd Nonp 29165162 ( 530) 29161917 ( 528) 3245 207680
( 128) 64
Vadl Nonp 3535859 ( 148) 3532684 ( 146) 3175 203200
( 128) 64
Hal Nonp 581827 ( 0) 581812 ( 0) 15 198096
( 0) 13206
Ntf0 Nonp 3 ( 0) 0 ( 0) 3 196608
( 0) 65536
Ntfn Nonp 224460 ( 0) 219843 ( 0) 4617 186456
( 0) 40
FSfm Nonp 171977 ( 0) 167674 ( 0) 4303 172120
( 0) 40
CMpa Nonp 157887 ( 20) 155374 ( 18) 2513 160832
( 128) 64
RxNr Nonp 2029 ( 0) 2007 ( 0) 22 149784
( 0) 6808
PRLH Nonp 8539 ( 9) 8499 ( 9) 40 147040
( 0) 3676
Muta Nonp 2539350 ( 5) 2537347 ( 5) 2003 146752
( 0) 73
RpcC Nonp 1289 ( 0) 9 ( 0) 1280 143360
( 0) 112
AfdB Nonp 1228109 ( 1) 1227862 ( 1) 247 138312
( 0) 559
RaME Nonp 4 ( 0) 0 ( 0) 4 135168
( 0) 33792
RceT Nonp 1 ( 0) 0 ( 0) 1 131072
( 0) 131072
MPIO Nonp 81952 ( 15) 81237 ( 15) 715 127736
( 0) 178
ReTa Nonp 48194 ( 0) 45379 ( 0) 2815 115960
( 0) 41
TCPA Nonp 306664 ( 5) 306375 ( 4) 289 106352
( 368) 368
Dnod Nonp 552 ( 0) 230 ( 0) 322 95312
( 0) 296
Ioin Nonp 24 ( 0) 1 ( 0) 23 92368
( 0) 4016
Proc Nonp 70890 ( 0) 70761 ( 0) 129 85656
( 0) 664
UlFU Nonp 10943 ( 1) 10919 ( 1) 24 81752
( 0) 3406
CM44 Nonp 157891 ( 20) 155375 ( 18) 2516 80488
( 64) 31
ScFt Nonp 74 ( 0) 18 ( 0) 56 79448
( 0) 1418
Ra12 Nonp 287 ( 0) 4 ( 0) 283 74712
( 0) 264
RxNf Nonp 76225 ( 2) 75822 ( 3) 403 71192
( -176) 176
Ntfi Nonp 144559 ( 0) 144309 ( 0) 250 68000
( 0) 272
UlLS Nonp 240 ( 0) 231 ( 0) 9 66696
( 0) 7410
Ica Nonp 514923 ( 112) 514826 ( 112) 97 66128
( 0) 681
AmlH Nonp 1 ( 0) 0 ( 0) 1 65536
( 0) 65536
UlOT Nonp 16 ( 0) 0 ( 0) 16 65536
( 0) 4096
PooL Nonp 8 ( 0) 0 ( 0) 8 65536
( 0) 8192
RpcD Nonp 2 ( 0) 0 ( 0) 2 65536
( 0) 32768
WmiG Nonp 54147 ( 0) 53858 ( 0) 289 64736
( 0) 224
ReEv Nonp 44061 ( 0) 41427 ( 0) 2634 63216
( 0) 24
Info Nonp 978992 ( 11) 978991 ( 11) 1 61440
( 0) 61440
AuxL Nonp 29271 ( 0) 27408 ( 0) 1863 59616
( 0) 32
CSnt Nonp 1671717 ( 28) 1671650 ( 28) 67 56168
( 0) 838
McGD Nonp 5 ( 0) 0 ( 0) 5 53712
( 0) 10742
IpSI Nonp 1027 ( 0) 0 ( 0) 1027 53272
( 0) 51
ReSe Nonp 18901 ( 0) 17318 ( 0) 1583 50656
( 0) 32
ScPC Nonp 25 ( 0) 0 ( 0) 25 49400
( 0) 1976
TCiA Nonp 1519258 ( 17) 1518711 ( 17) 547 48136
( 0) 88
TCPr Nonp 309075 ( 0) 308426 ( 4) 649 47496
( -288) 73
TCPB Nonp 48342 ( 0) 48312 ( 0) 30 45848
( 0) 1528
CcVl Nonp 154 ( 0) 89 ( 0) 65 43536
( 0) 669
LScn Nonp 142 ( 0) 82 ( 0) 60 42720
( 0) 712
MPLB Nonp 3313 ( 0) 3189 ( 0) 124 41664
( 0) 336
MNFI Nonp 18 ( 0) 0 ( 0) 18 41616
( 0) 2312
TCht Nonp 1748 ( 0) 1738 ( 0) 10 40960
( 0) 4096
CcVa Nonp 1 ( 0) 0 ( 0) 1 40960
( 0) 40960
Time Nonp 345 ( 0) 133 ( 0) 212 39088
( 0) 184
NtFL Nonp 497761 ( 16) 497705 ( 16) 56 37680
( 0) 672
vPrt Nonp 7 ( 0) 4 ( 0) 3 36920
( 0) 12306
WmiR Nonp 1803 ( 0) 1253 ( 0) 550 35200
( 0) 64
FMvo Nonp 440571 ( 12) 440537 ( 12) 34 34320
( 0) 1009
Driv Nonp 139 ( 0) 4 ( 0) 135 32808
( 0) 243
Ntft Nonp 162 ( 0) 70 ( 0) 92 32784
( 0) 356
TChi Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
TChu Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
AmlC Nonp 81 ( 0) 77 ( 0) 4 32768
( 0) 8192
TChe Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
TChc Nonp 8 ( 0) 0 ( 0) 8 32768
( 0) 4096
UlIR Nonp 7100 ( 0) 7079 ( 0) 21 32680
( 0) 1556
Hdls Nonp 237 ( 0) 0 ( 0) 237 30784
( 0) 129
Port Nonp 372917 ( 5) 371975 ( 5) 942 30144
( 0) 32
ScRp Nonp 57 ( 0) 0 ( 0) 57 29792
( 0) 522
UlHR Nonp 755 ( 0) 733 ( 0) 22 28880
( 0) 1312
CHIF Nonp 6 ( 0) 4 ( 0) 2 28688
( 0) 14344
RxIr Nonp 104548 ( 0) 104517 ( 0) 31 28024
( 0) 904
Wait Nonp 12073617 ( 94) 12073508 ( 94) 109 25784
( 0) 236
FcbL Nonp 54416 ( 2) 54016 ( 3) 400 25600
( -64) 64
MntA Nonp 179 ( 0) 122 ( 0) 57 25536
( 0) 448
Nbtl Nonp 7704 ( 0) 7532 ( 0) 172 24768
( 0) 144
IoCo Nonp 44190 ( 0) 43847 ( 0) 343 24696
( 0) 72
CcVp Nonp 22762 ( 1) 22695 ( 1) 67 23664
( 0) 353
Gsem Nonp 836 ( 0) 552 ( 0) 284 22624
( 0) 79
UlCA Nonp 79 ( 0) 53 ( 0) 26 22360
( 0) 860
CcBc Nonp 3111268 ( 15) 3111105 ( 42) 163 22168
( -3672) 136
UlRP Nonp 107163 ( 5) 107132 ( 6) 31 21256
( -2608) 685
SMBi Nonp 117 ( 0) 107 ( 0) 10 20608
( 0) 2060
MmSd Nonp 7148 ( 0) 6782 ( 0) 366 20496
( 0) 56
Vpb Nonp 219 ( 0) 7 ( 0) 212 20352
( 0) 96
SePa Nonp 34131726 (1230) 34131599 (1230) 127 19264
( 0) 151
TSRM Nonp 32 ( 0) 0 ( 0) 32 18944
( 0) 592
DOPE Nonp 213 ( 0) 0 ( 0) 213 18744
( 0) 88
NpFc Nonp 23291 ( 0) 23058 ( 0) 233 18640
( 0) 80
PciB Nonp 94 ( 0) 61 ( 0) 33 18624
( 0) 564
NDdb Nonp 252266 ( 0) 252225 ( 2) 41 18496
( -1088) 451
FSrm Nonp 296 ( 0) 159 ( 0) 137 17536
( 0) 128
NbL2 Nonp 3227 ( 0) 3133 ( 0) 94 17296
( 0) 184
AcpD Nonp 129 ( 0) 79 ( 0) 50 16880
( 0) 337
UlCK Nonp 6386 ( 0) 6362 ( 0) 24 16432
( 0) 684
LSwq Nonp 2 ( 0) 0 ( 0) 2 16384
( 0) 8192
MmPd Nonp 1 ( 0) 0 ( 0) 1 16384
( 0) 16384
FMfr Nonp 2 ( 0) 0 ( 0) 2 16384
( 0) 8192
b06b Nonp 94 ( 0) 12 ( 0) 82 16264
( 0) 198
UlFO Nonp 64 ( 0) 0 ( 0) 64 15872
( 0) 248
MmLd Nonp 144 ( 0) 12 ( 0) 132 15328
( 0) 116
NDw1 Nonp 11 ( 0) 1 ( 0) 10 14976
( 0) 1497
ObjT Nonp 31 ( 0) 0 ( 0) 31 14384
( 0) 464
SmMm Nonp 5986 ( 0) 5970 ( 0) 16 12896
( 0) 806
MmSP Nonp 1 ( 0) 0 ( 0) 1 12288
( 0) 12288
FstB Nonp 2875 ( 0) 2856 ( 0) 19 12008
( 0) 632
UlBS Nonp 130 ( 0) 100 ( 0) 30 11368
( 0) 378
Ntff Nonp 74 ( 0) 20 ( 0) 54 11232
( 0) 208
MPCo Nonp 465248 ( 0) 465199 ( 0) 49 10584
( 0) 216
AfdL Nonp 305716 ( 5) 305451 ( 4) 265 10560
( 40) 39
RxMs Nonp 765 ( 0) 762 ( 0) 3 10384
( 0) 3461
RpcH Nonp 14 ( 0) 9 ( 0) 5 10280
( 0) 2056
NbtD Nonp 3227 ( 0) 3166 ( 0) 61 10248
( 0) 168
LStb Nonp 175 ( 0) 109 ( 0) 66 10176
( 0) 154
Flst Nonp 1822 ( 0) 1511 ( 0) 311 9952
( 0) 32
SdHt Nonp 37 ( 0) 0 ( 0) 37 9768
( 0) 264
FMic Nonp 6372994 ( 109) 6372957 ( 112) 37 9768
( -792) 264
NaTa Nonp 37 ( 0) 0 ( 0) 37 9768
( 0) 264
CcPc Nonp 878512 ( 3) 878413 ( 3) 99 9504
( 0) 96
rx Nonp 4 ( 0) 0 ( 0) 4 9440
( 0) 2360
ScB4 Nonp 55 ( 0) 0 ( 0) 55 9376
( 0) 170
AfdP Nonp 4978648 ( 114) 4978592 ( 114) 56 9080
( 0) 162
FMis Nonp 3154 ( 0) 3140 ( 0) 14 8512
( 0) 608
FMct Nonp 6155 ( 0) 6141 ( 0) 14 8336
( 0) 595
RaDf Nonp 80 ( 0) 0 ( 0) 80 8320
( 0) 104
NCRE Nonp 130 ( 0) 0 ( 0) 130 8320
( 0) 64
MmHt Nonp 11 ( 0) 7 ( 0) 4 8224
( 0) 2056
Usfd Nonp 1 ( 0) 0 ( 0) 1 8192
( 0) 8192
FMrr Nonp 8633 ( 0) 8605 ( 0) 28 8128
( 0) 290
NDpf Nonp 27 ( 0) 0 ( 0) 27 8008
( 0) 296
OvfL Nonp 19617 ( 0) 19372 ( 0) 245 7840
( 0) 32
MuoC Nonp 4 ( 0) 0 ( 0) 4 7352
( 0) 1838
NpFn Nonp 20688 ( 0) 20570 ( 0) 118 6456
( 0) 54
TD Nonp 168 ( 0) 138 ( 0) 30 6304
( 0) 210
MPSP Nonp 376 ( 0) 248 ( 0) 128 6144
( 0) 48
TCIt Nonp 4 ( 0) 0 ( 0) 4 6064
( 0) 1516
RxVn Nonp 2039 ( 0) 2017 ( 0) 22 5848
( 0) 265
Wmip Nonp 980 ( 0) 740 ( 0) 240 5760
( 0) 24
NbL4 Nonp 350 ( 0) 319 ( 0) 31 5704
( 0) 184
Ddk Nonp 170327 ( 0) 170322 ( 0) 5 5672
( 0) 1134
NpFr Nonp 13474553 ( 318) 13474412 ( 318) 141 5640
( 0) 40
IpTI Nonp 3 ( 0) 0 ( 0) 3 5400
( 0) 1800
Ksec Nonp 6 ( 0) 0 ( 0) 6 5352
( 0) 892
NDoa Nonp 7 ( 0) 0 ( 0) 7 5336
( 0) 762
MmWe Nonp 31 ( 0) 0 ( 0) 31 5208
( 0) 168
RpcB Nonp 14 ( 0) 9 ( 0) 5 5160
( 0) 1032
NbL1 Nonp 339 ( 0) 311 ( 0) 28 5152
( 0) 184
RpcI Nonp 2 ( 0) 0 ( 0) 2 5136
( 0) 2568
Mdp Nonp 8 ( 0) 0 ( 0) 8 5120
( 0) 640
MsvC Nonp 2696 ( 0) 2684 ( 0) 12 5080
( 0) 423
NDmo Nonp 17 ( 0) 0 ( 0) 17 4608
( 0) 271
ScLq Nonp 25 ( 0) 0 ( 0) 25 4512
( 0) 180
Adap Nonp 19 ( 0) 1 ( 0) 18 4504
( 0) 250
IdeP Nonp 1830 ( 0) 1809 ( 0) 21 4496
( 0) 214
FMla Nonp 4 ( 0) 2 ( 0) 2 4240
( 0) 2120
FMpl Nonp 2 ( 0) 0 ( 0) 2 4232
( 0) 2116
PlBd Nonp 2 ( 0) 0 ( 0) 2 4192
( 0) 2096
NDPw Nonp 2 ( 0) 0 ( 0) 2 4176
( 0) 2088
NDPt Nonp 2 ( 0) 0 ( 0) 2 4176
( 0) 2088
Io Nonp 2 ( 0) 1 ( 0) 1 4096
( 0) 4096
FxLg Nonp 1 ( 0) 0 ( 0) 1 4096
( 0) 4096
TOBJ Nonp 322 ( 0) 310 ( 0) 12 4056
( 0) 338
Rpcd Nonp 1 ( 0) 0 ( 0) 1 4032
( 0) 4032
L2T4 Nonp 1 ( 0) 0 ( 0) 1 4016
( 0) 4016
PTPc Nonp 1 ( 0) 0 ( 0) 1 4008
( 0) 4008
8042 Nonp 4 ( 0) 0 ( 0) 4 3944
( 0) 986
UlNP Nonp 7 ( 0) 0 ( 0) 7 3920
( 0) 560
KbdC Nonp 4 ( 0) 0 ( 0) 4 3752
( 0) 938
PlRB Nonp 39 ( 0) 18 ( 0) 21 3648
( 0) 173
RaDS Nonp 141 ( 0) 0 ( 0) 141 3616
( 0) 25
Desk Nonp 48 ( 0) 30 ( 0) 18 3456
( 0) 192
NbL0 Nonp 696 ( 0) 678 ( 0) 18 3312
( 0) 184
ScC9 Nonp 484802 ( 18) 484761 ( 18) 41 3280
( 0) 80
UHUB Nonp 435 ( 0) 407 ( 0) 28 3080
( 0) 110
IoEr Nonp 280 ( 0) 263 ( 0) 17 2912
( 0) 171
LSsh Nonp 58 ( 0) 19 ( 0) 39 2808
( 0) 72
TCIZ Nonp 69 ( 0) 20 ( 0) 49 2776
( 0) 56
HidC Nonp 35 ( 0) 10 ( 0) 25 2744
( 0) 109
NDfa Nonp 51 ( 0) 38 ( 0) 13 2736
( 0) 210
brc2 Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
NDnd Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
brc1 Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
brc0 Nonp 2 ( 0) 0 ( 0) 2 2720
( 0) 1360
TCPY Nonp 24 ( 0) 2 ( 0) 22 2688
( 0) 122
AfdF Nonp 4 ( 0) 0 ( 0) 4 2656
( 0) 664
MmDm Nonp 32 ( 0) 0 ( 0) 32 2560
( 0) 80
MmIn Nonp 3726 ( 0) 3710 ( 0) 16 2560
( 0) 160
TDIk Nonp 4 ( 0) 0 ( 0) 4 2536
( 0) 634
TCPX Nonp 24 ( 0) 0 ( 0) 24 2312
( 0) 96
NBSf Nonp 2 ( 0) 0 ( 0) 2 2280
( 0) 1140
UlUL Nonp 395239 ( 1) 395231 ( 1) 8 2272
( 0) 284
LSep Nonp 16 ( 0) 10 ( 0) 6 2256
( 0) 376
AcpR Nonp 9 ( 0) 6 ( 0) 3 2256
( 0) 752
MmSy Nonp 2860 ( 0) 2820 ( 0) 40 2240
( 0) 56
LSrf Nonp 2819 ( 0) 2810 ( 0) 9 2232
( 0) 248
NDan Nonp 30 ( 0) 7 ( 0) 23 2232
( 0) 97
Nb01 Nonp 2 ( 0) 0 ( 0) 2 2208
( 0) 1104
UlCJ Nonp 12 ( 0) 0 ( 0) 12 2208
( 0) 184
Ussy Nonp 244 ( 0) 183 ( 0) 61 2208
( 0) 36
IpEQ Nonp 1 ( 0) 0 ( 0) 1 2208
( 0) 2208
TCIw Nonp 3 ( 0) 0 ( 0) 3 2088
( 0) 696
Nb05 Nonp 28 ( 0) 15 ( 0) 13 2080
( 0) 160
WanO Nonp 1 ( 0) 0 ( 0) 1 2064
( 0) 2064
Mapr Nonp 10 ( 0) 9 ( 0) 1 2056
( 0) 2056
PXl Nonp 1 ( 0) 0 ( 0) 1 2008
( 0) 2008
PX2 Nonp 1 ( 0) 0 ( 0) 1 2008
( 0) 2008
ScFs Nonp 19 ( 0) 0 ( 0) 19 1976
( 0) 104
FLli Nonp 803 ( 0) 754 ( 0) 49 1960
( 0) 40
NDpb Nonp 7 ( 0) 0 ( 0) 7 1904
( 0) 272
UlIC Nonp 77 ( 0) 59 ( 0) 18 1840
( 0) 102
StEl Nonp 12 ( 0) 0 ( 0) 12 1824
( 0) 152
TCCS Nonp 3 ( 0) 0 ( 0) 3 1776
( 0) 592
AcpS Nonp 439 ( 0) 377 ( 0) 62 1648
( 0) 26
Nbt0 Nonp 421 ( 0) 409 ( 0) 12 1632
( 0) 136
HdCl Nonp 6 ( 0) 2 ( 0) 4 1616
( 0) 404
RxSc Nonp 2027 ( 0) 2022 ( 0) 5 1600
( 0) 320
Nb07 Nonp 5 ( 0) 0 ( 0) 5 1520
( 0) 304
ObCi Nonp 32693 ( 0) 32666 ( 6) 27 1512
( -336) 56
McFS Nonp 8 ( 0) 1 ( 0) 7 1512
( 0) 216
LfsS Nonp 68 ( 0) 54 ( 0) 14 1456
( 0) 104
Wind Nonp 18 ( 0) 8 ( 0) 10 1440
( 0) 144
NtfV Nonp 216759 ( 6) 216744 ( 6) 15 1440
( 0) 96
Nbtw Nonp 7 ( 0) 0 ( 0) 7 1400
( 0) 200
NDpk Nonp 49 ( 0) 32 ( 0) 17 1400
( 0) 82
Tnnl Nonp 2 ( 0) 0 ( 0) 2 1384
( 0) 692
UlTT Nonp 19 ( 0) 0 ( 0) 19 1368
( 0) 72
PsQb Nonp 25 ( 0) 6 ( 0) 19 1368
( 0) 72
MmDT Nonp 34 ( 0) 28 ( 0) 6 1360
( 0) 226
TCiQ Nonp 2585 ( 0) 2568 ( 0) 17 1360
( 0) 80
MmSc Nonp 4230 ( 0) 4206 ( 0) 24 1344
( 0) 56
WanJ Nonp 4 ( 0) 0 ( 0) 4 1344
( 0) 336
IoTi Nonp 42 ( 0) 0 ( 0) 42 1344
( 0) 32
Icp Nonp 158532 ( 13) 158499 ( 12) 33 1320
( 40) 40
ArbM Nonp 54 ( 0) 0 ( 0) 54 1296
( 0) 24
TCI4 Nonp 3 ( 0) 0 ( 0) 3 1296
( 0) 432
AfdR Nonp 46 ( 0) 6 ( 0) 40 1280
( 0) 32
Nb27 Nonp 21 ( 0) 19 ( 0) 2 1280
( 0) 640
TCPa Nonp 4861 ( 0) 4822 ( 0) 39 1272
( 0) 32
SeSd Nonp 477 ( 0) 466 ( 0) 11 1264
( 0) 114
CcWk Nonp 468374 ( 0) 468322 ( 0) 52 1248
( 0) 24
PX3 Nonp 2 ( 0) 0 ( 0) 2 1200
( 0) 600
TCPs Nonp 11458 ( 0) 11433 ( 0) 25 1200
( 0) 48
LSnh Nonp 8404 ( 0) 8367 ( 0) 37 1184
( 0) 32
RpcW Nonp 1 ( 0) 0 ( 0) 1 1168
( 0) 1168
FMpr Nonp 4 ( 0) 2 ( 0) 2 1168
( 0) 584
UlEB Nonp 19204 ( 1) 19203 ( 1) 1 1160
( 0) 1160
UlFW Nonp 1 ( 0) 0 ( 0) 1 1160
( 0) 1160
iMAL Nonp 9 ( 0) 0 ( 0) 9 1160
( 0) 128
UlLL Nonp 1 ( 0) 0 ( 0) 1 1160
( 0) 1160
UlLT Nonp 1 ( 0) 0 ( 0) 1 1160
( 0) 1160
------------------
--
Martin Necas