|
|||||||
|
|
|
![]() |
|
|
Strumenti |
|
|
#1 |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
[C++/Win] Perdita memoria Non paged (difficile, sorry)
Ciao a tutti
ho un quesito piuttosto difficile: mi e' stato chiesto di trovare dove un programma (scritto meta' in C++ e meta' in Fortran) perde memoria. Da Windows Task Manager ho visto che non e' il solito memory leak, ma la memoria persa si vede sotto la colonna "NP Pool". Insomma, sembra che qualche chiamata a sistema sia sbagliata. Il software da analizzare e' piuttosto grosso. Ho quindi installato il Windows Support Tool per avere a disposizione il comando PoolMon, in modo di sapere il tag della memoria persa. Quindi... installazione OK, eseguo il comando gflags per abilitare la raccolta delle informazioni sui pool, riavvio il sistema e.... il problema sparisce!!! Faccio un'altra prova: disabilito gflags ed ecco che il problema compare ancora. (ovviamente poolmon e' fuori gioco, se disabilito). Altre prove: installo lo stesso software e gli stessi tool sotto altre macchine con Win XP, Win 2000 e Win 2003. Il risultato non cambia. C'e' qualche esperto di Windows, o in alternativa un esperto in divinazioni, che sappia dirmi cosa succede? Oltretutto e' anche difficile googlare/yahoo!are su un problema di questo genere...
__________________
In God we trust; all others bring data |
|
|
|
|
|
#2 |
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
scusa ma la metà scritta in C++ è un driver...?
![]() perché il pool non paginato in Windows lo si può controllare solamente da kernel mode. d'altra parte un driver WDM scritto in C++ mi pare quantomeno originale... ^_^' |
|
|
|
|
|
#3 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Non sono esperto di Win32, ma posso ben immaginare che le chiamate di sistema (fatte quindi a livello utente) possano essere eseguite in kernel mode. Pertanto posso immaginare che ci sia del software di sistema o driver che funzioni correttamente, ma che sia chiamato da un programma che non sia corretto. L'esempio che mi viene fatto e', per esempio, di una chiamata a CreateFile(): se sbaglio la chiamata potrei avere un problema di questo genere. La cosa che pero' risulta singolare e' che se abilito l'uso di poolmon, tutto sparisce ed il programma funziona alla perfezione. Se, sempre usando gflags, tolgo il flag relativo alla raccolta delle informazioni sulla memoria "taggata", dopo 2/3 giorni di funzionamento, devo riavviare la macchina..... EDIT - c'e' anche una parte scritta in C, che implementa una struttura IPC: la mailbox. Per fare questo, utilizza una mutex ed un'area di memoria shared, oltre che qualche semaforo. Siccome e' una parte ben delimitata e scritta in una DLL che risulta piuttosto generica, l'ho provata a parte, scrivendo un paio di processi che si scambiassero messaggi a raffica. Funziona correttamente, anche se non l'ho "scagionata" del tutto, non essendo riuscito a provare tutte le possibili condizioni....
__________________
In God we trust; all others bring data Ultima modifica di sottovento : 09-08-2007 alle 07:36. |
|
|
|
|
|
|
#4 |
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
mi sa che sei a un passo dall'aver trovato un bug di Windows, che contrariamente a quanto si pensi è una cosa piuttosto difficile
a meno che non sia colpa ancora una volta delle famigerate terze parti. in generale comunque un'applicazione user-mode non deve mai avere nessun modo di causare un leak nel pool non paginato. di preciso quali flags hai abilitato? o meglio ancora, quale/i flag/s è sufficiente abilitare per far sparire il leak? |
|
|
|
|
|
#5 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Ovviamente non si sa mai, ma non penso che un'applicazione user-mode non possa creare dei leak nel pool non paginato! Nel TaskManager, infatti, puoi selezionare la colonna "NP Pool" e vedere come e' in uso da tutte le applicazioni, piu' o meno. Ecco, e' quel numero che continua a crescere. Il flag che ho abilitato (usando gflags, mi sento piu' sicuro che scrivere nel registry) e' "Enable pool tagging". Questo e' l'unico. Il risultato e' ormai noto: se abilito per avere informazioni sul problema, il problema sparisce. Viceversa, se disabilito "Enable pool tagging" e quindi non posso raccogliere informazioni sul problema, il problema appare ancora. Penso che l'unico modo di stabilire qual e' la chiamata galeotta e' quella di eseguire un crash di Windows ed andare ad analizzarlo con un kernel debugger, per esempio windbg o kd. Ovviamente preferirei 20 frustate.....
__________________
In God we trust; all others bring data |
|
|
|
|
|
|
#6 |
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
non è così che ragionerei io infatti: bisogna piuttosto cercare di capire che modo ha un componente kernel mode di "capire" (anche involontariamente) se il tagging è abilitato o meno, e di cambiare il suo comportamento di conseguenza.
|
|
|
|
|
|
#7 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Hai parlato che potrebbe essere un bug di Win: bene, e' sicuramente ragionevole. Pero' questo mi pone un po' di problemi: 1 - non riesco a trovare documentazione via Internet sullo stesso, poiche' mi e' difficile da descrivere in una query di ricerca. Non penso che un bug di questo genere non sia stato "visto" prima... 2 - Nel caso, invece, che sia davvero un bug di Win e che nessuno l'abbia visto prima, vorrei essere sicuro e non gridare "al lupo" immediatamente. Quindi, dopo la condanna in primo grado (questa), dovrei cercare di avere quanto meno un processo d'Appello e magari andare in Cassazione. Proprio mentre ti sto scrivendo, mi e' venuto in mente che potrei provare ad avere il processo d'Appello utilizzando perfmon! In effetti, Performance Monitor mi rileva questo parametro, giusto? Anzi, se non ricordo male mi riporta il numero di allocazioni ed il totale dei byte allocati. D'accordo, non e' tanto ma comincio ad avere piu' info a disposizione. A questo punto, mi viene spontanea una domanda, ancor prima di cominciare: se davvero fosse un bug di Windows, quale sara' il risultato dell'analisi con perfmon? variera' in accordo con quanto settato in gflags? E se per caso questo non succedesse? Beh, ti devo ringraziare per la discussione, visto che sta portando a considerare aspetti che prima non mi passavano minimamente per la testa...
__________________
In God we trust; all others bring data |
|
|
|
|
|
|
#8 | |
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
Quote:
ma non ti è molto d'aiuto. ciò che mi interessa capire è se il tagging avviene sempre e comunque (e quel flag permette solo a poolmon di vedere i tags) o se avviene solo quando si abilita il flag. se il flag è disabilitato e un driver chiama la ExAllocatePoolWithTag il tag specificato viene ignorato? ![]() ora purtroppo devo uscire e non ho tempo, proverò a guardarci stasera. |
|
|
|
|
|
|
#9 | |||
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
Quote:
Quote:
![]() se ti riporta anche il numero di bytes allocati nel pool non paginato tanto meglio, ma non so quanto perfmon sia meglio del Task Manager da questo punto di vista. Quote:
|
|||
|
|
|
|
|
#10 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Se posso dire la mia, penso che il tagging avvenga sempre. Infatti, oltre alla "normale" deallocazione alla quale si passa l'indirizzo della memoria da deallocare, e' possibile utilizzare un'altra API a cui si deve passare sia l'indirizzo sia il tag. Se il tag passato non coincide con il tag della memoria che si va a deallocare, allora viene ritornato un codice di errore. Ovviamente non ricordo i nomi delle due funzioni di deallocazione, ma penso non sia un problema recuperarli. Comunque questo dovrebbe significare che il tagging avviene sempre ed il check box di gflags permetta di raccogliere informazioni per monitorare in "tempo reale" quanto viene fatto sui pool di memoria. Posso immaginare che abilitando questo check box si vada ad inserire una serie di dati in una struttura globale, ed eventualmente a notificare l'avvenuta scrittura. Tutto questo avra' un costo in prestazioni, pertanto immagino che l'abilitazione/disabilitazione serva a questo. Ovviamente e' solo una mia ipotesi....
__________________
In God we trust; all others bring data |
|
|
|
|
|
|
#11 | ||||
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
Quote:
vabbè, allora controllerò meglio stasera; la cosa mi interessa. Quote:
Quote:
Quote:
|
||||
|
|
|
|
|
#12 |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Provato con perfmon (ovviamente disabilitando il flag incriminato).
Risultato: - il numero di allocazioni totali (per tutto il sistema) produce un grafico che apparentemente e' a dente di sega (i.e. il numero di allocazioni cresce e poi ritorna al valore di base). La linea di base sembra costante (quindi sembrerebbe OK) ma ho ancora pochi dati per confermare; - Il numero di bytes allocati cresce a scalini (costante per qualche minuto, poi incrementa); - Il numero di byte allocati per il processo che presenta il problema e' una bisettrice 1./3. quadrante, per cui cresce costantemente Non e' molto incoraggiante. Quanto meno e' coerente, come ti aspettavi, con Windows Task Manager EDIT - con piu' dati a disposizione posso scartare il dente di sega: il numero di allocazioni cresce drammaticamente. A proposito di driver di terze parti: questo comportamento l'ho riscontrato su diversi computer, con diverse configurazioni e diversi sistemi operativi (XP, 2000, 2003). Per lo meno, il comportamento e' riproducibilissimo, visto che l'ho provato con ALMENO una decina di computer EDIT - Altro particolare importante: non si incrementa il contatore degli handle!! E' come se si rilasciasse la memoria e se ne prendesse di piu', con una nuova allocazione. Questo pero' non torna con il numero di allocazioni che si incrementa (assumendo, ovviamente, che sia il numero di allocazioni attualmente in uso per un processo).
__________________
In God we trust; all others bring data Ultima modifica di sottovento : 09-08-2007 alle 10:26. |
|
|
|
|
|
#13 | ||
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
Quote:
ribadisco, mi sa tanto che hai trovato un bug di Windows Quote:
|
||
|
|
|
|
|
#14 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Altra missione fallita: ho provato a riprodurre il memory leak (quindi disabilitando i gflags) e a far crashare il computer con CTRL+Scroll Lock. Al riavvio ho usato windbg per controllare il MEMORY.DMP che e' stato creato. Risultato: niente! Il numero di NP pool in uso, secondo il dump, era zero! Sembra piu' duro del previsto....
__________________
In God we trust; all others bring data |
|
|
|
|
|
|
#15 | ||
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
Quote:
Quote:
|
||
|
|
|
|
|
#16 |
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
una notizia che ti può interessare, non so se è una cosa che già avevi: nella mia cartella di installazione dei Debugging Tools for Windows mi sono ritrovato in qualche meandro un file txt contenente la lista di tutti i tags usati dai componenti di Windows per taggare memoria. quindi quando riesci ad avere questo memory dump se riesci a tirare fuori anche dei tags puoi facilmente vedere se è colpa di Windows o meno (anche se sembra che sia proprio colpa sua) e di quale driver è la colpa.
dal momento che usi WinDbg dovresti avere anche tu quel file: si chiama pooltag.txt e sta nella sottocartella "triage" della cartella di installazione dei debugging tools. |
|
|
|
|
|
#17 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Intanto continuo a fare ricerche in rete, ma non ho trovato nulla: mi sento comunque di scartare l'ipotesi di un bug di Windows, visto che nessuno ne parla....
__________________
In God we trust; all others bring data |
|
|
|
|
|
|
#18 |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Mi regalo un UP
__________________
In God we trust; all others bring data |
|
|
|
|
|
#19 |
|
Bannato
Iscritto dal: Feb 2005
Città: Roma
Messaggi: 7029
|
embè? sei riuscito a scoprire i tag di quei blocchi??
se riesci a scoprire quelli sei a cavallo: puoi vedere subito con certezza se il leak è provocato da Windows o da un driver di terze parti, e nel caso fosse provocato da Windows conoscendo il componente che l'ha provocato hai anche un'ottima pista su cui indagare. |
|
|
|
|
|
#20 | |
|
Senior Member
Iscritto dal: Nov 2005
Città: Texas
Messaggi: 1722
|
Quote:
Se non abilito, non vedo il tag nemmeno causando il crash (blue screen) o aspettando che vada in crash da solo. Diventero' matto. Nel frattempo mi sono trasferito in USA dove devo restarci x 8 mesi e questo rendera' le cose piu' difficili, visto che ora ho il fiato del cliente sul collo... Se hai suggerimenti, di qualsiasi tipo, posta pure....
__________________
In God we trust; all others bring data |
|
|
|
|
|
| Strumenti | |
|
|
Tutti gli orari sono GMT +1. Ora sono le: 23:32.






















