Issues with large files

[Rolando-stc]

Hi everyone!!!

I developed a simple program in LabVIEW for measurement and storage of vibration data, the storage is made through a tdms file that contains 4 channels:

• Timestamp
  
• X axis
• Y axis
• Z axis

During the morning I left the program running and the next day I come back, stop the program, performed a backup of all the data and left the program running. This cycle repeat for 3 days.

And now I'm using DIAdem to analyze all the data, but when I open the first file of 4.96 GB, it only had 1 minute of adquisition, I checked the other files and had the same problem, large files with 1 or 2 minutes of adquisition.

What do you think its happening??

The parameters in the adquisition were:

Frequency: 3200 Hz

Samples: 500

Note: The 1 or 2 minutes of adquisition are consistent with the parameters above.

Greetings!!

[Rolando-stc]

One colleague suggested me that perhaps the problem is the ram that take DIAdem from my computer, these are my computer specifications:

hp dv4 1414

AMD Athlon X2 Dual-Core QL-65 2.10 GHz

HD: 250gb

RAM: 3gb

OS: Windows 7 32bits

Is there any way to know how much ram DIAdem takes??

[Rolando-stc]

I made a programa in LabVIEW that reads all the data from my TDMS file, I placed a probe watch in the final waveform and it showed me this warning:

Is this the same thing that it's happening in DIAdem??

[lfelias]

Que tal Rolando,

Si pudieras compartir el VI podríamos encontrar donde se está consumiendo RAM que podriamos evitar.

Lo que me imagino que pudiera ayudar es utilizar la estructura llamada InPlace Element para poder eliminar la memoria ram que se está consumiendo.

Si puedes mandarme tu Programa, podriamos revisar que opciones hacer, así como datos sobre la memoria ram con la que cuenta la PC.

Saludos, 

[Rolando-stc]

el principal problema es que no puedo visualizar mis datos en DIAdem, solo realicé el programa en LabVIEW para ver si todos los datos se habían guardado correctamente, pero de todas maneras adjunto el programa

[lfelias]

Una pregunta Rolando,

Cuanta memoria RAM tiene disponible tu computadora?

Saludos,

[Rolando-stc]

Le acabo de checar en propiedades del equipo y dice que tengo 3 gb (2.75 gb utilizable).

[lfelias]

Lo que está sucediendo es que no tienes suficiente memoria para poder abrir el archivo, en ningún visor de texto,

Cuando tratas de abrir un archivo, lo que suecede es que todo el archivo se carga en memoria RAM, por lo que estas intentando meter casi 5 GB en memoria y tienes libre únicamente 2.75 GB como mencionabas en el post anterior.

Para poder analizar el archivo lo que debes de hacer es fragmentar tu adquisición, o quizá limitar el número de datos que estas tomando en el tiempo, es decir, si estas tomando 1000 datos cada segundo, durante varios dias, bajar quizá a tomar solo 1 dato por segundo o incluso solo tomar algunos datos cada minuto, para poder dejar la adquisición durante todo el tiempo que requieres y no se sature tu memoria.

Te recomendaría que tuvieras archivos de mucho menos que un GB para manejar, ya que es mucho más facil que se corrompan, y si se corrompen pierderas toda la información.

Cuando tengas varios archivos, no tendrás problema para abrirlo.

Ahora, con un procesador de 64 bits y teniendo 6 u 8 GB de memoria, puedes con algunas aplicaciones abrir el archivo completo, pero no es recomendable.

Saludos,

[Rolando-stc]

De entre todos los archivos grandes hay unos cuantos de menor tamaño de 500 a 800 mb, que corresponden a 2 o 3 horas de adquisición. El problema es que tampoco puedo abrir estos, solo puedo visualizar adquisición de 15 a 30 min.

En este caso estará pasando lo mismo o que sucede con estos archivos??

Saludos!

[lfelias]

No sabría decirte si es exactamente lo mismo, voy a revisar que otras cosas podrían afectarte, aunque si es muy posible.

Intenta cortar tus adquisiciones a tamaños más manejables, solo es cuestion de continuar muestreando en otro archivo, no tienes ni que parar la adquisición.

Dejame revisar y te comento durante el día!