데이터 빠르게 줄이는법 배열 (NX100만)-> (Nx1만) 이 궁금합니다

[femto01]

데이터가 너무많아 용량이 큽니다. 

1*100만 정도면 그냥 쓸수가 있는데 N의 수치가 커질수록 데이터 용량이 GB단위를 넘어갑니다. 

그래서 100분의 1로 줄이고 싶습니다. 

여기서 만개의 데이터를 앞에서 추출하는게 아닌 100의 배수 열만 추출하여 1만개의 데이터를 뽑고 싶습니다. 

배열 삭제나 부분 배열을 이용하면 이를 할수는 있는데 루프의 횟수만 만번이 넘어가며 N이 커질수록 걸리는 시간이 오래걸립니다.

적게는 5분 많게는 1시간 이상 걸리기도 합니다. 

이를 빠르게 처리할수 있는 방법이 있을까요?

[busybboy]

무슨 데이터인지 모르겠지만.. 100만개의 데이터가 N개 만큼 존재한 상태에서 작업하신다면 보통 PC에서 작업하시려면 무리가 있습니다....(N에 100값만 넣어도 제 PC가 버벅입니다....)

질문자께서는 100만개의 데이터를 1만개로 줄여달라고 하셨는데, 좋은 방법이 아닌것 같습니다.

질문자께서 물어보신 질문에서 이미 100만개의 데이터가 존재하는것부터가 에러라는거죠..

솔루션. 무조건 100만개의 데이터가 한번에 샘플링될 경우.. 제 지식으로는 PC사양을 올려야할것 같습니다. 

한번에 데이터를 취득하는게 100만개가 아니라 100만개가 될때까지 모아두었다 한번에 가져오는 방식이라면, 모으는 과정에서 변경하는게 좋아보입니다.

저도 이게 맞나 싶내요. 한번 참조해주세요. 화이팅입니다!

[femto01]

저도 나눠서 데이터를 만들고 싶지만 

데이터를 제가 만드는게 아니고 장비에서 주는 데이터를 제가 처리 하려고 하는데 

장비에서 백만개의 데이터를 줘서 방법을 찾고 있습니다. ㅜㅜ