Thursday, February 04, 2010

Cででかいファイルを処理したいとき

C++のgetlineとかやると即座に落ちてしまう。そこでCのファイルポインタを使って規定の字数をどんどん読んで行く方でやってみたらうまくいった。とりあえず10,000字くらい読んで、データを格納し\nを見たら次の行に行くという感じで、スピード的にも問題ない感じ。でかいというのは今回2000行x115000列、1セルあたり5バイトくらいのデータを読みました。快適な速さだなあ