2021.08.03 の日記:私メリーさん、今あなたのPCに入ってる画像ファイルを全て非圧縮にしたの

最近のUSBメモリは突然PCから引っこ抜いても問題ないらしい。

参考:Microsoftが「ハードウェアの安全な取り外し」を行わなくてもUSBを取り外してOKと認める - GIGAZINE

最近のUSBメモリは、というか最近のWindowsでは、の間違いだな。

しかし突然引っこ抜いても大丈夫な仕組みにはなったけど、その影響でファイルのコピーなどのパフォーマンスが遅くなっているらしい。最近、訳あって2TB強のデータをHDDからHDDにコピーする用事があったのだけど、丸3日以上かかってしまった。そもそもデータがデカいのでわかりにくいが、めちゃくちゃ遅い。7MB/sくらいである。普段使う程度のサイズのファイルをコピーしているときは不都合は感じないけど、ここまで大きいデータだとかなり困ってしまう。

もう1つ同じくらいのサイズのデータセットがあって、こちらもこれからコピーしなければいけない。どうにか早くできないかと思って調べていたら取り外し時のセーフティーを犠牲にしてパフォーマンス重視の設定にできるらしい。

f:id:a15151595:20211118183631j:plain

これがデフォルトでクイック取り外しになっているのだが、高パフォーマンスにして書き込みキャッシュを有効にすると良いらしい。

設定を変更して試しにファイルをコピーしてみると、かなり早い。最大速度で80MB/s、平均で50MB/sくらい出ている。残り1.4TBくらいあるが7時間程度で終わる予定である。

代償として軽はずみにHDDを引っこ抜くとデータが破損して巡り巡って桶屋の頭上に隕石が降り注ぐことになるので注意しなければならない。


メインで使っているPCは元々1TBのSSD (Cドライブ) と2TBのHDD2つを積んでいるのだが、今はさらに4TBの外付けHDDが5つ刺さっているので合計で25TBの記憶容量があることになる (Kドライブまである (内1つは仮想ドライブ))。25TBあったら理論上はグレースケール255階調2000*5000ピクセルうまい棒を撮影した非圧縮画像ファイルが250万枚保存できるぞ (意外と少ない)。

普段はあまり意識する機会がないけど非圧縮の画像や動画ファイルは信じられないくらいサイズがデカい。画素値をcsvファイルで保存するとファイルサイズにマジでビビる。いやまあcsvファイルとして保存する意味はほとんどないのだが……

それはともかく圧縮技術スゴすぎ。暇なときに調べよう。

参考:画像圧縮 - Wikipedia


扱うデータが増えるとバックアップが大変である。

今はまだ数TB程度のデータで済んでいるが、年齢を重ねるごとに保存すべきデータは累積していき、しかも累積速度も上がっていく中で定期的にバックアップを取り続けなければならない。定年になるころ (職に就いていたらの場合) には何TBのデータを抱えているのだろうか。何PBかもしれない。

意外と一回りして、大抵のデータはすごく丈夫な紙に保存して定期的なバックアップはしないようになっていたら面白い。

紙 (例えば) にデータをバックアップするときの効率的なアルゴリズムの研究とかあるのかな (一般的な形としては絶対あるが)。たとえばwordでは余白や文字サイズなどデフォルトの設定でA4用紙1枚に2700桁くらいの整数を書くことができるので3KBくらいの情報は少なくとも保存できる。これが10進法ではなくてもっと大きい進法だったらそれだけ保存できるデータ量は増える。数字などの文字の代わりに255階調のRGBで表された色を使った色進法、まあ言ってしまえば約1600万進法でなら約21KBまで増える……いや意外とキツいな。まあたぶん未来ではデータを読み取る手法もすごく発展しているはずなので胡麻のようにびっしり紙を埋め尽くしたカラフルなQRコードも正確に読み取ってくれるのだろう。