1 of 14

逸般の誤家庭

一般のご家庭にある自作PCと

Win 10 Proでできる

数十T Byte級データ保管と

クラウドバックアップ術

わっほー☆

ラジオ ちっちゃな雪使いシュガーでパーソナリティー浅野真澄が使っている挨拶

「こんばんわっほー」を真似していたら、いつの間にかHNもわっほーになってました

Twitter : @wahho

#ssmjp 2019/12

年末恒例LT祭り

2019年12月20日

全編、撮影・SNS OK !

2 of 14

なぜ大容量のデータができたか(1)

  • 皆さん、写真や動画のデータどれだけ持ってますか?
  • わっほー☆は2012年よりサンリオピューロランドの年間パスポートを持っていて

みなさんが思っているより

ピューロ男子は多いです

3 of 14

なぜ大容量のデータができたか(2)

  • 写真41万2千枚 - 9.0 T byte
  • 動画385時間 - 4.2 T byte
  • 8年間分で 合計 13.2 T byte のデータがあります
  • これを 逸般の誤家庭 一般のご家庭にある自作PCの単一論理ドライブに接続したいと思います

4 of 14

まずは手元の自作PCに接続(接続元PC)

Tsukumo AeroStream ミドルタワーモデル

CPU : Core i5-2500 (2011年 , Sandy Bridge)

メインメモリ : 8GB + 増設16GB (計24GB)

[拡張スロット]

PCI Express x16スロットx1 (GPU搭載済)

PCI Express x1スロットx2 (空き2) - ここにHDDを接続

PCI スロットx2 (空き2)

画像出典元 :メーカー公式サイト ケースラインナップ https://www.tsukumo.co.jp/bto/help/pc-case.html

5 of 14

まずは手元の自作PCに接続(機器紹介1)

eSATA (6Gbps)x2ポートを増設するカード

(AREA SD-PESA3ES2L) 2枚 約3000円*2

PCI Express x1スロットの空きが2なので2枚です

写真出展元 : AREA SD-PESA3ES2L メーカー公式サイト

https://www.area-powers.jp/product/pcie/sata/pesa3es2l.html

このボードがWindows 10で認識されない時はこちら

https://github.com/wahho/blog/blob/master/20150804-Windows10-install.md

6 of 14

まずは手元の自作PCに接続(機器紹介2)

SATA3.5インチ4台外付けケース

(MARSHAL HDD TOWER4) 4台

約12000円*4台

eSATAが4ポートなので4台です

写真出展元 : MARSHAL HDD TOWER4 メーカー公式サイト

http://www.marshal-no1.jp/products/MAL-3035SBKU3.html

7 of 14

まずは手元の自作PCに接続(接続写真)

全てを繋げるとこうなります

電源ケーブル4本とe-SATAケーブル4本だけで接続でき背面スッキリですね

8 of 14

まずは手元の自作PCに接続(HDD解説)

これで3.5インチHDDを16台接続できます(1台あたり3000円)

ケースそのものにはRAID機能を持たせないので安価です

発熱が少なく、大容量の物が安めで、悪い評判を聞かないWestern Digital Redを主に使用しています

お金があれば 半年ごとぐらいに1台購入することでロットが被らないようにしています

暑い時はHDDケースの前にサーキュレーターを置いています

9 of 14

単一ドライブとして認識させる(1)

Windows 10 の記憶域プール機能を使って連結します

記憶域プールはHDDの容量が違っても良い具合に連結します! (具体的には接続された全てのHDDを256Mbytesのスラブの集合として扱います)

わっほー☆の記憶域プールは、6T*4台+8T*2台+10T*1台=(7台で)50Tbyte が接続されています (普段は上の2つのケースのみ電源が入ってます)

10 of 14

単一ドライブとして認識させる(2)

記憶域プールから論理ドライブを作る際の設定は下記の通りです

  • 双方向ミラー
    • 一つのデータを2つのHDDに保存
  • シンプロビジョニング
    • 実HDD容量に関わらず一般ソフトには大容量のディスクに見せる
    • 実HDD容量の限界が近づくとHDDを増設するようアラートが出る
    • HDDベイがたくさんあるのでHDD追加は楽
  • (重要)記憶域サイズ63.0TiB
    • これによりアロケーションユニットサイズが16KiBになる
    • 最初小さな記憶域サイズにして後で増やそうとするとクラスタ数上限が2^32-1にやられる
    • https://github.com/wahho/blog/blob/master/20150413-Strage-Spaces-Limit.md

11 of 14

単一ドライブとして認識させる(3)

  • Resilient File System (ReFS)
    • ビット腐敗を自動で定期的に検査してくれる、次世代データディスク用フォーマット
    • Windows 10 Pro ver.1709以降ではフォーマットする機能が削除された
    • Win Server 体験版等でフォーマットした後なら認識する
    • 噂によればレジストリを触るだけでフォーマット出来るとのこと

12 of 14

クラウドにバックアップ(方法)

  • AWS CLIでS3を使えるように設定する
    • ここは変更が多い部分なので省略
  • S3にバケットを制作する
    • 念のためライフサイクルに「3日でDeep Archiveにする」を入れる
  • 下記のコマンドを実行
  • 大きな動画ファイルでは失敗する時もあるので2回実行する
  • 最後に手元のファイル数とS3のファイル数が一致すれば完了

aws s3 sync <source> <target> --storage-class DEEP_ARCHIVE

(例) aws s3 sync E:¥2018¥ s3://******-s3-photo-2018/2018/ --storage-class DEEP_ARCHIVE

13 of 14

クラウドにバックアップ(料金)

  • 13T byteを東京リージョンにバックアップして
  • データアップロード+DA格納に約 $40 (初回のみ)
  • Deep Archive月額データ保管料は約 $30 (毎月)
    • 右の画像は先月の請求書($29.07)です
  • データダウンロードはSnowball 50 TBで配送料 $200 + $40 * 13(TB) = $720
    • 実際に試したわけでは無いので予想料金です
    • これでもデータ復旧サービスより一桁以上安いはず

14 of 14

最後に宣伝

  • 切実にお仕事募集中です!
  • 睡眠時間がずれている(入眠時間4時、起床時間12時)障害と、
    • 厳密には毎日似たような時間に入眠して十分な睡眠時間があるなら医療的には障害では無い
  • 問題発見能力が強すぎてそのまま言うと怪訝な顔をされる
  • のとで、過去の職務経歴を使った転職が大変難しくて困ってます。
    • 出社時間自由で伝統企業を取引先にしないオフィス系ネットワークエンジニアで探すと普通に検索結果0件になる
  • なので自社開発で見習いプログラマー雇ってくれる会社募集してます
  • 各種勉強会参加ブログ : https://github.com/wahho/blog
  • AtCoder コンテスト実績(+提出プログラム) : https://atcoder.jp/users/wahho0
  • ご静聴ありがとうございました。