6TBの一般Google Driveを法人Workspaceに移す地獄を経験した話
とある企業様のYoutubeチャンネルM&Aに携わった時、M&Aした側のYoutubeチャンネル制作と運営がほぼGoogleドライブで、その容量6TBという膨大に蓄積されたデータを買い取った側の企業のGoogleWordSpaceのGoogleドライブへ転送させなければならないという仕事をしたことがあります。
その時の地獄のような経験を体験談として記載しました。
そしてタイトルにある「超爆速GoogleDrive間転送構想」。この話も最後にお話したいと思います。
そして地獄はここから始まった。
GoogleDriveは様々な人達が様々な目的で使用している大変便利なサービスだと思います。
ただ、その中身を誰かに譲渡しようと思うと、一般のGoogleDrive間だと「権限譲渡」これだけで終わりなのですが、企業相手だとそう巧くはいかないのです。
・GoogleDriveからGoogleWordSpaceのGoogleDriveへは権限譲渡によるファイル移行が出来ない。
・GoogleDriveからGoogle Takeoutでダウンロードして、GoogleWordSpaceのGoogleDriveへアップロードするとファイルが別の物になってしまう(word形式,Excel形式など)
・AppscriptはJSONファイルになって使い物にならない
その上、下記のようなGoogle自体の制限も加わります。
| 項目 | 制限値（個人アカウントの場合） |
|---|---|
| 1ファイルの最大サイズ | 750GB/日（1日あたりの合計アップロード量） |
| 1日のアップロード総量 | 750GBまで（複数ファイル合計） |
| 1日のアップロード件数 | 明確な件数制限はなし（容量制限が優先） |
| ファイル形式制限 | 一部の実行ファイルやマルウェアは不可 |
| 容量上限 | Googleアカウントのストレージ契約容量まで |
これを、現在動いている運用を行いつつ、迅速に正確に行わなければならないという非常に無茶難題を課せられたことがあります。
一般のGoogleDriveの場合はクラウド上にストレージがあって保存するというよりは、HDDとGoogleDriveを同期させ、クラウド上からもアクセス出来るという性質を考えると、データ全てを外付けHDDに保存して送付してもらうのが一番手っ取り早いのですが、M&Aした契約内容もほぼ分からない状態(教えて貰えない)状態、加えてM&Aの先方もデータの受け渡しに関しては共有するだけで非協力的という、これどうすりゃいいのよ状態だった為、非常に困った経験が過去にありました。
ここまでの内容をまとめると･･･
無茶だったポイント
1.技術的制約の多重ロック
・権限譲渡不可 → Google公式の移行手段が使えない
・ダウンロード→アップロードでファイル形式が変わる（Office系・Apps Script破損）
・Googleの1日750GB制限 → 6TBなら理論上でも最低8日以上かかる
・並列アップロードやAPI利用でも制限回避は困難
2. 運用条件の厳しさ
・「現在稼働中の運用を止めずに」＝移行中もデータ更新が発生する可能性
・M&A契約内容が不明 → 法務・権限・責任範囲が曖昧
・先方が非協力的 → トラブル時の代替手段や確認が取れない
3.現実的な代替案が封じられている
・外付けHDDでの物理受け渡しが最短だが、それも契約や協力体制の不備で不可
・専用移行ツール(Google Workspace Migrate)も一般GoogleDriveーGoogleWordSpace間では使えない
私もGoogleDriveは使用したことはあるもののあまり使った経験は無く、特にGoogleWorkspaceは未経験、かつドライブ間転送となると全く未知な領域でしたので、1日～2日で試行錯誤しながら、上記のようなGoogleDriveの制限情報を得て、ちょっと難しいのでHDDで貰うようにした方が良いという旨を提案したのですが、上記の曖昧な態度、そして簡単に出来るはずだという謎の机上の空論でこちらの説明は全く理解も聞き入れても貰えませんでした。
そりゃ、FTP間でFXPさせられるんだったら話は別ですよ。それだったらすぐ終わるでしょう。それが出来ないって話なんですよね。ひょっとすると理解してしまうと困るからだったのかもしれませんね。
一番ネックになったのはAppScript
これが一番ネックで、単純にファイル移動だけだったら、確かにGoogle Takeoutでダウンロードして、GoogleWordSpaceのGoogleDriveへアップロードするだけで良かったかも知れません。但し、GoogleDriveの制限は1日750GB。加えてAppscriptはJOSN化･･･。
そして加えて、Google Takeoutでダウンロードには強制ZIP分割化されてしまし、最大50GB/ZIP（設定によっては2GBや10GB）で分割される、大容量ダウンロードの場合は、Google側で帯域制限がかかるという特徴があります。
また、GoogleDriveから複数の分割されたZIPをダウンロードしてそのZIPを解答し、GoogleDriveと同じようなディレクトリ階層構造をローカルで構築した上で、元一般GoogleDriveと同じようにGoogleWordSpace上にディレクトリ階層構造を作った上で、アップロードしなくてはいけません。
現場ベースでの作業工数計算（実効速度 20MB/s想定）
・750GB = 768,000MB
・768,000MB ÷ 20MB/s = 38,400秒 ≒ 約10.6時間（ダウンロードのみ）
・アップロードも同様に制限がかかるため、合計21時間/日が必要
・しかもZIP展開・確認・再試行などを含めると、1日1セットは現実的に厳しい
※この作業だけを行うことに集中できる場合に限る
※実際には 1日500GB程度が限界
※6TBなら片手間ではなくこの作業だけをやるとして最低12〜14日かかる予測
| 作業 | 所要時間（目安） |
|---|---|
| ZIP分割DL（750GB） | 約10〜12時間 |
| ZIP展開・確認 | 約2〜3時間 |
| アップロード（750GB） | 約10〜12時間 |
| 合計 | 約24〜27時間（1日では不可能） |
解決柵として見つけたMultCloudだったが･･･
フォルダ構造を保ったまま直接転送できるのが売りだった「MultCloud」を発見し、サービス契約を行い使用してみたのですが･･･。
確かにGoogleDriveとGoogleWordSpaceの壁を越えてGoogleWordSpaceのDriveには転送出来る物もありました。しかし･･･ディレクトリ内の複数有るファイルの中で、大容量数GB超の動画ファイルが加わっていると、転送が途中で止まってしまうのです。
今何を転送させて、どこまで進んだかという進捗を見られる仕組みはあるのですが、1回止まってしまった後だとその続きが行えません。つまり中途半端な転送状態で止まってしまい、結局1からやり直すハメに･･･。これも6TBでしかも多重ディレクトリ化と深くまで作られているDrive構造だった為だと思います。単純な構造であれば、MultCloudでも成功していたのかもしれません。
ここで起きた問題
1.Google Drive APIのタイムアウト
・API経由の単一リクエストは一定時間でタイムアウトする
・MultCloudではこの再開処理が不安定だった(タイムアウト明け後に再開するが再開出来ず)
2.Google側の帯域制御
・大容量ファイル転送時、Googleが自動的に帯域速度制限をかける
・ファイル転送時、Googleが自動的に帯域速度制限をかける
・特に動画や圧縮ファイルはスキャン処理が入るため、転送開始が遅れる
3.クラウド間直結でも「物理的距離」の影響
・サービスの中継サーバーが海外にある場合、レイテンシが増えて安定性が落ちる
もう短期で終わらせるにはGoogleDriveAPIしか無いでしょう･･･
仕組みはMultCloudと多分同じだと思いますが、MultCloudは使いやすさはあったけど、困った時の対応策が無かったのです。
そこでGoogleドライブ、コピー、転送、APIなど様々なワードを駆使して検索したところ、いくつかのサイトで同じような構造を説明してくださってた方々(どのサイトを見たのか失念してますが💦)がありまして、GoogleDriveAPIのツールにて無事転送を完了させて任務終了したのですが、やはり問題は発生するもので･･･
ここで起きた問題
1.Google Drive APIのタイムアウト
2.Google側のダウンロード帯域制御
3.Googleの1日750GB制限のDL/UP制限
4.WorｋSpaceGoogleDrive側のダウロード制限
これのどれかで止める事がありました。特にGoogleDrive側のアップロード制限は元ドライブで運用を継続しながらでしたので少し焦りましたが、問題は微少で解決柵もすぐ見つけられたので助かりました。
別の話も含めて2つの一般GoogleDriveから、GoogleWordSpaceのDirveへと約8TB分を約1ヶ月と数日で転送させることに成功いたしました。
ここまでが私が地獄を見た内容になります。
GoogleDriveからGoogleWorkspaceのGoogleDriveへの高速転送とは？ STARGATE：EXODUSプロジェクト
当時のことを懐かしくも苦々しくも思い出すのですが、知識と経験が増えると、あっさりそれを越えてしまう事があるんですね。それがこの超爆速GoogleDrive間転送構想なんです。
上記に記載した通り、この2つのGoogleDrive間には大きな壁(問題)がいくつも存在しており、それを解決するには膨大な時間とそこに費やすお金(賃金や報酬など)が必ず発生するものです。
大げさに好きな海外ドラマ(映画)の星間移動装置であるSTARGATEや、2025年に米国で発表された、史上最大規模のAIインフラ構築計画のSTARGATEの名前にちなんで、STARGATE：EXODUSプロジェクトと名付けました。
つまり今まで試した全てを無にした上で、一気に転送が行えるという技術を発見しました。
試しに私が持ってるGoogleDriveのデータを別のGoogleDriveへと移行させたのですが数GBではあるものん、問題無く転送させることが可能でした。
とは言え、かなりニッチなサービスかもしれませんが、この高速転送をサービスとして提供しようと思います。上記と同じような転送が「通常2週間〜3週間かかる作業を、数日間で終わらせる」計算です。
このサービスで提供するのは、単なる転送サービスではなく、「工数削減」、「運用停止僅か」、「セキュリティ担保」も含まれております。
ぜひお問合せからご連絡ください。お待ちしております。
ポチップ
ポチップ
