Blog

Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學

Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學

面對龐大資料需從地端或第三方遷移至 Google Cloud Storage 時，如何才能將資料快速移轉，並確保其可靠與安全性呢？這次就來認識遷移的強大工具 Storage Transfer Service，掌握其 3 大優勢與搬遷上雲的實作教學吧！

Storage Transfer Service 是甚麼？

Storage Transfer Service 是 Google Cloud 提供給客戶進行資料備份或是資料遷移的一項解決方案，能幫助您轉移本地或是在第三方雲端 （Amazon S3、Azure Storage）儲存的大量數據到 Google Cloud Storage。

Storage Transfer Service 3 大優勢

  • 安全性：Storage Transfer Service 使用端對端的加密，資料傳輸時使用 HTTPS 連線並使用 TLS 1.3加密，確保數據在傳輸過程中的安全性。
  • 可擴展性：Storage Transfer Service 可以處理 PB 級資料並透過資料完整性驗證確保數據在轉移過程中不會受損。
  • 方便管理：作為一個全代管式服務，用戶無需擔心基礎架構管理或編寫程式碼，對於經常更新的資料可以安排傳輸定期運行，適合沒有人員或預算來處理大規模資料所需技術的小型企業。

地端搬遷上雲實作步驟

今天要介紹的實作範例為「地端搬遷上雲」，基於代理（Agent）方式完成，其架構採用多線並行（Highly-parallelized）傳輸方式，提高傳輸速度，並支援自動重試及負載平衡，為搬遷帶來了更高的可靠性與選擇。
本次將使用兩個專案來模擬地端與雲端，示範使用 STS 服務將地端主機內檔案上傳至雲端。

步驟一：啟用 API

Storage Transfer Service 代理程式是在 Docker 容器內運行的程式，僅支援在 Linux 環境下運行，在建立檔案系統轉移作業之前，您需要啟用所需的 API（Google Storage Transfer API 以及 Pub/Sub API）並安裝 Docker。

0307-1_Storage-Transfer-Service-介紹—3-大優勢與地端搬遷上雲實作教學
截圖自：Google Cloud 產品頁
©2024 Google

地端搬遷需要透過 Transfer Agents 與 Agent Pool 連線來實現，因此我們需要先建立Agent Pool，同時也可以在這個頁面設定頻寬限制。

透過 Console 前往 Storage 移轉服務頁面 ：點擊代理程式集區，並建立集區，輸入 ID 與顯示名稱，最後點擊建立。

0307-2_Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學

截圖自：Storage Transfer Service 產品頁
©2024 Google

步驟三：安裝 Docker

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker

步驟四：安裝並起用代理

Docker run 指令會安裝一個代理程式。如果需要增加 Agent pool 中的代理程式數量，請根據需要重複執行此命令數次。
安裝代理程式時，您可以選擇使用 gcloud 預設憑證或服務帳號進行驗證。
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

然後，使用以下命令安装代理

sudo docker run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v PATH/TO/KEY.JSON:PATH/TO/KEY.JSON \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/transfer_root/PATH/TO/KEY.JSON
--hostname=$（hostname） \
--agent-pool=POOL_NAME
選項和標誌

請將上述範例中的變數替換為以下資訊：

  • HOST_DIRECTORY：是要從中複製資料的宿主機目錄。您可以使用多個 -v 標誌指定將本機目錄與 container 內的其他目錄做掛載綁定。
  • CONTAINER_DIRECTORY：是映射到代理容器內的目錄。該目錄必須與HOST_DIRECTORY 相同。
  • PROJECT_ID：是託管轉移作業的專案 ID。
  • POOL_NAME：是要在其中安裝代理程式的代理程式池的名稱。如果您省略此標誌，則代理程式會安裝到專案的 transfer_service_default 池中。
 

步驟五：確認 Agent 狀態

此時回到 Cloud Console Storage 轉移服務頁面的代理程式集區，應該可以看到連線狀態為「已連結」。

0307-3_Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學

截圖自：Storage Transfer Service 產品頁
©2024 Google

前往 Coogle Cloud console Storage 轉移服務的頁面，點選建立移轉工作，選擇來源類型 POSIX 檔案系統，目標為 Google Cloud Storage 接著點選下一步。

0307-4_Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學截圖自：Storage Transfer Service 產品頁
©2024 Google

此時選擇已有連線的代理程式集區，並將來源目錄路徑（需從根目錄開始）貼上 ，點選下一步。0307-5_Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學

截圖自：Storage Transfer Service 產品頁
©2024 Google

選擇目的地 Storage 值區或是內部資料夾。

0307-6_Storage Transfer Service 介紹—3 大優勢與地端搬遷上雲實作教學截圖自：Storage Transfer Service 產品頁
©2024 Google

結論

Google Cloud 的 Storage Transfer Service （STS） 為用戶提供了一個強大且靈活的數據轉移解決方案，尤其適用於大規模數據遷移場景。使用 STS，我們可以安全、高效的從多種來源轉移數據至 Google Cloud Storage，還可以通過 Cloud console 輕鬆管理轉移作業、設定轉移計劃和監控執行狀態。

這次介紹了Storage Transfer Service 服務的 3 大優勢、實作教學等完整流程。各位如果有任何 Storage Transfer Service 服務上的疑問，歡迎聯絡 Cloud Ace 獲得更進一步的資訊。

▋延伸閱讀：

Cloud Ace 研討會主頁

Tags: ,

發佈留言