高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行瞭，造卡車運數據幹嘛用？
抱著精明的企業傢一定不會做賠本生意的想法，筆者收集的瞭一些數據，也做瞭一些測算。發現，這個世界真的有太多我們意想不到的東西。
背景介紹：在拉斯維加斯 re：invent 年度技術大會上， 亞馬遜雲計算（以下稱 AWS）將一輛 45 英尺長的卡車開到瞭舞臺上。這是一輛專門為 EB 級數據傳輸而定制的 AWS SnowMobile 數據傳輸車。
首先是數據。還記得買第一個 4GB 優盤時那個高興勁兒，覺得它能裝下整個世界。直到後來才發現，人傢某公司一張圖片就 16GB，我這 U 盤，能裝四分之一 …… 那麼，現在數據量究竟有多大？簡單來說，就是你想象不到的那麼大！
在進入信息時代後，人類每天瀏覽的數據量不斷增加，從人聯網到物聯網，數據呈指數級上升，進而產生的數據量空前龐大。據統計，每位互聯網用戶日平均流量約 1.5GB，而在物聯網時代，一輛無人駕駛汽車每天產生 4TB 的數據量，一傢智能制造工廠每天將產生 1PB 的數據量，而一傢雲視頻供應商每日數量可達 750PB。
如果你還沒有概念，筆者可以跟大傢打個比方：1EB=1，024PB=1，048，576TB=1，073，741，824GB≈2.5 億張 DVD≈ 1 萬億冊 400 頁厚的書 ……
科普 TIME：1EB=1，024PB=1，048，576TB=1，073，741，824GB。即，10 億 GB=1EB；7 億 5 千萬 GB=750PB。
除瞭數據量之龐大超出想象外，第二個沒想到的是：現在的網速太慢瞭，我們還在互聯網初期 ……
21 世紀的光纖能否打敗 20 世紀的卡車？
雖然如今移動網絡從 2G 過渡到 4G，傢庭網絡從幾兆發展到幾十兆甚至百兆，企業專線網速甚至會更快，但是在 PB 和 EB 級數據面前，光纖還是 " 龜速 "。
跟大傢講一個真實的故事。有一天，一個大學同學讓我給她傳外教薩沙的資料。因為有很多視頻，所以兩年的資料將近 100GB，我們用網絡傳輸瞭不少於 5 次，都沒有成功，後來我借瞭一塊移動硬盤，腿兒著給她送瞭過去 …… 沒錯，相比光纖，還是跑步來的靠譜。
而接下來的測算，將告訴我們，相比腿兒著來，快遞小哥更專業，相比快遞小哥， 亞馬遜造卡車運數據還真是個聰明的選擇。
PK 光纖？快遞小哥笑瞭
結果：如果在 100M 帶寬的網速下，當數據超過一定的大小時，通過網絡傳輸往往不如直接快遞硬盤來的方便。例如，當你數據大於 35GB 的時候，在北京市內通過快遞的則較快速，如果大於 100G 的數據，那麼隻要是在國內，快遞都要比網絡傳輸的要快。
快遞小哥，你贏瞭
論證：以北京聯通為例，百兆光纖傢庭用戶由於受到上行速率限制，100 兆光纖下行速率 100Mbps，上行速率 4Mbps。即點對點理論傳輸數值為 0.5m/s，如果加上線路上的一些損耗，平均 0.4m/s 的傳輸速度差不多。以一塊 1TB 的普通硬盤為例，一塊硬盤相當於 1024M×1024G=1048576M 數據。如果一塊硬盤通過網絡傳輸那麼就需要 2621440 秒，換算成分鐘則為 43690 分鐘 ≈728 小時 ≈30.3 天的時間。
聯通傢庭寬帶上行限制（圖片來自聯通官網）
30.3 天的時間才能夠傳送一塊普通硬盤的內容，這還是在網絡保持通暢，不發生任何意外的情況下。
如果你是在北京市裡，即使你是從南三環到北五環，相信一天的時間，快遞小哥們也能夠將這塊裝有 1TB 數據的硬盤放在你的面前。而如果采用網絡傳輸一天（24 小時）也大約隻能夠傳輸 33.75GB 左右的數據。即使你不在北京市裡，哪怕在遙遠的廣州，如今的快遞行業運輸的非常快，兩天或三天的時間也是足夠瞭。
速度對比
從上表中我們可以看到規律，隨著傳輸的數據越來越大，通過網絡傳輸的時間越來越多，而快遞運輸的時間則甚至沒有增加。如此，我們可以推測出一個結論：越大的數據越應該脫離網絡進行物理搬運。所以，是不是當遇到 1EB 的數據傳輸，重卡應該會超越快遞？
用卡車運數據 我們是認真的
結論：前面的論證說明，當數據達到 TB 級時，快遞運輸明顯優於網絡傳輸；但是考慮到暴力快遞等因素，快遞運輸硬盤存在一些安全隱患。尤其在面對 EB 量級的數據時，造輛卡車運數據，真心不是開玩笑。也就是說，在當前的技術下，1EB 的數據通過網絡傳輸需要 27 年才能完成，而十輛 45 英尺長（約 14 米）的重卡集裝箱，每輛 100PB 裝滿需要 12 天，1EB 數據可以在 6 個月內完成傳輸。
論證：不同於傢庭網絡，大量級的數據往往出現在企業之中，體現在物與物的鏈接中。所以我們參考 10Gbps 網速的專網來進行測算，10Gbps 專網的理論傳輸數值約為 1.25GBps。1EB≈1,073,741,824GB，所以傳輸 1EB 數據的時間約為：1,073,741,824GB/1.25GBps≈858,993,459 秒 ≈14,316,557 分 ≈238,609 小時 ≈9,942 天 ≈27 年。
1EB 的數據在企業專網中，需要 27 年才能完成傳輸，這也是在網絡保持通暢，不發生任何意外的情況下。
AWS Snowmobile
為瞭解決這個問題，AWS 提出瞭一種開掛的方法：網速不夠，卡車來湊！當然這不是普通的卡車，為瞭確保數據安全性 AWS 研發瞭一種 45 英尺長的集裝箱重卡 AWS Snowmobile 完成數據傳輸。
據瞭解，AWS Snowmobile 是一種用於將海量數據移動到 AWS 中的 EB 級數據傳輸服務。一個 45 英尺長、9.6 英尺高、8 英尺寬海運集裝箱，由一臺半掛卡車牽引，一次可以傳輸高達 100PB 的數據。Snowmobile 可以將海量數據輕松移動到雲中，可以實現視頻庫、圖片存儲庫，甚至整個數據中心的遷移。
AWS re:Invent 2016，把卡車開上舞臺
另外，為瞭保證數據安全，AWS 不但使用瞭 256 位加密的密鑰（密鑰由 AWS 密鑰管理服務管理），提供溫控和防水技術，還為 Snowmobile 配備瞭專業安保人員和安全車輛組成的專業護送車隊，並配備全天候視頻監控、警報監控和 GPS 追蹤。防護等級絲毫不遜於任何其他押運模式，果然，在信息時代，數據才是未來石油。
EB 級數據傳輸 客戶：我很滿意
我們現在可以得出結論，GB 級數據可以考慮通過網絡傳輸，TB 級數據需要快遞運輸，而如果你有 PB 或者 EB 級數據，那還是選擇集裝箱重卡吧！畢竟，有時候太復雜的東西，反而需要用最簡單的方法來解決才最有效。
但可能有人提出質疑：我們常見的社交數據、視頻數據都是有 " 保質期 " 的，一般過瞭三個月後，復用率很低，所以企業都會直接做冷處理。那麼，PB、EB 級數據傳輸，真的有必要嗎？
答案是肯定的。而且亞馬遜這個 45 英尺的大卡車，在今年 6 月就已經完成瞭一次 100PB 的數據傳輸實戰。
DigitalGlobe 公司磁帶庫
這傢公司叫做 DigitalGlobe，從 2001 年發射第一顆衛星 QuickBird 起，DigitalGlobe 就負責 24*7*365 的收集地球的圖像，隨著新的衛星不斷加入和圖像分辨率的不斷提升，DigitalGlobe 手機的圖片所占用的存儲空間越來越大。例如 WorldView-3 衛星收集的一張圖像可能就達到 30GB。在十幾年的積累後，如今這傢公司的數據存儲量已經高達 100PB，同時還在以每年 10PB 的速度不斷增長。
毫無疑問，這些數據對科學研究有著重要價值，也是人文、歷史、科學、生物、工業等學科的資料和依據。但是我們都知道，數據的存儲與維護的費用十分高昂，隨著雲計算技術不斷成熟，這傢公司開始將數據搬到瞭公有雲上，而此時，PB 級的數據傳輸問題就成為瞭瓶頸：數據需要在能夠快速調取的情況下（熱狀態下）實現快速遷移。
Snowmobile 數據傳輸
於是，亞馬遜將一臺 Snowmobile 停在瞭 DigitalGlobe 科羅拉多州威斯敏斯特的總部，連接上一臺交換機和多條 40Gb/s 速率的網絡，以 1 Tb/s 的速率傳輸數據，實現高速數據交換能力，在這種環境下，每輛 Snowmobile 的數據傳輸需要 12.13 天。終於，DigitalGlobe 在今年第一季度成功遷移瞭 5400 萬個文件。
對此，DigitalGlobe 公司基礎設施與運營副總裁 Jay Littlepage 評價說：" 利用 Snowmobile 強大的數據傳輸能力，我們得以越來越快地將影像歸檔導入至 AWS 端，這使得我們的客戶及合作夥伴能夠快速獲取海量數據集 ……Snowmobile 已經成為真正的遊戲規則改變者！"
如此看來，100PB 的文件傳輸已經有瞭成功案例，而且 Snowmobile 的實際應用者還說 " 這次數據傳輸已經使出洪荒之力瞭，我很滿意！"
敗北：光纖追不上數據增長速度
進入信息時代，我們常說 " 數據量呈指數級增長 "，此言非虛。根據最新的研究顯示，到 2022 年，全球攝像頭總量將達到 44 萬億部。在五年之內，一部智能手機可以運行 13 個攝像頭，能夠拍攝 360 度 3D 視頻，創建復雜的增強現實圖像 …… 在這些改變的背後，無論是數據數量，還是單個數據的大小都將暴增。
速度對比
過去一部 MP4 電影幾百 MB，如今一部 4K 電影需要幾百 GB，那未來是不是一部全息電影需要幾百 TB 的空間？
也就是說，盡管帶寬級別在不斷增加，但是，數據量級也在同步增加，光纖追不上數據增長的速度，用光纖來點對點傳輸 PB 或 EB 級的數據無異於愚公移山，未來物理搬運數據還會是必須。
