本文轉載自微信公眾號 ChainNews ( ID:chainnewscom ) ，作者：老鏈哥，極客公園已獲轉載授權，轉載請聯系出處。
Claude Elwood Shannon，人稱香農，美國數學傢、電子工程師和密碼學傢，被譽為信息論的創始人，與愛因斯坦、牛頓智力相當。但你可能不知道的，愛迪生 Thomas Alva Edison 是他的遠房親戚，他的親祖父發明瞭洗衣機和許多農用機械。
1916 年 4 月 30 日，Claude Elwood Shannon 香農出生於美國密歇根州 Gaylord 鎮。他從小便對於密碼學感興趣，尤其喜歡愛倫 · 坡的短篇小說《The Gold Bug》中文譯作《金甲蟲》，解碼一張神秘地圖，英雄找到瞭寶藏。
Claude Elwood Shannon，1916-2001，被認為是有史以來最偉大的電氣工程英雄之一，攝影：Stanley Rowin
他最著名、最具影響力的論文莫過於「A mathematical theory of communication」，是信息論的奠基之作，精確地定義瞭信源編碼、信道編碼等概念。然而，這篇恢宏巨作，當年也被拒過稿。審稿者的回復大致是：電報都出現過百年瞭，沒什麼要繼續突破的，勸作者去嘗試研究下剛出現沒多久的電視機。
Confidential comments to the editor:
The only thing absolutely wrong with this paper is that it doesn't quite "resonate" with what the research community finds exciting. At any point, there are sexy topics and unsexy ones:
These days, television is sexy and color television is even sexier. Discrete channels with a finite number of symbols are good for telegraphy, but telegraphy is 100 years old, hardly a good research topic.
否掉「通信的數學理論」的審稿者回復
其實我們一直生活在 Claude Elwood Shannon 信息論的影響中。但有沒有想過，你真的瞭解 information「信息」麼？你也許通過比特幣 Bitcoin 知道瞭 bit，或者早就聽說過 bit，但知道 bit 是信息的最小單位麼？
香農與圖靈，人工智能的設想
二戰期間，Claude Elwood Shannon 加入貝爾實驗室，研究火力控制系統和密碼學，相關課題直屬國防研究委員會領導。
在貝爾實驗室，他與信息技術史上另外兩位先鋒人物 Barney Oliver、John Pierce 保持著良好關系，因為與他欽佩的高智商、創造力的人圍成一圈，香農受益於這樣的過程，愈發變得聰明，和更有創造力。也可見，Claude Elwood Shannon 對友誼的態度主要集中在內容上，而不僅是關系上。
Claude Elwood Shannon 在貝爾實驗室
1943 年，英國數學傢、密碼學傢阿蘭 · 圖靈到華盛頓和美國海軍交流破譯德國北大西洋潛艇艦隊密碼的成果，曾造訪貝爾實驗室。二戰期間，圖靈與香農二人都是負責通信加解密的工作。
期間，圖靈與香農進行瞭生動的知識交流，討論到人造思維機器的設想，接近今天我們所說的人工智能。圖靈向香農介紹瞭通用圖靈機的概念，香農則告訴圖靈，他不僅滿足於向這臺「大腦」裡輸入數據，還希望把文化的東西灌輸進去。這一不可思議的想法，連圖靈都被震驚到。
圖靈比香農年長 4 歲。
信息，從 intelligence 至 information
「信息論」information theory，即研究「信息」的理論。信息極大地釋放瞭人類的能量，它所創造的價值超過瞭之前五千年的財富總和，但「信息」依然是大傢耳熟能詳卻又含義模糊的詞。
Claude Elwood Shannon 信息論的偉大貢獻在於，可以用數學公式嚴格定義信息的量，反映瞭信息表達形式在統計方面的性質。
在 20 世紀早期，信息的載體隨處可見，信件、電話、聲音和圖像，信息在全球川流不息地流動著。據美國人口普查局統計摘要，截至 1948 年，美國每天有 1.25 億次的通話要經過貝爾系統 2.22 億公裡的有線電纜和 3100 萬臺電話機進行傳輸。此外還有 3186 傢無線電廣播臺、15000 傢報社及 4000 億封信件。
如此多的信息流動，信息又該如何衡量？郵局可以計算信件和包裹的數量，但貝爾系統傳輸的信息，該用什麼單位計數呢？當時沒有一個詞能夠精準地概括所有這些東西。Claude Elwood Shannon 在 1939 年寫給 Vannevar Bush 的信件中提到，他時斷時續地在研究信息 intelligence 一般系統的某些基本屬性。
說到 intelligence 一詞，Thomas Elyot 爵士在 16 世紀總結過，「Intelligence 是一個文雅的說法，表示通過相互交換信件或者口信達成協議或者約定」。但現在我們所指的信息，與當時所說的 intelligence 出入越來越大。
1948 年 7 月貝爾科研期刊，C. E. Shannon「通信的數學理論」
後來，一些貝爾實驗室的工程師開始更多地使用 information 一詞，用於表達一些技術性的概念，如信息的數量、測量等。Claude Elwood Shannon 身為其中一員，在後來「信息論」中也采用瞭 information 這個詞。自此，information 逐漸成為瞭主流。
回溯從前，當物理學的發展遇到瞭瓶頸，牛頓也是將一些傳統但又定義模糊的詞匯，如力、時間、質量等重新定義，讓物理學開始瞭一個新的時代。也正是牛頓把這些詞加以量化，和放在數學公式裡。
那麼，如何把信息放進數學公式裡？
信息單位「比特」Bit 被定義
通信學科是最早系統性地研究信息理論的學科，在信息論被提出之前，數字通信發展的一些大事件：
1837 年，Morse：有線電報；
1875 年，Emile Baudot：定長電報編碼；
1924 年，Nyquist：給出瞭給定帶寬的電報信道上無碼間串擾的最大可用信號速率；
1928 年，Hartley：在帶限信道中當最大信號幅度 Amax，幅度失真為 Ad 的條件下存在一個可靠通信的最大數據速率；
1939-1942 年，Kolmogorov 和 Wiener：最佳線性 Kolmogorov-Wiener 濾波器；
1947 年，Kotelnikov：基於幾何方法的各種相幹解調。
1948 年，貝爾實驗室：研發出小型電子半導體器件「晶體管」transistor；Claude Elwood Shannon 發表專題論文《通信的數學理論》「A mathematical theory of communication」。
出奇簡單的「晶體管」設備，比真空管效率更高，體積更小，更容易集成。「晶體管」transistor 的名稱，由 transconductance（跨導）和 varistor（壓敏電阻）兩個單詞合並而成，沿用至今。貝爾實驗室表示，「晶體管」將對電子和電信行業產生深遠影響。此後，晶體管引發瞭電子技術的科學革命，半導體技術微型化和開始普及。但這隻是這場電子行業革命的硬件部分。
「晶體管」transistor 發明者 Wiliam Bradford Shockley、John Bardeen、Walter Brattain 三人獲得瞭 1956 年諾貝爾物理學獎
同樣在 1948 年，Claude Elwood Shannon 一篇專題論文《通信的數學理論》「A mathematical theory of communication」價值可能更加巨大。論文的唯一作者，當年 32 歲的 Claude Elwood Shannon 自行定義瞭一個新的單詞—— bit「比特」。
Claude Elwood Shannon 認定，信息是和長度、重量這些物理屬性一樣，可以測量和規范。如今，比特作為衡量信息多少的單位，與公尺、千克、分鐘一樣，成為日常生活中的最常見的量綱之一。
用 bit 作為量綱衡量後，人們發現信息幾乎無處不在。比特 bit 的出現在後來引領瞭電腦、網絡、摩爾定律，和如今發達的信息產業、比特幣與區塊鏈。
同時，Claude Elwood Shannon 提出用信息熵 entropy 來定量衡量信息的大小，並為信息編碼提供瞭理論上的最優值。
他從理論證明：隻要通信速率低於信道容量，總可以找到一種編碼方式，使得誤差概率接近於零。而信道容量可以通過香農公式，依信道的帶寬、噪聲特征簡單地計算出來。這結論震驚瞭整個通信理論界，自此開創瞭「信息論」這門偉大的學科。
獨輪車上的 Claude Elwood Shannon
密碼從藝術轉變為科學
1949 年，Claude Elwood Shannon 基於 1945 年他在貝爾實驗室完成的機密報告「A Mathematical Theory of Cryptography」公開發表瞭《保密系統的通信理論》一文，開辟瞭用信息論來研究密碼學的新思路。《波士頓環球報》稱，「這一發現將密碼從藝術變成為科學」。論文發表後，香農被美國政府聘為政府密碼事務顧問。
「A Mathematical Theory of Cryptography」使 Claude Elwood Shannon 成為近代密碼理論的奠基者和先驅
可以說《保密系統的通信理論》奠定瞭現代密碼理論的基礎。他提出，「從密碼分析者來看，一個保密系統幾乎就是一個通信系統」。密碼系統中對消息的加密的作用，類似於信息中存在的噪聲。密鑰的隨機性是關鍵所在。
這使「信息論」成為密碼研究與分析的重要理論基礎，將密碼學從藝術變成瞭科學。傳信系統中的信息傳輸、處理、檢測和接收過程，與密碼系統中的加密、解密、分析和破譯過程，都可以用信息論觀點統一分析研究。
Claude Elwood Shannon 曾在論文裡指出，優質密碼系統的設計問題本質上是尋求一個困難問題的解，使破譯密碼等價於解某個已知數學難題。受此思想啟發，Bailey W. Diffie、Martin E. Hellman 於 1976 年在《IEEE Transactions on Information Theory》上發表論文「New Direction of Cryptography」詮釋密碼學的新方向，同時標志著公鑰密碼學的誕生，Diffie 與 Hellman 也因此在 2016 年獲得圖靈獎。
在鐵器時代、蒸汽時代之後，人們進入瞭信息時代。馬歇爾 · 麥克盧漢在 1964 年評論道： 人們曾經以采集食物為生，而如今他們要重新以采集信息為生。信息遠不止局限在通信行業，早已滲透到瞭各個科學領域。
正如信息論學科的著名學者 Richard Blahut 在美國密歇根州 Gaylord 鎮舉行香農塑像的落成典禮上所說的，兩三百年之後，當人們回頭再看我們這個時代，他們可能不會記得誰曾是美國總統，誰曾是影星、歌星。但可能會知曉 Shannon 香農，因為學校裡仍在教授「信息論」。
