情報理論

ウィキペディアから、無料の百科事典
ナビゲーションにジャンプ 検索にジャンプ

情報理論は、デジタル情報の定量化保存、および通信に関する科学的研究です[1]この分野は、1920年代のハリーナイキストラルフハートレー、および1940年代のクロードシャノンの作品によって基本的に確立されました。[2] :vii この分野は、確率論統計学コンピューターサイエンス統計力学情報工学電気工学の交差点にあります。

情報理論の重要な尺度はエントロピーです。エントロピーは、確率変数の値またはランダムプロセスの結果に含まれる不確実性の量を定量化しますたとえば、公正なコイントスの結果(2つの同じように起こりそうな結果)を特定することは、サイコロを振った結果(6つの同じように起こりそうな結果)を指定するよりも少ない情報(より低いエントロピー)を提供します。情報理論における他のいくつかの重要な尺度は、相互情報量、チャネル容量、エラー指数、および相対エントロピーです。情報理論の重要なサブフィールドには、ソースコーディングが含まれます。アルゴリズムの複雑さの理論アルゴリズムの情報理論および情報理論的安全性

情報理論の基本的なトピックのアプリケーションには、ソースコーディング/データ圧縮ZIPファイルなど)、およびチャネルコーディング/エラー検出と訂正DSLなど)が含まれます。その影響は、深宇宙へのボイジャーミッションの成功、コンパクトディスクの発明、携帯電話の実現可能性、およびインターネットの開発にとって非常に重要でした。この理論は、統計的推論[3] 暗号化神経生物学[4] 知覚[5]言語学、進化など、他の分野でも応用されています。分子コード(バイオインフォマティクス)、熱物理学 [8]分子動力学 [9]量子コンピューティングブラックホール情報検索インテリジェンス収集盗作検出 [10]パターン認識異常検出の[6]および機能[7] [11]そしてアートクリエーションさえ。

概要

情報理論は、情報の伝達、処理、抽出、および利用を研究します。抽象的には、情報は不確実性の解決と考えることができます。ノイズの多いチャネルを介した情報の通信の場合、この抽象的な概念は1948年にクロード・シャノンによって「通信の数学的理論」というタイトルの論文で形式化されました。この論文では、情報は一連の可能なメッセージと見なされ、目標は次のとおりです。これらのメッセージをノイズの多いチャネルを介して送信し、チャネルノイズにもかかわらず、受信者にエラーの可能性が低いメッセージを再構築させるようにします。シャノンの主な結果、シャノンの通信路コーディング定理は、多くのチャネル使用の制限において、漸近的に達成可能な情報の割合がチャネル容量に等しいことを示しました。この量は、メッセージが送信されるチャネルの統計にのみ依存します。[4]

符号理論は、効率を高め、ノイズの多いチャネルを介したデータ通信のエラー率をチャネル容量に近づけるために、コードと呼ばれる明示的な方法を見つけることに関係しています。これらのコードは、データ圧縮(ソースコーディング)とエラー訂正(チャネルコーディング)の手法に大まかに分類できます。後者の場合、シャノンの仕事が可能であると証明された方法を見つけるのに何年もかかりました。

情報理論コードの3番目のクラスは、暗号化アルゴリズム(コード暗号の両方)です。コーディング理論と情報理論の概念、方法、結果は、暗号解読と暗号解読で広く使用されています。過去のアプリケーションについては、禁止(ユニット)の記事を参照してください。

歴史的背景

情報理論の分野を確立し、それを世界中の注目を集める画期的な出来事は、 1948年7月と10月 のベルシステムテクニカルジャーナルでのクロードE.シャノンの古典的な論文「通信の数学的理論」の出版でした。

この論文の前に、ベル研究所では限られた情報理論のアイデアが開発されていましたが、すべて暗黙のうちに等しい確率のイベントを想定していました。 ハリー・ナイキストの1924年の論文、電信速度に影響を与える特定の要因には、通信システムによって送信できる「知能」と「回線速度」を定量化する理論セクションが含まれており、関係W = K log m (ボルツマン定数を思い出してください)を与えます。 )、ここで、Wはインテリジェンスの伝送速度、mは各タイムステップで選択できるさまざまな電圧レベルの数、Kは定数です。 Ralph Hartleyの1928年の論文、Transmission of Informationは、情報という単語を測定可能な量として使用し、記号の1つのシーケンスを他のシーケンスから区別する受信者の能力を反映して、情報をH = log S n = n logSとして定量化しますは可能なシンボルの数であり、nは送信内のシンボルの数でした。したがって、情報の単位は10進数でした。これは、情報の単位、スケール、または尺度として、彼に敬意を表してハートレーと呼ばれることもあります。アランチューリング1940年に、ドイツの第二次世界大戦のエニグマ暗号の解読の統計分析の一部として同様のアイデアを使用しました

さまざまな確率のイベントを伴う情報理論の背後にある数学の多くは、ルートヴィッヒ・ボルツマンJ.ウィラードギブスによって熱力学の分野で開発されました。1960年代のRolfLandauerによる重要な貢献を含む、情報理論的エントロピーと熱力学的エントロピーの関係は、熱力学と情報理論のエントロピーで探求されています。

1944年末までにベル研究所で実質的に完了したシャノンの革新的で画期的な論文で、シャノンは初めて、情報理論の基礎となる統計的プロセスとしてコミュニケーションの定性的および定量的モデルを導入し、次のように主張しました。

「コミュニケーションの根本的な問題は、ある時点で、別の時点で選択されたメッセージを正確にまたはほぼ再現することです。」

それとともに、

情報量

情報理論は、確率論と統計に基づいています。情報理論は、確率変数に関連する分布の情報の測定に関係することがよくあります。重要な情報量は、単一の確率変数内の情報の尺度であるエントロピーと、2つの確率変数間で共通の情報の尺度である相互情報量です。前者の量は確率変数の確率分布の特性であり、特定の分布を持つ独立したサンプルによって生成されたデータを確実に圧縮できる速度に制限を与えます。後者は、2つの確率変数の同時分布の特性であり、ノイズの多いチャネル全体での信頼できる通信の最大速度です。長いブロック長の制限で、チャネル統計が同時分布によって決定される場合。

次の式で対数ベースを選択すると、使用される情報エントロピーの単位が決まります。情報の一般的な単位は、 2進対数に基づくビットです他の単位には、自然対数基づくnatと、常用対数に基づく10進数が含まれます。

以下では、形式p log pの式は、慣例により、 p = 0の場合は常にゼロに等しいと見なされますこれは正当化されるので対数ベースの場合。

情報源のエントロピー

通信される各ソースシンボルの確率質量関数に基づいて、ビット単位(シンボルあたり) のシャノンエントロピー Hは次の式で与えられます。

ここで、p iは、ソースシンボルのi番目の可能な値が発生する確率です。この方程式は、2を底とする対数を使用するため、「ビット」(シンボルごと)の単位でエントロピーを示します。このエントロピーの2を底とする尺度は、彼に敬意を表してシャノンと呼ばれることもあります。エントロピーは通常、自然対数(底eeはオイラー数)を使用して計算されます。これにより、シンボルごとのナットでエントロピーの測定値が生成され、式に余分な定数を含める必要がなくなるため、分析が簡素化される場合があります。他のベースも可能ですが、あまり一般的には使用されません。たとえば、基数2 8 = 256の対数シンボルあたりのバイト数で測定値を生成し、10を底とする対数は、シンボルあたりの10進数(またはハートレー)で測定値を生成します。

直感的には、離散確率変数XのエントロピーH Xは、その分布のみがわかっている 場合のXの値に関連する不確実性の量の尺度です。

独立しており、同じように分布している(iid)N個のシンボルのシーケンスを放出するソースのエントロピーは、NHビット(N個のシンボルのメッセージごと)です。ソースデータシンボルが同じように分布しているが独立していない場合、長さNのメッセージのエントロピーはNH未満になります

成功確率の関数としてのベルヌーイ試行のエントロピー。多くの場合バイナリエントロピー関数H bpと呼ばれます。エントロピーは、バイアスのないコイントスのように、2つの可能な結果が同じように発生する可能性がある場合、試行ごとに1ビットで最大化されます。

1000ビット(0と1)を送信し、これらの各ビットの値が送信前に受信者に知られている(確実に特定の値を持っている)場合、情報が送信されないことは明らかです。ただし、各ビットが独立して同じように0または1である可能性が高い場合は、1000シャノンの情報(より多くの場合ビットと呼ばれます)が送信されています。これら2つの極端な状況の間で、情報は次のように定量化できます。もしもは、Xが存在する可能性のあるすべてのメッセージ{ x 1、...、x n }のセットであり、 pxはいくつかの確率です。、次にXのエントロピーH定義されます:[12]

(ここで、Ix自己情報であり、個々のメッセージのエントロピー寄与であり、期待値です。)エントロピーの特性は、メッセージ空間内のすべてのメッセージが等確率であるときに最大化されることです。px)= 1 / n ; つまり、最も予測不可能です。この場合、HX)= lognです

2つの結果を持つ確率変数の情報エントロピーの特殊なケースは、2値エントロピー関数であり、通常は対数ベース2になり、シャノン(Sh)を単位として持ちます。

結合エントロピー

2つの離散確率変数XY結合エントロピーは、単にそれらのペアのエントロピーです:XYこれは、XY独立している場合、それらの結合エントロピーはそれらの個々のエントロピーの合計であることを意味します。

たとえば、XYがチェスの駒の位置を表す場合( Xは行、Yは列)、駒の行と列の結合エントロピーは、駒の位置のエントロピーになります。ピース。

同様の表記にもかかわらず、結合エントロピーをクロスエントロピーと混同しないでください

条件付きエントロピー(同義語)

確率変数Yが与えられた場合のX条件付きエントロピーまたは条件付き不確実性( YについてXの同義語とも呼ばれる)は、 Yの平均条件付きエントロピーです:[13]

エントロピーは確率変数またはその確率変数が特定の値であることを条件とすることができるため、条件付きエントロピーのこれら2つの定義を混同しないように注意する必要があります。条件付きエントロピーは、前者がより一般的に使用されています。この形式の条件付きエントロピーの基本的な特性は次のとおりです。

相互情報量(トランスインフォメーション)

相互情報量は、ある確率変数について別の確率変数を観察することによって取得できる情報の量を測定します。送信信号と受信信号の間で共有される情報の量を最大化するために使用できる通信では重要です。Yに対するXの相互情報量は、式で与えられます。

ここで、SI 特定相互情報)はポイントごとの相互情報です。

相互情報量の基本的な性質は

つまり、Yを知っていると、 Yを知らない場合と比較して、Xのエンコードで平均IX ; Yビットを節約できます

相互情報量は対称的です:

相互情報量は、 Yの値が与えられた場合のXの事後確率分布X事前分布間の平均カルバック・ライブラー発散(情報ゲイン)として表すことができます

言い換えると、これは、Yの値が与えられた場合に、平均してXの確率分布がどの程度変化するかを示す尺度です。これは、周辺分布の積から実際の同時分布への発散として再計算されることがよくあります。

相互情報量は、分割表と多項分布のコンテキストでの対数尤度比検定、およびピアソンのχ2検定密接に関連しています。相互情報量は、変数のペア間の独立性を評価するための統計と見なすことができ、指定された漸近分布。

カルバック・ライブラー発散(情報獲得)

カルバック・ライブラー発散または情報発散情報ゲイン、または相対エントロピー)は、2つの分布を比較する方法です。「真の」確率分布 、および任意の確率分布仮定する方法でデータを圧縮する場合実際には、一部のデータの基礎となる分布です。は正しい分布であり、カルバック・ライブラー発散は、圧縮に必要なデータあたりの平均追加ビット数です。このように定義されます

「距離計量」として使用されることもありますが、KL発散は対称ではなく、三角不等式を満たさない(半準 計量にする)ため、真の計量ではありません。

KL発散の別の解釈は、真実からの事前分布によって導入された「不必要な驚き」です。確率分布を持つ離散集合から数Xがランダムに引き出されようとしていると仮定します。アリスが本当の分布を知っているなら、ボブは分布、 Xの値を見ると、平均して、ボブはアリスよりも驚かれることでしょう。KL発散は、ログが2を底とする場合にビット単位で測定された、ボブの(主観的な)驚きからアリスの驚きを引いた(客観的な)期待値です。このようにして、ボブの事前分布が「間違っている」程度を次のように定量化できます。それが彼をどのように「不必要に驚かせた」と期待されているかについて。

その他の数量

その他の重要な情報理論量には、レニーエントロピー(エントロピーの一般化)、微分エントロピー(情報量の連続分布への一般化)、および条件付き相互情報量が含まれます。

符号理論

CD-Rの読み取り可能な表面の傷を示す写真。音楽およびデータCDは、エラー訂正コードを使用してコード化されているため、エラー検出および訂正を使用して小さな傷があった場合でも読み取ることができます。

符号理論は、情報理論の最も重要で直接的な応用の1つです。それは、ソースコーディング理論とチャネルコーディング理論に細分することができます。情報理論は、データの統計的記述を使用して、データを記述するために必要なビット数を定量化します。これは、ソースの情報エントロピーです。

  • データ圧縮(ソースコーディング):圧縮の問題には2つの定式化があります。
    • 可逆データ圧縮:データを正確に再構築する必要があります。
    • 非可逆データ圧縮:歪み関数によって測定された指定された忠実度レベル内で、データを再構築するために必要なビットを割り当てます。この情報理論のサブセットは、レート歪み理論と呼ばれます。
  • エラー訂正コード(チャネルコーディング):データ圧縮は可能な限り多くの冗長性を削除しますが、エラー訂正コードは、ノイズの多いチャネルを介してデータを効率的かつ忠実に送信するために必要な適切な種類の冗長性(つまり、エラー訂正)を追加します。

コーディング理論の圧縮と伝送へのこの分割は、情報伝送定理、または多くのコンテキストで情報の普遍的な通貨としてビットを使用することを正当化するソースチャネル分離定理によって正当化されます。ただし、これらの定理は、1人の送信ユーザーが1人の受信ユーザーと通信したい場合にのみ当てはまります。複数の送信機(多元接続チャネル)、複数の受信機(ブロードキャストチャネル)または中間の「ヘルパー」(リレーチャネル)、またはより一般的なネットワークがあるシナリオでは、圧縮とそれに続く送信は最適ではなくなる可能性があります。ネットワーク情報理論は、これらのマルチエージェント通信モデルを指します。

ソース理論

連続するメッセージを生成するプロセスはすべて、情報源と見なすことができますメモリレスソースは、各メッセージが独立した同一分布の確率変数であるソースですが、エルゴード性定常性のプロパティは、より制限の少ない制約を課します。そのような情報源はすべて確率論的です。これらの用語は、情報理論の外でそれ自体でよく研究されています。

評価

情報レートは、シンボルごとの平均エントロピーです。メモリレスソースの場合、これは各シンボルのエントロピーにすぎませんが、定常確率過程の場合は、

つまり、以前に生成されたすべてのシンボルが与えられた場合のシンボルの条件付きエントロピーです。必ずしも静止しているとは限らないプロセスのより一般的なケースの場合、平均レートは 次のようになります。

つまり、シンボルごとの結合エントロピーの制限です。静止ソースの場合、これら2つの式は同じ結果になります。[14]

情報レートは次のように定義されます

情報理論では、言語の「レート」または「エントロピー」について話すのが一般的です。これは、たとえば、情報源が英語の散文である場合に適しています。情報源の割合は、その冗長性と、情報源コーディングの対象である圧縮の程度に関連しています。

チャネル容量

チャネルを介したコミュニケーションは、情報理論の主な動機です。ただし、チャネルは信号の正確な再構成を生成できないことがよくあります。ノイズ、無音期間、およびその他の形式の信号破損は、品質を低下させることがよくあります。

ディスクリートチャネルを介した通信プロセスについて考えてみます。プロセスの簡単なモデルを以下に示します。

ここで、 Xは送信されたメッセージのスペースを表し、Yはチャネルを介して単位時間中に受信されたメッセージのスペースを表します。p y | x をXが与えられたY条件付き確率分布関数としますpy | xは、通信チャネルに固有の固定プロパティであると見なします(チャネルのノイズの性質を表します)。次に、 XYの同時分布は、チャネルと選択によって完全に決定されます。fx、チャネルを介して送信することを選択したメッセージの周辺分布。これらの制約の下で、チャネルを介して通信できる情報または信号のレートを最大化する必要がこれに対する適切な尺度は相互情報量であり、この最大相互情報量はチャネル容量と呼ばれ、次の式で与えられます。

この容量には、情報レートRRは通常シンボルあたりのビット数)での通信に関連する次の特性があります。任意の情報レートR < Cおよびコーディングエラーε > 0の場合、十分に大きいNの場合、ブロックエラーの最大確率が≤εになるように、長さNおよびレート≥Rのコードとデコードアルゴリズムが存在しますつまり、任意の小さなブロックエラーで送信することが常に可能です。さらに、任意のレートR > Cの場合、任意の小さなブロックエラーで送信することはできません。

チャネルコーディングは、チャネル容量に近いレートで小さなコーディングエラーでノイズの多いチャネルを介してデータを送信するために使用できる、このようなほぼ最適なコードを見つけることに関係しています。

特定のチャネルモデルの容量

  • ガウスノイズの影響を受ける連続時間アナログ通信チャネル—シャノンハートレーの定理を参照してください。
  • クロスオーバー確率pバイナリ対称チャネル(BSC)は、入力ビットを確率pで反転させるバイナリ入力のバイナリ出力チャネルですBSCの容量は、チャネルの使用ごとに1 − H bp)ビットです。ここで、 H bは、2を底とする対数の2値エントロピー関数です。
バイナリ対称channel.svg
  • 消去確率pバイナリ消去チャネル(BEC)は、バイナリ入力、バイナリ出力チャネルです。可能なチャネル出力は、0、1、および消去と呼ばれる3番目の記号「e」です。消去は、入力ビットに関する情報が完全に失われたことを表します。BECの容量は、チャネル使用ごとに1 −pビットです。
バイナリ消去channel.svg

メモリと指示された情報を含むチャネル

実際には、多くのチャネルにメモリがあります。つまり、チャネルは条件付き確率によって与えられます 多くの場合、表記を使用する方が快適ですチャンネルはこのような場合、容量は、フィードバックが利用できない場合の相互情報量と、フィードバックがある場合とない場合 の有向情報量によって与えられます[15] [16](フィードバックがない場合、有向情報jは等しい相互情報量)。

他の分野への応用

インテリジェンスの使用と機密アプリケーション

情報理論の概念は、暗号解読と暗号解読に適用されます。チューリングの情報ユニットであるbanは、 Ultraプロジェクトで使用され、ドイツのエニグママシンコードを破り、ヨーロッパでの第二次世界大戦の終結を早めました。シャノン自身が、現在ユニシティディスタンスと呼ばれる重要な概念を定義しました平文の冗長性に基づいて、一意の解読可能性を確保するために必要な 最小限の暗号文を提供しようとします。

情報理論は、最初に現れるよりも秘密を守ることがはるかに難しいと私たちに信じさせます。ブルートフォース攻撃は、非対称鍵アルゴリズム、またはブロック暗号などの最も一般的に使用される対称鍵アルゴリズム(秘密鍵アルゴリズムと呼ばれることもあります)の方法に基づいてシステムを破壊する可能性があります現在、このようなすべての方法のセキュリティは、既知の攻撃が実際の時間内にそれらを破壊することはできないという仮定に基づいています。

情報理論的セキュリティとは、このようなブルー​​トフォース攻撃に対して脆弱ではないワンタイムパッドなどの方法を指します。このような場合、平文と暗号文の間の正の条件付き相互情報量(キーを条件とする)は適切な送信を保証できますが、平文と暗号文の間の無条件の相互情報量はゼロのままであり、完全に安全な通信を実現します。言い換えれば、盗聴者は、暗号文の知識を取得することによって平文の推測を改善することはできませんが、キーの知識を取得することはできません。ただし、他の暗号化システムと同様に、情報理論的に安全な方法でさえ正しく適用するには注意が必要です。ベノナプロジェクトキーマテリアルの不適切な再利用により、ソビエト連邦のワンタイムパッドを割ることができました。

擬似乱数生成

疑似乱数ジェネレータは、コンピュータ言語ライブラリやアプリケーションプログラムで広く利用できます。それらは、現代のコンピューター機器およびソフトウェアの決定論的性質を回避しないため、ほとんどの場合、暗号化の使用には適していません。改良された乱数ジェネレーターのクラスは、暗号的に安全な疑似乱数ジェネレーターと呼ばれますが、意図したとおりに機能するには、ソフトウェアの外部にランダムシードが必要です。注意深く行えば、これらは抽出器を介して取得できます。抽出器の十分なランダム性の尺度は、最小エントロピーです。これは、レニーエントロピーを介したシャノンエントロピーに関連する値です。; レニーエントロピーは、暗号システムのランダム性の評価にも使用されます。関連はありますが、これらの測定値の違いは、シャノンエントロピーが高い確率変数が、抽出器での使用や暗号化での使用に必ずしも十分ではないことを意味します。

地震探査

情報理論の初期の商業的応用の1つは、地震油探査の分野でした。この分野での作業により、不要なノイズを除去し、目的の地震信号から分離することが可能になりました。情報理論とデジタル信号処理により、以前のアナログ手法に比べて解像度と画像の鮮明度が大幅に向上します。[17]

記号論

記号論 者のDoedeNautaWinfriedNöthはどちらも、チャールズサンダースパースが記号論に関する彼の作品で情報理論を作成したと見なしていました。[18] :171  [19] :137  Nautaは、記号論的情報理論を「コーディング、フィルタリング、および情報処理の内部プロセス」の研究として定義しました。[18] :91 

冗長性やコード制御などの情報理論の概念は、UmbertoEcoやFerruccioRossi-Landiなどの記号論者によって支配的な社会的階級が高度な競合するメッセージの選択の中で1つのメッセージのみがデコードされるような冗長性。[20]

その他のアプリケーション

情報理論は、ギャンブルや情報理論ブラックホールバイオインフォマティクスにも応用できます

も参照してください

アプリケーション

歴史

理論

コンセプト

参考文献

  1. ^ 「クロードシャノン、先駆的なデジタル情報理論」FierceTelecom 2021-04-30を取得
  2. ^ シャノン、クロード・エルウッド(1998)。コミュニケーションの数学的理論ウォーレンウィーバー。アーバナ:イリノイ大学出版局。ISBN 0-252-72546-8OCLC40716662 _
  3. ^ Burnham、KP and Anderson DR(2002) Model Selection and Multimodel Inference:A Practical Information-Theoretic Approach、Second Edition ( Springer Science、New York) ISBN978-0-387-95364-9 
  4. ^ a b F. Rieke; D.ウォーランド; R Ruyter van Steveninck; Wビアレク(1997)。スパイク:ニューラルコードの調査MITプレス。ISBN 978-0262681087
  5. ^ Delgado-Bonal、Alfonso; Martín-Torres、Javier(2016-11-03)。「人間の視覚は情報理論に基づいて決定されます」ScientificReports6(1):36038。Bibcode 2016NatSR ... 636038D土井10.1038 / srep36038ISSN2045-2322_ PMC5093619_ PMID27808236_   
  6. ^ cf; ヒュルセンベック、JP; ロンキスト、F。; ニールセン、R。; ボルバック、JP(2001)。「系統発生のベイズ推定と進化生物学への影響」。科学294(5550):2310–2314。Bibcode2001Sci ... 294.2310H土井10.1126 /science.1065889PMID11743192_ S2CID2138288_  
  7. ^ Allikmets、ランド; ワッサーマン、ワイスW。; ハッチンソン、エイミー; スモールウッド、フィリップ; ネイサンズ、ジェレミー; Rogan、Peter K.(1998)。「トーマス・D・シュナイダー]、マイケル・ディーン(1998)ABCR遺伝子の構成:プロモーターおよびスプライスジャンクション配列の分析」遺伝子215(1):111–122。土井10.1016 / s0378-1119(98)00269-8PMID9666097_ 
  8. ^ ジェインズ、ET(1957)。「情報理論と統計力学」物理学 Rev。 _ 106(4) : 620。Bibcode1957PhRv..106..620J土井10.1103 /physrev.106.620
  9. ^ Talaat、Khaled; コーウェン、ベンジャミン; アンデログル、オスマン(2020-10-05)。「分子動力学シミュレーションの収束評価のための情報エントロピーの方法」。応用物理学ジャーナル128(13):135102。Bibcode 2020JAP ... 128m5102T土井10.1063 /5.0019078S2CID225010720_ 
  10. ^ ベネット、チャールズH。; 李、明; 馬、ビン(2003)。「チェーンレターと進化の歴史」サイエンティフィックアメリカン288(6):76–81。Bibcode2003SciAm.288f..76B土井10.1038 / scientificamerican0603-76PMID12764940_ 2007年10月7日にオリジナルからアーカイブされました2008年3月11日取得 
  11. ^ David R. Anderson(2003年11月1日)。「経験科学の人々が情報理論的方法をよりよく理解したいと思うかもしれない理由のいくつかの背景」(PDF)2011年7月23日にオリジナル(PDF)からアーカイブされました2010年6月23日取得
  12. ^ Fazlollah M. Reza(1994)[1961]。情報理論入門Dover Publications、Inc。、ニューヨーク。ISBN 0-486-68210-2
  13. ^ ロバートB.アッシュ(1990)[1965]。情報理論Dover Publications、Inc。ISBN 0-486-66521-6
  14. ^ ジェリーD.ギブソン(1998)。マルチメディアのデジタル圧縮:原理と標準モーガンカウフマン。ISBN 1-55860-369-7
  15. ^ Massey、James L.(1990)。「因果関係、フィードバックおよび指示された情報」CiteSeerX10.1.1.36.5688_  {{cite journal}}引用ジャーナルには|journal=ヘルプ)が必要です
  16. ^ Permuter、Haim Henry; ワイスマン、ツァシー; ゴールドスミス、アンドレアJ.(2009年2月)。「時不変の決定論的フィードバックを伴う有限状態チャネル」。情報理論に関するIEEEトランザクション55(2):644–662。arXivcs / 0608070土井10.1109 /TIT.2008.2009849S2CID13178_ 
  17. ^ Haggerty、Patrick E.(1981)。「企業とイノベーション」。戦略的経営ジャーナル2(2):97–118。土井10.1002 /smj.4250020202
  18. ^ a b Nauta、Doede(1972)。情報の意味ハーグ:ムートン。ISBN 9789027919960
  19. ^ Nöth、Winfried(2012年1月)。「チャールズ・S・パースの情報理論:シンボルと知識の成長の理論」サイバネティックスと人間の知識19(1–2):137–161。
  20. ^ Nöth、Winfried(1981)。イデオロギーの記号論」。記号論、第148号。

さらに読む

古典的な作品

その他のジャーナル記事

  • JLケリージュニア、プリンストン、「情報レートの新しい解釈」ベルシステムテクニカルジャーナル、Vol。35、1956年7月、917〜26ページ。
  • R. Landauer、IEEE.org、「InformationisPhysical」Proc。物理学と計算に関するワークショップPhysComp'92(IEEEComp。Sci.Press、Los Alamitos、1993)pp。1–4。
  • Landauer、R。(1961)「コンピューティングプロセスにおける不可逆性と発熱」 (PDF)IBM J.Res。開発者5(3):183–191。土井10.1147 /rd.53.0183
  • ティムメ、ニコラス; アルフォード、ウェズリー; フレッカー、ベンジャミン; ベッグス、ジョンM.(2012)。「多変量情報測定:実験家の視点」。arXiv1111.6857 [ cs.IT ]。

情報理論の教科書

他の本

情報理論に関するMOOC

外部リンク