情報理論における4つの確率的極限:ー4つの量の情報スペクトル理論超入門ー  [in Japanese] Four Limits in Probability for Use in Information Theory:- A Brief Introduction to Information-Spectrum Methods with Four Limits -  [in Japanese]

Access this Article

Author(s)

Abstract

HanとVerdúによって提案された情報スペクトル的手法では,情報源符号化や通信路符号化などの情報理論の幾つかの主要な問題において,符号化の性能の限界が2つの確率的極限を用いて表される.本稿では,従来の2つの確率的極限に加えて,別の確率的極限を2つ導入する.そして固定長情報源符号化の問題において,これら4つの確率的極限を用いて定義される情報源の4つの特徴量の有用性について解説する.本稿ではまず,極めて一般的な情報源(一般情報源)に対する4つの特徴量の大小を比較し,自然な大小関係を持つための必要十分条件が情報源の正準性であることを示す.次に,4つの特徴量の一般情報源の固定長符号化における操作的な意味を述べる.更に1つの応用として,一般情報源に対する新たな強逆性が幾つか定義できること,それぞれの強逆性の必要十分条件が4つの特徴量を用いて記述できることを示す.最後に,相関のある2つの情報源の独立符号化における楽観的な達成可能レート領域を求める問題に対して,本手法を適用した結果を紹介する.以上のように,情報スペクトル的手法において,確率的極限を2種類から4種類に増やすことは,符号化の性能を新たに特徴付けして詳細に解析する上で有用である.

In the information-spectrum methods proposed by Han and Verd´u, quantities defined using the ordinary limits superior/inferior in probability correspond to the optimal achievable rates in basic information-theoretic problems such as source coding and channel coding. In this paper, we introduce two more nonconventional limits in probability and apply all four limits to the fixed-length coding of a general source. In this paper, we first define four quantities for a source using the four limits in probability. It is shown that the four quantities satisfy a natural inequality if and only if the source is canonical. Next, we give operational meanings for the four quantities in fixed-length source coding. As one of the by-products, we can formulate nonconventional strong converse properties and obtain necessary and sufficient conditions. Finally, we explain a result for the achievable rate region in the optimistic sense of separately coding two correlated general sources. These results suggest the importance of the four quantities as new terminology for characterizing the performance of coding in more detail.

Journal

  • IEICE ESS Fundamentals Review

    IEICE ESS Fundamentals Review 8(1), 4-14, 2014

    The Institute of Electronics, Information and Communication Engineers

Codes

  • NII Article ID (NAID)
    130004959794
  • Text Lang
    JPN
  • Data Source
    J-STAGE 
Page Top