近代書籍における低出現頻度文字種獲得のためのフォント自動生成

「博士論文本文」および「内容の要旨及び審査の結果の要旨」を公開

明治から昭和初期にかけて刊行された近代書籍は,国立国会図書館によってWeb 上のサービスで公開されている.著作権などの権利状況が確認され,問題がない書籍についてはインターネットを経由して図書館の外からでも閲覧できる状態となっている.公開されているのは書籍の画像データであるため,国立国会図書館は利便性向上を目的として画像データのテキスト化に着手している.しかし,近代書籍の画像データに対しては,既存のOCR 技術では自動でテキスト化できない.そこで,近代書籍に特化した文字認識の研究が進められている.様々な手法を用いた近代書籍文字認識が試みられているが,現状の課題は学習データの不足である.近代書籍文字認識に用いられる学習データは,近代書籍の画像データから手動で切り出された文字画像である.これまで大量の近代書籍から文字画像を収集しているものの,文字認識に必要な文字種を網羅できていない.この原因としては,出現頻度の低い文字種の収集が非常に困難であることが挙げられる.出現頻度が下がるほど,文字が書籍で用いられる回数は減少する.低出現頻度文字種は書籍から見つけ出すことができない場合がある.さらに,状態が悪い書籍から収集された文字画像やノイズを多く含む文字画像は学習データに利用できない.低出現文字種の文字画像を収集するためには,新たな方法を確立する必要がある. 近代書籍における低出現頻度文字種の文字画像を獲得する方法として,近代書籍フォントの自動生成を提案する.漢字を対象としたフォント生成の研究はこれまでに様々な方法が提案されている.現在,画像変換とストローク抽出によるフォント生成が主流である.ストローク抽出によるフォント生成では,文字の細部をより正確に再現したフォントを生成できる.しかし,ノイズを含み十分な数のデータを用意することが難しい近代書籍フォントの生成には適していない.そこで,2 つのアプローチによって,画像変換による近代書籍フォントの自動生成を行う.1 つは,規模の小さいネットワークを用いて,少ないデータ数からフォント生成を学習する方法である.もう1 つは,複数ドメインにおける画像変換を行うネットワークを用いて,複数の現代フォントからのフォント生成を学習する方法である. 本博士論文では,2 つのネットワークを用いて少量の文字画像から近代書籍フォントの生成を行う.1 つは,畳み込みニューラルネットワークをベースとしたエンコーダ・デコーダモデルのネットワークである.もう1 つは,複数ドメイン間の画像変換を行うStarGAN v2 を改良したネットワークである.それぞれのネットワークを用いてフォント生成実験を行い,近代書籍フォントの生成に適したアーキテクチャを決定する.性能評価の指標には,2 値化した生成画像と近代書籍文字画像の平均画素一致率を用いる.2つのネットワークによる近代書籍フォントの生成性能を評価するため,提案する2 つのネットワークとStarGAN v2によって近代書籍フォントを生成し比較する. 本博士論文における各章の要旨は以下の通りである. 第1章では,序論として本研究の背景と目的について述べる.第2 章では,近代書籍フォントの自動生成に関する既存研究について述べる.まず,近代書籍文字認識の経緯を説明し,学習データの不足による問題点を確認する.次に,深層学習を用いた画像生成手法を示す.本研究においてフォントの生成を行う2 つのネットワークは,畳み込みニューラルネットワークと敵対的生成ネットワークをもとにした画像生成手法である.よって,それぞれのアーキテクチャについて述べ,代表的な研究を紹介する.最後に,漢字を対象としたフォント生成の既存研究として,画像変換とストローク抽出による手法をそれぞれいくつか紹介する.第3 章では,近代書籍フォントを自動生成する手法について述べる.学習に用いる近代書籍文字画像の収集方法を示し,収集した文字画像から学習に利用可能な文字画像を選別してデータセットを作成する方法を説明する.そして,2 つのネットワークを用いたフォント生成について,それぞれの詳細を説明する.第4 章では,近代書籍フォントの生成に適したアーキテクチャを決定するための実験を行う.2 つのネットワークを構成する各要素の組み合わせを変更し,様々なアーキテクチャを用いて近代書籍フォントを生成する.その結果から,それぞれのネットワークにおいて近代書籍フォントの生成性能が最も高いアーキテクチャを選択する.近代書籍フォントの生成性能を評価する指標としては,2 値化した生成画像と近代書籍画像の平均画素一致率を用いる. 第5 章では,2 つのネットワークによる近代書籍フォントの生成性能を評価する.それぞれのネットワークから生成される近代書籍フォントを,平均画素一致率,生成画像,学習に必要な時間の3つの観点から比較する.さらに,StarGAN v2とStarGAN v2を改良したネットワークの近代書籍フォント生成性能を比較する.これにより,StarGANv2からの改良点が近代書籍フォントの生成性能向上に有効であることを示す.-----------------------------------------------------------------------Early-modern books, that published from the Meiji era to the early Showa era in Japan, are made available by the National Diet Library through a web-based service. Books that have been checked for copyright and other rights, and for which there are no problems, can be viewed from outside the library via the Internet. The National Diet Library has started to convert the image data into text for the purpose of improving convenience. However, the existing OCR technology cannot automatically convert the image data of early-modern books into text. Therefore, research on character recognition specialized for early-modern books has been conducted. Although early-modern book character recognition has been attempted using various methods, the current problem is the lack of training data. The training data used for early-modern book character recognition are character images manuallyextracted from the image data of early-modern books. Although we have collected character images from large number of early-modern books, we have not been able to cover all the character types necessary for character recognition. The reason for this is that it is very difficult to collect character types with low frequency of occurrence. The lower the frequency of occurrence, the lower the number of times a character is used in a book. Some of low-frequency character types cannot be found from the image data of books. Furthermore, character images collected from books in poor condition or character images containing a lot of noise cannot be used for training data. In order to collect images of low-occurrence character types, it is necessary to establish a new method. We propose an automatic generation of early-modern book fonts as a method to acquire character images of low frequency character types in early-modern books. Various methods of font generation for Chinese characters have been proposed. Currently, the mainstream of font generation is based on image transformation and stroke extraction. Font generation by stroke extraction can produce a font that reproduces the details of characters more accurately. However, it is not suitable for the generation of early-modern book fonts, which contain noise and it is difficult to prepare enough data. We propose two approaches to automatically generate earlymodern book fonts by image transformation: one is to use a small network to learn font generation from a small amount of data. The second approach is to learn font generation from multiple modern fonts by using a network that performs image transformation in multiple domains. In this doctoral thesis, two networks are used to generate early-modern book fonts from a small number of character images: one is an encoder-decoder model based on convolutional neural networks, and the other is a modified StarGAN v2 network that performs image transformation between multiple domains. We conduct font generation experiments using each network to determine the best architecture for generating early-modern book fonts. The average pixel match rate between the binarized generated image and character image from the early-modern book is used as the performance evaluation metric. In order to evaluate the performance of the two networks in generating early-modern book fonts, we compare the performance of the two proposed networks and StarGAN v2 in generating early-modern book fonts. The abstracts of the chapters in this doctoral thesis are as follows. In Chapter 2, we describe the existing research on automatic generation of modern book fonts. First, we explain the history of early-modern book character recognition and identify the problems caused by the lack of training data. Next, we present an image generation method using deep learning. The two networks used to generate fonts in this thesis are image generation methods based on convolutional neural networks and adversarial generative networks.Therefore, we describe the architecture of each of them and introduce some representative works. Finally, we introduce some existing studies on font generation for Chinese characters, based on image transformation and stroke extraction, respectively. In Chapter 3, we describe a method for automatically generating early-modern book fonts. We show how to collect character images of early-modern books, and how to create a dataset by selecting character images from the collected images that can be used for training. Then, we explain the details of font generation using two networks. In Chapter 4, we conduct an experiment to determine a suitable architecture for generating early-modern book fonts, by changing the combination of elements in the two networks and generating early-modern book fonts using various architectures. Based on the results, we select the architecture that has the best performance in generating early-modern book fonts for each network. As a measure to evaluate the performance of generating early-modern book fonts, we use the average pixel match rate between the binarized generated image and the character image of the earlymodern book. In Chapter 5, we evaluate the performance of two networks in generating earlymodern book fonts. The early-modern book fonts generated by each network are compared in terms of the average pixel match rate, the generated images, and the time required for training. In addition, we compare the performance of StarGAN v2 and a netowork modified from StarGAN v2 in generating early-modern book fonts. This shows that the improvements from StarGAN v2 are effective in improving the performance of early-modern book font generation.

開始ページ : 1

終了ページ : 107