言語処理システムをつくる 実践・自然言語処理シリーズ 第1巻
近代科学社
著者：佐藤理史
編集委員：佐藤理史、菊井玄一郎、関根聡、山本和英、乾健太郎、森辰則
まえがき
第1章 システム事例1:外国人名のカタカナ訳推定
1.1 システムの実行例
1.2 背景－外来語のカタカナ表記
1.3 解くべき問題を分析する
1.4 システムの仕組み
1.5 学習用データの形式
1.6 アライメントをとる
1.7 外国人名翻訳例データの収集
1.8 システムの各国適応
1.9 この章のまとめ
第2章 システム事例2:テキストの難易度推定
2.1 システムの実行例
2.2 背景
2.3 基準コーパス
2.4 システムの仕組み
2.5 スムージング
2.6 相関係数による評価
2.7 なぜ文字に固執するのか
2.8 BCCWJに基づく基準コーパス
2.9 この章のまとめ
第3章 言語に関する基礎知識
3.1 日本語を客観視する
3.2 言語学の部門と言語単位
3.3 文字から語まで
3.4 語の分類
3.5 分の成り立ち
3.6 短文と複文
3.7 文章の構造
3.8 日本語の特徴
3.9 言語のゆらぎと変化
3.10 この章のまとめ
第4章 形式言語とオートマトン
4.1 言語と分
4.2 正規表現
4.3 形式文法
4.4 正規文法
4.5 文脈自由文法
4.6 有限状態オートマトン
4.7 Finite-State Transducer
4.8 チェムスキーの階層
4.9 この章のまとめ
第5章 言語統計と確率的言語モデル
5.1 n-gram統計
5.1.1 タイプとトークン
5.1.2 n-gram
5.2 二つの経験則
5.2.1 Zipfの法則
5.2.2 Luhnの知見
5.3 言語統計の実際
5.4 確率的言語モデル
5.4.1 マルコフ過程とマルコフモデル
5.4.2 n-gramモデルの作成
5.4.3 言語モデルの利用
5.5 この章のまとめ
第6章 システム実装の基礎知識
6.1 文字コード
6.1.1 文字コードセット
6.1.2 文字符号化方式
6.1.3 Unicode
6.1.4 注意すべきこと
6.2 よく使うデータ構造
6.2.1 文字列
6.2.2 配列
6.2.3 リスト
6.2.4 ハッシュテーブル
6.2.5 木構造
6.2.6 グラフ
6.2.7 オブジェクト
6.3 文字列照合と置換
6.3.1 正規表現パターン
6.3.2 照合とアンカー
6.3.3 置換
6.4 よく使うアルゴリズム
6.4.1 探索アルゴリズム
6.4.2 動的計画法
6.4.3 文字列のソート
6.5 言語処理ツールと言語資源
6.5.1 形態素解析システム
6.5.2 構文解析システム
6.5.3 辞書
6.5.4 コーパス
6.6 ウェブとの連携法
6.7 この章のまとめ
追補
参考文献
索引