diff --git a/tutorial/chap_01.md b/tutorial/chap_01.md index 3971451..41dccd0 100644 --- a/tutorial/chap_01.md +++ b/tutorial/chap_01.md @@ -1,6 +1,6 @@ -# まずは，Hello world +# まずは"Hello world!" -はじめに取り組むプログラムは，もちろん**Hello world**ですよね。 +はじめに取り組むプログラムは，もちろん**Hello world!**ですよね。 では「hello world!」と正しく入力できたら「OK」，そうでなければ「NG」と表示するプログラムを作ってみましょう！以下がソースコードです。 @@ -8,47 +8,48 @@ // hello.cc #include #include "peglib.h" - +#include "linenoise.hpp" using namespace std; -// 文法定義 -const auto grammar = R"( - PROGRAM <- _ 'hello' _ 'world' '!' _ - _ <- [ \t]* -)"; - int main(void) { // 文法を読み込んでパーサーを生成 - peg::parser parser(grammar); - - // 文法に誤りがあったかチェック - if (!parser) { + peg::parser parser(R"( + PROGRAM <- _ HELLO _ WORLD '!' _ + HELLO <- [hH] 'ello' + WORLD <- [wW] 'orld' + _ <- [ \t]* + )"); + + if (!parser) { // 文法に誤りがあったかチェック cerr << "grammar error..." << endl; return -1; } while (true) { - // 文字列を一行読み込み - cout << "> "; - string line; - getline(cin, line); + auto line = linenoise::Readline("> "); // 文字列を一行読み込み + + if (line == "exit") { break; } // 終了 - // ユーザーからの入力をパース - if (parser.parse(line.c_str())) { + if (parser.parse(line.c_str())) { // ユーザーからの入力をパース cout << "OK" << endl; } else { cout << "NG" << endl; } + + linenoise::AddHistory(line.c_str()); // 入力履歴に追加 } return 0; } ``` -このコードを`hello.cc`に保存して，それからコンパイルしてみましょう。このコードはPEGパーサライブラリを使用するので，[ここから](https://raw.githubusercontent.com/yhirose/cpp-peglib/master/peglib.h)`peglib.h`ダウンロードして`hello.cc`があるディレクトリに保存してください。 +このコードを`hello.cc`として保存してください。このコードは以下の2つのライブラリを使用するので，ダウンロードして`hello.cc`と同じディレクトリに保存してください。 + + * cpp-peglib C++ PEG parser library - [peblib.h](https://raw.githubusercontent.com/yhirose/cpp-peglib/master/peglib.h) + * cpp-linenoise C++ Readline library - [linenoise.hpp](https://raw.githubusercontent.com/yhirose/cpp-linenoise/master/linenoise.hpp) -コンパイル時にはC++11の機能を有効にする必要があります。`clang++`のパージョン3.5ではこんな感じになります。 +ではコンパイルしましょう。コンパイル時にはC++11の機能を有効にする必要があります。`clang++`のパージョン3.5ではこんな感じになります。 clang++ -std='c++11' -o hello hello.cc @@ -73,7 +74,7 @@ OK OK ``` -見事にPEG版Hello worldをクリアです！（プログラムを終了したい時は`Ctrl+C`を押してください。） +見事にPEG版Hello worldをクリアです！（プログラムを終了したい時は`exit`を入力してください。） -- @@ -87,21 +88,23 @@ OK 続いてPEGで文法を定義します。この文法は「hello world!」という文字列を受け付けるだけのとても簡単なものです。入力文字列の前後や「hello」と「world」の間には，任意の長さのスペースやタブを入れることができます。(ちなみに「world」と「!」の間には入れることができません。) -```cpp -const auto grammar = R"( +``` PROGRAM <- _ 'hello' _ 'world' '!' _ _ <- [ \t]* -)"; ``` この文法を理解するPEGパーサーを生成しましょう。`peglib::peg`がパーサーです。先ほどの定義した文法をコンストラクタに渡してパーサーを生成します。 ```cpp // 文法を読み込んでパーサーを生成 - peg::parser parser(grammar); - - // 文法に誤りがあったかチェック - if (!parser) { + peg::parser parser(R"( + PROGRAM <- _ HELLO _ WORLD '!' _ + HELLO <- [hH] 'ello' + WORLD <- [wW] 'orld' + _ <- [ \t]* + )"); + + if (!parser) { // 文法に誤りがあったかチェック cerr << "grammar error..." << endl; return -1; } @@ -112,8 +115,7 @@ const auto grammar = R"( 最後に`parse`メソッドを呼び、ユーザーの入力した文字列をパースします。成功すると`true`が返ります。 ```cpp - // ユーザーからの入力をパース - if (parser.parse(line.c_str())) { + if (parser.parse(line.c_str())) { // ユーザーからの入力をパース cout << "OK" << endl; } else { cout << "NG" << endl; diff --git a/tutorial/chap_02.md b/tutorial/chap_02.md index c40fbbe..5b75710 100644 --- a/tutorial/chap_02.md +++ b/tutorial/chap_02.md @@ -1,6 +1,6 @@ -# はじめてのPEG +# PEG記法を学ぼう -PEGは言語の文法を定義するための言語で、2004年に[Bryan Ford][Link_Ford]によって発表されました。記法はBNFに似ていますが、言語の構文を定義するだけでなく字句の定義も同一のファイルでに含めることができます。 +PEGは言語の文法を定義するための言語で、2004年に[Bryan Ford][Link_Ford]によって発表されました。記法はEBNFに似ていますが、言語の構文を定義するだけでなく字句の定義も同一のファイルでに含めることができます。 PEGの文法ファイルは「構文規則名(N) <- 式(e)」で表される複数の構文規則で構成されます。例えば簡単な日付フォーマットはこんな感じで定義できるでしょう。 @@ -32,9 +32,25 @@ PEGパーサーは，この文法ファイルの開始規則（DATE）に対し * `&e`（肯定先読み） * `!e`（否定先読み） -ではもう少し複雑な例を見てみましょう。 +幾つか短い例をみてみましょう。 -## CSVフォーマットの定義 +``` +# Ex) 大文字で始まる英単語 +WORD <- [A-Z][A-Za-z-]+ +``` + +``` +# Ex) 数列 [1,2,3...] +NUMBER_LIST <- '[' (NUMBER (',' NUMBER)*)? ']' +NUMBER <- [0-9]+ +``` + +正規表現ととても似ていますね。ではもう少し複雑な例として、CSVファイルための文法を定義してみましょう。 + +``` +abc,"def ghi", jkl +... +``` CSVには様々な方言があるので，今回は以下の仕様を満たすものとします。 @@ -100,7 +116,7 @@ NL <- '\r\n' / '\r' / '\n' ## 空白の除去 -PEGの問題の中で一番よく知られているのは「空白」扱いです。Yaccなどでは，Lexなど外部の字句解析器がテキストのトークン分割を行う際に不必要な空白を除去してくれます。PEGでは構文解析と字句解析が明確に分離されていないため，空白除去の処理も通常の構文規則を用いて行う必要があります。 +PEGの問題の中で一番よく知られているのは「空白」の除去です。Yaccなどでは，Lexなど外部の字句解析器がテキストのトークン分割を行う際に不必要な空白を除去してくれます。PEGでは構文解析と字句解析が明確に分離されていないため，空白除去の処理も通常の構文規則を用いて行う必要があります。 `[123,456,789]`のような数字の配列は，次のように定義できます。 @@ -127,11 +143,11 @@ PEGの問題の中で一番よく知られているのは「空白」扱いで ... _ <- [ \t\r\n]* # 空白文字が0回以上 -この文法で上の2つの例にマッチさせることができますが，`ifxtheny`にも誤ってマッチしてしまいます。トークン間に必ず空白が必要ということで'_'の規則を次のように変更してみます。 +すこし複雑になりましたが、この文法で上の2つの例にマッチさせることができます。しかしこの文法には問題があり，`ifxtheny`にも誤ってマッチしてしまいます。トークン間に必ず空白が必要なので'_'の規則を次のように変更してみます。 _ <- [ \t\r\n]+ # 空白文字が1回以上 -今度は正しく`ifxtheny`がエラーとなります。しかし`if(x)then y`は空白を必要ないにもかかわらず，マッチしなくなってしまいました。こうした時は「否定先読み」を使用して，トークンの切れ目を明確にして解決することができます。 +今度は正しく`ifxtheny`がエラーとなります。しかし今度は、`if(x)then y`は空白を必要ないにもかかわらず，マッチしなくなってしまいました。こうした時は「否定先読み」を使用して，トークンの切れ目を明確にして解決することができます。 IF <- 'if' __ ('(' _)? IDENT (')' _)? 'then' __ EXPR IDENT <- [a-zA-Z][a-zA-Z0-9_-]* __ @@ -143,12 +159,12 @@ PEGの問題の中で一番よく知られているのは「空白」扱いで ## Unicodeのサポート -FordのPEGの論文ではUnicode文字については想定されていません。しかし多言語のテキストを扱うにはUnicodeのサポートが必須です。対応は処理系によってまちまちです。 +FordのPEGの論文ではUnicodeについての言及はありません。しかし多言語のテキストを扱うにはUnicodeのサポートが必須です。Unicodeへの対応は、PEG処理系によってまちまちです。 この本で使用するPEGライブラリ（cpp-peglib）は正式にはUnicodeに未対応ですが，問題なくUTF8のテキストを扱うことができます。U+0800以上の全ての文字を規則名として使用することができます。 このように幾つかの弱点はあるものの，PEGは十分に実用的な文法定義のための言語です。 -次章では，ついにスクリプト言語の文法デザインに着手しましょう。 +次章では，いよいよスクリプト言語のデザインに着手しましょう。 -[Link_Ford]: http://pdos.csail.mit.edu/papers/parsing:popl04.pdf +[Link_Ford]: http://www.brynosaurus.com/pub/lang/peg.pdf diff --git a/tutorial/chap_04.md b/tutorial/chap_04.md new file mode 100644 index 0000000..e69de29 diff --git a/tutorial/toc.md b/tutorial/toc.md index d12e19c..26c6611 100644 --- a/tutorial/toc.md +++ b/tutorial/toc.md @@ -1,10 +1,12 @@ -目次 -==== - - * [序文](intro.md) - * [目次](toc.md) - -## 章 - - 1. [まずは，Hello world](chap_01.md) - 2. [はじめてのPEG](chap_02.md) +目次 +==== + + * [序文](intro.md) + * [目次](toc.md) + +## 章 + + 1. [まずは"Hello world!"](chap_01.md) + 2. [PEG記法を学ぼう](chap_02.md) + 3. [言語"Elements"](chap_03.md) + 4. [四則計算式](chap_04.md)