Add a new tokenizer with a base of morphological analysis of Japanese instead of TokenMecab about groonga HOT 1 OPEN

メモ：

例えば、 https://github.com/daac-tools/vibrato を使うとすると、vibratoはRustで実装されているのでCから呼び出すにはFFIを使う。RustはFFIの機構がデフォルトで備わっているので、Cから呼び出せるように関数を定義すれば呼び出せる。ただ、ソースを見た感じCから呼び出せるようにはなってない。

なので、 https://github.com/daac-tools/python-vibrato のようなラッパーを作ってCから呼び出せるようにするか、WASMのRuntimeをGroongaに組み込んでRustのソースをWASMのバイナリーにコンパイルして実行させることでも実現できそう。

WASMのRuntimeは https://github.com/wasmerio/wasmer とか、 https://github.com/bytecodealliance/wasmtime は別言語からの組み込み方法についてドキュメントがあるのと、活発にメンテナンスされていそうなので、どっちらかを組み込むのが良さそうに思える。

from groonga.