The Feature package is a lightweight implementation of numpy, but it is not well tested. i.e.soft max function

English version is bellow Japanese. (From DeepL.com)

概要

移植元の namedivider-python に存在する file サブコマンドを移植していただけると嬉しいです。

• https://github.com/rskmoi/namedivider-python#cli
• https://github.com/rskmoi/namedivider-python/blob/master/namedivider/cli.py#L24

考えているメリット

• 複数件の名前を分割したい場合に、複数回 $ seimei --name ${undevidedName} と呼ぶ必要がなくなるため、コマンド実行のオーバーヘッドがなくなるパフォーマンス改善
• 直接コマンドの引数に分割前の名前が入らなくなるため、OSコマンドインジェクションの実行リスクが低減できる

考えうるデメリット

• 複雑なファイル周りの対応が必要になるので、このコマンドのメンテナンスコストが増える点
  • 入力されるファイルの文字コードを考慮する必要がある
  • 一定サイズ以上のファイルを受け付けないようにする必要がある。など。

期待しているファイル形式と、ワーストケース

• namedivider-python と同じような形でテキストファイル（1行に1人の分割前フルネーム）を受け取り、標準出力に分割後のフルネームを出力する
• 私のユースケースでは最大でも1GBほどのテキストファイルを読み込み、出力できることを期待しています

About

It would be great if you could port the file subcommand that exists in the ported namedivider-python.

• https://github.com/rskmoi/namedivider-python#cli
• https://github.com/rskmoi/namedivider-python/blob/master/namedivider/cli.py#L24

Merits

• If you want to split multiple names, you don't have to call $ seimei --name ${undevidedName} multiple times, which improves performance by eliminating the overhead of executing the command.
• The risk of OS command injection execution is reduced because the name before the split is no longer included in the direct command argument.

Demerits

The maintenance cost of this command increases due to the complexity of processing around files.

For example, "it is necessary to consider the character encoding of the input file," "it is necessary to prevent the acceptance of files over a certain size," etc.

Added missing information

Expected file format and worst case

• "namedivider-python" as well as accepts a text file (list with one pre-divider full name per line) and outputs the post-divider full name to standard output.
• I expect to be able to read and output a text file of about 1GB at most for my use case.

The expectation is ${version}-${revision}, but it display unknown-unknown

$ seimei -h

Usage of seimei(unknown-unknown):
....

reference

rskmoi/namedivider-python@bb9e091

topic

Algorithm Modification

There are some points that would be more accurate if changed in the handling of the number of characters( n=4).

https://github.com/rskmoi/namedivider-python/blob/bb9e091bd81790f1a647d38122600df0abde5505/namedivider/divider/config.py#L41

Gradient Boosted Decision Tree (GBDT )

Accuracy is improved in exchange for execution speed.
(about 99.5% -> 99.9%)

detail:
https://dune-fifth-da7.notion.site/NameDivider-9118f1a74ca545629dbbfa606a39ba0a