llm-jp / awesome-japanese-llm Goto Github PK

https://huggingface.co/lightblue/jod

https://ja.stability.ai/blog/japanese-stable-vlm

https://huggingface.co/izumi-lab/deberta-v2-base-japanese

コミュニティによる記事の改善を促進するため、リポジトリにコミットした人一覧であるContributorsを表示させたい。

https://github.com/BobAnkh/add-contributors を試したところ、README にはうまく表示されたが、Jekyll の設定により html タグがエスケープされてしまったため GitHub Pages には表示されなかった。
Jekyll をやめて他の静的サイトビルダーに乗り換えるところから検討する必要があるかもしれない。

https://www.cyberagent.co.jp/news/detail/id=29479

あくまで @kaisugi が暫定で置いているもので、状況に応じて柔軟に変更します

モデル

• 特定のタスクに特化したモデル（BERTをQAデータセットに fine-tuning させたもの等）は掲載しない
• 元のモデルを量子化したものや GGML/GGUF フォーマットに変換したものは掲載しない
  • ただし、モデル開発元が公式に出している場合は載せても良さそう

データセット/リーダーボード

• 原則として、LLMを構築した企業/研究機関が評価に使用したもののみを掲載する
  • とはいえ、知名度などから掲載した方がよさそうなものは有志で適宜追加したい

https://rinna.co.jp/news/2023/10/20231031.html

現状は、エクセルシートから生成する仕組みになっているが、メンテナンスが大変。
matplotlibのコードから自動で生成できる仕組みにしたい。

https://github.com/garrettj403/SciencePlots よさそう。

https://tech.stockmark.co.jp/blog/202310_stockmark_13b/

• https://github.com/Stability-AI/lm-evaluation-harness
• https://wandb.ai/wandb/LLM_evaluation_Japan/reports/LLM-JGLUE---Vmlldzo0NTUzMDE2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa
• https://yuzuai.jp/benchmark

https://arxiv.org/abs/2310.10083

are there multi modal LLMs (visual language)

https://ja.stability.ai/blog/japanese-stable-lm-beta

Elyza task 100 も追加したい
https://huggingface.co/datasets/elyza/ELYZA-tasks-100

#68 の対応の際に #58 の対応部分が消えてしまっている。

パラメータ数の図の縦軸に単位がつけれらていません。おそらく billion だと思いますが、追加した方がよいと思います。

https://huggingface.co/cl-tohoku/stable-diffusion-xl-jp-base-1.0

@kaisugi さん、日本語LLMまとめページの作成ありがとうございます！

パラメタ数・公開時間の図に、rinnaモデルに関する情報の追加をお願いしたいと思いますが。
rinna早期モデルの代表として

• rinna/japanese-gpt2-smallとrinna/japanese-gpt2-medium は2021年4月に公開されました。
• rinna/japanese-gpt-1b は2022年1月に公開されました。

こちらの情報は記事とcommit historyで確認できます。
パラメタ数・公開時間の図に追加してもらえば幸いです！

よろしくお願いします。

https://github.com/turingmotors/heron

埋め込みモデルはLLMをfine-tuningしただけものが通例なのでこれまで掲載していなかったが、text-embedding-ada-002 のような埋め込みモデルの知名度が上がったこともあり、載せると需要がありそう。
https://github.com/oshizo/JapaneseEmbeddingEval にあるモデルのうち、日本語LLMベースのモデルを掲載する

https://llm-jp.nii.ac.jp/llm/2023/10/20/13b-model-release.html

LLama-v2 の件を見ると「オープンソース」という言い回しはやめた方が良さそうである。（そもそもこの記事の元々のタイトルは「フリーで使える日本語の主な大規模言語モデル（LLM）まとめ」だった）
公開されていて、誰でも試せる、というニュアンスの適切な表現に代替したい。

• NovelAI/genji-jp
• izumi-lab/llama-13b-japanese-lora-v0-1ep
• izumi-lab/llama-7b-japanese-lora-v0-5ep
• lightblue/japanese-mpt-7b
• NTQAI/ChatNTQ-7B-Japanese
• blinkdl/rwkv-4-world-jp55
• llama-2-70b-chat-4bit-japanese-v1
• ganchengguang/Yoko-7B-Japanese-v1

参考: https://yuzuai.jp/benchmark

https://tech.preferred.jp/ja/blog/llm-plamo-instruct/

現在の図においては2022/07頃にプロットされていますが、NECのLLMに関するプレスリリースが出たのは2023/07頃なので1年分ずれているように見えます。

https://jpn.nec.com/press/202307/20230706_02.html

GitHub の Markdown 表示は横幅が狭く見づらいため、同内容を GitHub Pages として表示させたい

https://ja.stability.ai/blog/japanese-stable-lm-3b-4e1tjapanese-stable-lm-gamma-7b

https://huggingface.co/retrieva-jp/japanese-spoken-language-bert/blob/main/README_JA.md

https://github.com/Stability-AI/FastChat

https://github.com/kunishou/do-not-answer-ja#japanese-do-not-answer-leaderboard

https://rinnakk.github.io/research/benchmarks/lm/

継続事前学習モデル がトレンドになりつつあるため。

https://github.com/hitoshizuku7/LLM_Judge_ku

https://github.com/hppRC/simple-simcse-ja

もはや HuggingFace でモデルを使えることが当たり前になったため。