github shuntilettuce/Japanese-IME-for-HarmonyOS-next shuntelligence-v3
shuntelligence v3 (AI変換の辞書とモデル: 固有名詞・郵便番号・絵文字入りの辞書、XS3・S6・M4)

one month ago

shunti IME の AI変換 (shuntelligence) の辞書とモデル。ビルド前に python tools/fetch_ai_assets.py で取得する (SHA-256 は tools/ai_assets.json)。Windows / Linux 0.4.0・Android 1.1.0 から使う。

  • kkc_lex_v3.bin — shuntorge (AI変換の辞書)。v2 に次を足した。辞書の中身が Wikipedia 由来の語を含むため、ファイル全体は CC BY-SA 4.0
    • 固有名詞 約 28 万語 (人名・企業・作品・名字・名前、カタカナ題名の「・」入り表記と英語の原題)。Wikipedia 日本語版 2026-10-01 のダンプの冒頭「題名(よみ)」から (CC BY-SA 4.0、表示: "Wikipedia contributors, Japanese Wikipedia")
    • 郵便番号 → 住所 約 12 万件 (日本郵便 郵便番号データ。著作権を主張しない・自由に配布してよいとされている)
    • 絵文字の代表と並び (Unicode CLDR 48 の日本語名と emoji-test.txt、Unicode License v3)
    • 英単語 約 8000 語の読み (いんじぇくしょん → injection。単語の選定に CEFR-J Wordlist 1.5 を使用、読みは独自) と、英字の語・略語
  • kkc_model_q8.bin — shuntelligence S6 (標準)。v2 と同じもの
  • kkc_model_light.bin — shuntelligence XS3 (軽量、約 210 万パラメータ)。メモリの少ない PC・性能の低いスマホ向け
  • kkc_model_high.bin — shuntelligence M4 (高精度、約 1580 万パラメータ)。速い PC 向け

モデルはどれも CC BY 4.0 (表示: "shuntelligence (shuntilettuce)")。

エンジン単体 (int8・段階式) AJIMEE-Bench (200 問) 日常の文 (105 文) 1 回の変換 (PC、平均) 大きさ
XS3 (軽量) 61.5% 88.6% 1.7 ms 8.3 MB
S6 (標準) 69.5% 91.4% 3.7 ms 24.8 MB
M4 (高精度) 77.0% 91.4% 8.6 ms 61.6 MB

固有名詞を足した効果 (学習に使っていない FineWeb-2 の文から作った、今の辞書に無い名前の 4000 問): 名前が 1 位 37.6% → 52.1%、上位 5 位まで 53.4% → 80.5%。ほかの評価 (AJIMEE・日常・入力ログ・英字交じり) は下がっていない。

学習のコードと教材は公開していません。学習に使った文章の出典は DATA_SOURCES.md を参照。

Don't miss a new Japanese-IME-for-HarmonyOS-next release

NewReleases is sending notifications on new releases.