3LM-MLX/.gitignore at main · hiroki-abe-58/3LM-MLX · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
__pycache__/
*.pyc
.DS_Store
.venv/
.ruff_cache/

# コーパス (数GB ある。manifest と構築スクリプトから作り直せる)
data/corpus*.txt
data/corpus*.meta.json
data/val_pretrain.txt
# manifest は再現の根拠なので追跡する
!data/corpus_pretrain.manifest.json

# トークン列 (.bin) は再生成できる
data/3lm/
data/sft*/
data/scaling_*/
data/cache*/
data/raw/*
!data/raw/.gitkeep
# ギャル会話 2,610件はここには置かない。作ったのはその3で、置き場は
# 3LM-MLX-GAL。同じものを3箇所に持つと、直したときに気づけない場所ができる。
# https://github.com/hiroki-abe-58/3LM-MLX-GAL

# チェックポイントは git で配らない。
# 35.66M パラメータの重みは 136MB で、GitHub の 1ファイル 100MB 制限を超える
# (前作は 13.81M = 53MB だったので入っていた)。LFS を挟むより、
# 重み専用の置き場である Hugging Face に置く。
# 構成 (config.json) は README とモデルカードに書いてあるので、ここでは追わない。
checkpoints/

# 学習ログ。曲線と評価結果と要約だけ残す
runs/*
!runs/3lm/
runs/3lm/*
!runs/3lm/pretrain_loss.csv
!runs/3lm/sft_loss.csv
!runs/3lm/gal_loss.csv
# 要約はログ名から作るので <ログ名>_summary.json になる
!runs/3lm/*_summary.json
!runs/3lm/calibration.json
# 土俵ごとの bits/char。「どの検証セットで測ったか」の根拠
!runs/3lm/domain_bpc.json
# 図に載せた返答の全文。切り方で印象を作っていないか確認できるようにする
!runs/3lm/reply_compare.json
!runs/3lm/gal_reply_compare.json
!runs/3lm/scaling/
runs/3lm/scaling/*
!runs/3lm/scaling/*.csv
!runs/3lm/scaling/summary.json
!runs/eval_*.json
# 検査の結果は「混入なし」「引き出せなかった」「再開が効く」の根拠なので残す
!runs/3lm/leak_check*.json
!runs/3lm/pii_check.json
!runs/3lm/killtest.json

# heartbeat は途中の状態なので残さない
**/heartbeat*.json

# 記事の原稿はローカル管理 (docs/images だけ公開する)
docs/*.md