機械学習の英語論文で頻出の英単語 35 語
機械学習の論文は、カタカナで済ませがちな語(ablation、baseline、inference など)に、ふだんの英語とは違う決まった意味があります。実験の節で手法をどう比べたかを読むには、これらの語の正確な意味が欠かせません。
各語に、品詞、機械学習の論文での意味、一般的な意味との違い(ある場合)、例文を載せています。例文は説明のために作った文で、実在の論文からの引用ではありません。
A
- ablation名詞
- アブレーション。モデルの構成要素を 1 つずつ取り除き、それぞれの寄与を調べる実験。
- 一般の意味との違い医学・一般では「切除、除去」。
- An ablation study shows that removing the auxiliary loss reduces accuracy by 2.1 points.
- attention名詞
- アテンション(注意機構)。入力のどの部分を重視するかを重みとして計算するしくみ。
- 一般の意味との違い一般には「注意、注目」。
- Each layer applies multi-head self-attention followed by a feed-forward network.
B
- baseline名詞
- ベースライン。提案手法と比べる対象となる、既存の手法や単純な手法。
- 一般の意味との違い一般には「基準線、基準値」。
- Our method outperforms all baselines on four of the five datasets.
- batch名詞
- バッチ。パラメータを 1 回更新するために、まとめて処理するサンプルの集まり。
- 一般の意味との違い一般には「(一回分の)束、一群」。
- We train with a batch size of 256 and a learning rate of 3e-4.
- benchmark名詞
- ベンチマーク。手法の性能を比べるための、標準的なデータセットや課題。
- 一般の意味との違い一般には「基準、水準点」。
- We evaluate on three widely used benchmarks for open-domain question answering.
C
- converge動詞
- 収束する。学習を続けると、損失やパラメータが一定の値に落ち着く。
- 一般の意味との違い一般には「集まる、一点に集中する」。
- Training converges within 20 epochs when the learning rate is warmed up.
D
- distribution shift名詞句
- 分布シフト。学習時と評価・運用時で、データの分布が異なること。
- Performance drops sharply under distribution shift to images from a new hospital.
- downstream task名詞句
- 下流タスク。事前学習したモデルを転用して解く、具体的な目的の課題。
- The pretrained encoder transfers well to a range of downstream tasks.
E
- embedding名詞
- 埋め込み(表現)。単語や画像などを、意味を反映した連続値のベクトルに変換したもの。
- 一般の意味との違い一般には「埋め込むこと」。
- Sentence embeddings are obtained by mean pooling over the final hidden states.
- empirically副詞
- 実験的に、経験的に。理論的な証明ではなく、実験の結果として。
- We empirically find that larger models are more sample-efficient.
- epoch名詞
- エポック。学習データ全体を 1 回通して学習すること。
- 一般の意味との違い一般には「時代、新時代」。
- Models are trained for 100 epochs with early stopping on the validation loss.
F
- fine-tune動詞
- ファインチューニングする。事前学習したモデルを、目的のデータで追加学習する。
- 一般の意味との違い一般には「微調整する」。
- We fine-tune the model on 10,000 labeled examples for each target language.
G
- generalize動詞
- 汎化する。学習に使っていないデータに対しても性能を保つ。
- 一般の意味との違い一般には「一般化する、概括する」。
- The model fails to generalize to sequences longer than those seen during training.
- gradient名詞
- 勾配。損失をパラメータで微分した値。この向きにパラメータを更新する。
- 一般の意味との違い一般には「傾斜、(色の)グラデーション」。
- We clip the gradient norm to 1.0 to stabilize training.
- ground truth名詞句
- 正解(データ・ラベル)。予測を評価する基準となる真の値。
- 一般の意味との違いもとはリモートセンシングで「現地で実測した値」。
- Predicted masks are compared with ground truth annotations from two radiologists.
H
- held-out形容詞
- 学習に使わずに取っておいた。評価用に分けておいたデータを指す。
- We report accuracy on a held-out test set of 5,000 images.
- hyperparameter名詞
- ハイパーパラメータ。学習率や層の数など、学習の前に人が決める設定値。
- All hyperparameters were selected on the validation set.
I
- inference名詞
- 推論。学習済みのモデルで、新しい入力に対する予測を出すこと。
- 一般の意味との違い統計学では「統計的推測」、一般には「推論、推測」。機械学習では予測の実行(計算)を指すことが多い。
- Quantization reduces inference latency by 40% with negligible loss in accuracy.
L
- latent形容詞
- 潜在の。直接は観測されず、モデルの内部で表される(latent space: 潜在空間)。
- 一般の意味との違い一般には「隠れた、潜伏している」。
- The decoder maps a latent vector to an image.
- loss名詞
- 損失(関数)。予測と正解のずれを数値にしたもの。学習ではこれを小さくする。
- 一般の意味との違い一般には「失うこと、損失」。
- We add a contrastive loss term weighted by λ = 0.1.
O
- objective名詞
- 目的関数。学習で最小化(または最大化)する量。
- 一般の意味との違い一般には「目標」、形容詞では「客観的な」。
- The training objective combines a reconstruction term with a KL penalty.
- outperform動詞
- (性能で)上回る。
- The proposed model outperforms the previous state of the art by 3.4 F1 points.
- overfit動詞
- 過学習する。学習データに合わせすぎて、未知のデータでの性能が落ちる。
- Without dropout, the model quickly overfits the small training set.
P
- pretrain動詞
- 事前学習する。大量のデータで汎用的な学習を先に行う。
- The encoder is pretrained on 1.2 billion unlabeled sentences.
- prompt名詞
- プロンプト。言語モデルに与える指示や入力の文。
- 一般の意味との違い一般には「きっかけ、促し」、形容詞では「即座の」。
- Accuracy varies considerably with the wording of the prompt.
R
- regularization名詞
- 正則化。過学習を防ぐため、モデルの複雑さに罰則を加えるなどの工夫。
- 一般の意味との違い一般には「(制度上の)正規化、合法化」。機械学習の normalization(正規化。値の尺度をそろえる処理)とは別の概念。
- We apply weight decay as regularization with a coefficient of 0.01.
- representation名詞
- 表現。入力をモデルの内部でベクトルなどとして表したもの。
- 一般の意味との違い一般には「代表、描写」。
- Intermediate representations capture syntactic information better than the final layer.
- robust形容詞
- 頑健な。ノイズや攻撃、分布の変化があっても性能が落ちにくい。
- 一般の意味との違い一般には「たくましい、丈夫な」。
- Adversarial training makes the classifier more robust to small input perturbations.
S
- scalable形容詞
- スケーラブルな。データやモデルが大きくなっても、計算量やコストが現実的な範囲に収まる。
- The method is scalable to graphs with millions of nodes.
- sparse形容詞
- 疎な。ほとんどの要素がゼロである(sparse matrix: 疎行列)。
- 一般の意味との違い一般には「まばらな、乏しい」。
- Sparse attention reduces the cost from quadratic to linear in sequence length.
- state-of-the-art形容詞
- 既存の最高性能の。その時点で最も良い結果を出している手法(SOTA)を指す。
- 一般の意味との違い一般には「最新式の」。
- Our approach achieves state-of-the-art results on both benchmarks.
T
- token名詞
- トークン。モデルが扱うテキストの最小単位(単語やその一部)。
- 一般の意味との違い一般には「しるし、代用硬貨」。
- Inputs longer than 512 tokens are truncated.
- tractable形容詞
- 計算可能な、扱いやすい。現実的な時間で計算できる。反対は intractable。
- 一般の意味との違い一般には「(人や動物が)従順な」。
- The exact posterior is intractable, so we optimize a tractable lower bound.
- trade-off名詞
- トレードオフ。一方を良くするともう一方が悪くなる関係。
- Figure 3 shows the trade-off between accuracy and inference speed.
- tune動詞
- 調整する。ハイパーパラメータなどを、検証データでの性能を見ながら決める。
- 一般の意味との違い一般には「(楽器を)調律する」。
- The temperature was tuned on the development set.
読んでいる論文から、自分の辞書を作る。
Goipon では、機械学習の論文の PDF を開いて、引っかかった単語をタップするだけで、その一文での意味と出典がそろったカードができます。ここにない単語も、自分が読んだ文で覚えられます。
この分野の論文を Goipon で読む
辞書 100 語まで無料。クレジットカードの登録は不要です。