分詞對訓練模型相當重要。簡單來說，就是將一段文本分割成很多單詞或者子單詞， 這些單詞或者子單詞將會通過一個表格被認知為名詞，專有名詞，或是助語詞之類，也就是將文章的詞彙轉為有意義的關建數值。這個 HuggingFace 的介紹包含了 CoLab 嘅筆記，你可以直接試用不同的分詞技術。