用文字书写日常,用镜头收藏世界。这里是我思考、旅行与按下快门的角落。
杭州 · 太子尖 · 日出...
宁波市...
江西 · 武功山
绍兴市 · 鲁迅故居...
Tokenization(分词)是将文本分解成较小单元(称为 Token)的过程,这些单元可以是单词、子词、字符或标点符号。它是大模型(如语言模型)处理文本的第一步,为后续的编码和理解奠定基础。
烟雨江南 · 苏州...