编程语言语言运行时编译器【免费下载链接】wrenThe Wren Programming Language. Wren is a small, fast, class-based concurrent scripting language.项目地址https://gitcode.com/gh_mirrors/wr/wren点击查看免费下载Wren 的String类是一个以不可变字节数组为底层模型、同时支持文本码点 / 码点数字序列 / 原始字节序列三种视角的内置类型几乎所有文本处理查找、切片、拆分、修剪、替换都建立在这一模型之上。本篇以 doc/site/modules/core/string.markdown 为骨架结合 wren_core.wren、wren_value.c、wren_utils.c 等源码带你彻底掌握 Wren 字符串的索引规则、静态构造方法、全量实例方法、迭代协议与底层 UTF-8 实现并能在自己的 Wren 代码中正确处理多字节文本。一、先理解 Wren 字符串的三种视角Wren 中字符串是不可变immutable的字节数组。字符串通常用来存放文本此时字节就是该文本码点的 UTF-8 编码但你完全可以在里面放任意字节值包括0字节或无效的 UTF-8 序列。官方文档给出了看待一个字符串的三种方式而整个 API 为这三种方式分别提供了支持视角语义对应 API可搜索的文本块由一串文本码点组成的字符序列直接定义在String类上的方法indexOf、startsWith、replace、trim等可迭代的码点数字序列把 UTF-8 解码为一个个数值码点codePointsgetter可直接按下标索引的扁平字节数组无视 UTF-8 编码按字节工作bytesgetter第一种视角最常见所以String类上直接定义的方法主要服务它后两种则通过返回Sequence的 getter 暴露出来。在 wren_core.wren 中可以看到类的定义与两个视图的入口class String is Sequence { bytes { StringByteSequence.new(this) } codePoints { StringCodePointSequence.new(this) } ... }String直接继承自Sequence详见 sequence 文档因此字符串天然支持Sequence上的通用方法如count、where、map等同时额外提供本类特有的文本操作。二、索引是字节偏移不是码点偏移这是 Wren 字符串最容易踩坑、也最需要记住的一条规则。UTF-8 是变长编码一个 Unicode 码点——粗略地说一个字符——可能被编码为 1 到 4 个字节见 wren_utils.c 的wrenUtf8EncodeNumBytes。这意味着你无法高效地按码点索引想跳到字符串中第 5 个码点没有任何捷径只能从开头逐个解码计数。因此传给字符串方法的索引一律是字节偏移byte offset而不是码点偏移someString[3]上面这行的含义是取从第 3 个字节开始的那个码点而不是取字符串中的第 3 个码点。听起来有点吓人但请放心字符串上的方法返回的也是字节索引所以配合起来不会出问题。文档中的经典例子var metalBand Fäcëhämmër var hPosition metalBand.indexOf(h) System.print(metalBand[hPosition]) // hindexOf返回的是h首次出现处的字节偏移把它直接交给下标运算符[]就能精确取回那个字符——即使字符串里混着多字节的ä、ë。这套字节偏移进、字节偏移出的设计让多字节文本处理变得可靠。用 Range 取子串字符串同样支持用 Range 来索引返回一个包含该范围内字节的新字符串作为原串的子串var example hello wren System.print(example[0...5]) // hello System.print(example[-4..-1]) // wren注意负索引-4..-1是从字符串末尾倒数定位的区间。0...5是开区间不含 5-4..-1是闭区间含 -1即最后一个字节。三、静态方法从码点和字节构造字符串String类提供两个静态构造方法都定义在类的 meta 类即类对象本身上注册位置见 wren_core.c。String.fromCodePoint(codePoint)创建一个包含codePoint的 UTF-8 编码的新字符串String.fromCodePoint(8225) // ‡8225 的十六进制是0x2021落在三字节 UTF-8 区间0x800~0xffff。如果codePoint不是0到0x10ffff含之间的整数会触发运行时错误。其底层实现wrenStringFromCodePoint位于 wren_value.c先按码点值算出 UTF-8 编码所需字节数1~4 字节分配恰好长度的ObjString再用wrenUtf8Encode写入字节并计算哈希。wrenUtf8Encode的编码细节单字节0xxxxxxx、双字节110xxxxx 10xxxxxx、三字节1110xxxx ...、四字节11110xxx ...都在 wren_utils.c 中。String.fromByte(byte)创建一个只含单个字节byte的新字符串String.fromByte(255) // 如果byte不是0到0xff含之间的整数会触发运行时错误。对应实现wrenStringFromByte在 wren_value.c它直接分配 1 字节的字符串并把该字节原样填入不做任何 UTF-8 检查——这也印证了字符串可以装任意字节的设计。四、字节视图与码点视图bytes 与 codePointsbytesbytes返回一个Sequence用于访问字符串的原始字节、忽略任何 UTF-8 编码。除了常规的序列方法外返回的对象还带下标运算符可以直接索引字节System.print(hello.bytes[1]) // 101 (for e)这个序列的count返回字符串的字节数与字符串自身的count不同它不需要遍历整个字符串是常数时间因为它直接读取字符串的长度字段。对应实现是 wren_core.wren 中的StringByteSequenceclass StringByteSequence is Sequence { construct new(string) { _string string } [index] { _string.byteAt_(index) } iterate(iterator) { _string.iterateByte_(iterator) } iteratorValue(iterator) { _string.byteAt_(iterator) } count { _string.byteCount_ } }注意它通过byteAt_、iterateByte_、byteCount_这些私有 primitive 直接操作字节完全没有 UTF-8 解码开销。codePointscodePoints返回一个Sequence把字符串当作数字码点序列来访问。迭代和下标的用法与字符串本身类似区别在于返回的是数值码点而不是单字符字符串var string (ᵔᴥᵔ) System.print(string.codePoints[0]) // 40 (for () System.print(string.codePoints[4]) // 7461 (for ᴥ)7461 是ᴥU1D25的十进制码点值。如果index处的字节不是一个有效 UTF-8 序列的开头或者在序列完整解码前就到达了字符串末尾则返回-1var string (ᵔᴥᵔ) System.print(string.codePoints[2]) // -1 (in the middle of ᵔ)这里的索引 2 指向ᵔ三字节编码的中间无法解码所以返回-1作为哨兵值。对应实现是 wren_core.wren 中的StringCodePointSequence其下标与迭代值都经由codePointAt_primitive 解码class StringCodePointSequence is Sequence { construct new(string) { _string string } [index] { _string.codePointAt_(index) } iterate(iterator) { _string.iterate(iterator) } iteratorValue(iterator) { _string.codePointAt_(iterator) } count { _string.count } }注意这里count直接复用字符串的count即码点数因为它要返回的正是码点个数。底层解码行为codePointAt_对应的wrenStringCodePointAt在 wren_value.c它调用wrenUtf8Decodewren_utils.c 起尝试从该字节位置解码一个码点如果返回-1无效序列则退化为把该位置的单个原始字节作为单字节字符串返回。而StringCodePointSequence在下标路径上直接暴露数值所以无效时显示-1。五、文本查询方法contains(other)检查other是否为字符串的子串。如果other不是字符串触发运行时错误。它由 primitivestring_contains提供注册于 wren_core.c。indexOf(search)返回search在字符串中首次匹配处的字节索引找不到则返回-1。search必须为字符串否则运行时错误。indexOf(search, start)带起始偏移的版本从字节偏移start开始向前搜索返回首次匹配处的字节索引找不到返回-1。start可以是负数此时按相对字符串末尾偏移。搜索方向总是从该偏移向字符串末尾前进。运行时错误条件search不是字符串或start不是落在字符串字节长度范围内的整数索引。两个indexOf重载分别注册为indexOf(_)与indexOf(_,_)wren_core.c。值得展开的是底层算法wrenStringFindwren_value.c 起使用Boyer-Moore-Horspool 字符串匹配算法。它预先为 256 个可能的字节值计算 shift 表当窗口末尾字符不匹配时可以一次跳过多个字节而不是逐字节推进——这解释了为什么indexOf在 Wren 中被实现为 primitive 而非纯 Wren 代码也说明它对较大文本的搜索是有性能考量的。startsWith(prefix) 与 endsWith(suffix)分别检查字符串是否以prefix开头、以suffix结尾。参数不是字符串时均触发运行时错误。对应 primitivestring_startsWith、string_endsWithwren_core.c。六、统计countcount返回字符串中的码点个数。由于 UTF-8 是变长编码这需要遍历整个字符串逐个解码因此相对较慢。如果字符串中包含无效 UTF-8 字节每个这样的字节也会为计数加 1即按原始字节计。对比记忆bytes.count是常数时间直接读字节长度codePoints.count与字符串自身的count都是需要遍历的码点数。官方还特别提醒把字符串当作码点序列遍历时无效字节会以每字节一个的方式被包含进来——这正是count对无效字节加 1 的同一套行为。七、迭代协议iterate / iteratorValueString实现了 Wren 的迭代器协议iterate(iterator)与iteratorValue(iterator)用于遍历字符串中的码点以单字符字符串形式返回。因此你可以直接用for循环var codePoints [] for (c in (ᵔᴥᵔ)) { codePoints.add(c) } System.print(codePoints) // [(, ᵔ, ᴥ, ᵔ, )]如果字符串中包含无效 UTF-8 字节迭代会把这些字节也逐个一字节一次遍历出来。primitive 注册见 wren_core.citerate(_)与iteratorValue(_)。结合上一节可以看到一条清晰的分工字符串自身的迭代与count走码点解码路径bytes视图走原始字节路径。两种路径对应的 primitiveiterate/iteratorValue与iterateByte_/byteAt_互不相同。八、文本变换方法replace(old, swap)返回把所有old出现处替换为swap之后的新字符串。文档示例var string abc abc abc System.print(string.replace( , )) // abcabcabc它在 wren_core.wren 中纯 Wren 实现先校验from是非空字符串、to是字符串否则Fiber.abort然后循环调用indexOf(from, last)定位每一处匹配用拼接出结果。注意它要求old非空空串会直接 abort这一点和下面split的约束一致。split(separator)返回由separator分隔出的一个或多个字符串组成的列表var string abc abc abc System.print(string.split( )) // [abc, abc, abc]如果separator不是字符串或是空字符串触发运行时错误。实现同样在 wren_core.wren使用indexOf循环切分尾部余量用this[last..-1]取出如果分隔符恰好切到末尾还会补一个元素保证一个或多个字符串的语义。trim 家族六种修剪String提供了三对修剪方法每一对都包含无参版本修剪标准空白与带参版本修剪指定码点集合方法行为默认修剪字符示例trim()去掉首尾空白空格、制表符、回车、换行 \nstuff\r\t.trim()→stufftrim(chars)去掉首尾所有出现在chars中的码点由chars指定ᵔᴥᵔᴥᵔbearᵔᴥᴥᵔᵔ.trim(ᵔᴥ)→beartrimEnd()同trim()但只修剪末尾同上 \nstuff\r\t.trimEnd()→ \nstufftrimEnd(chars)同trim(chars)但只修剪末尾由chars指定ᵔᴥᵔᴥᵔbearᵔᴥᴥᵔᵔ.trimEnd(ᵔᴥ)→ᵔᴥᵔᴥᵔbeartrimStart()同trim()但只修剪开头同上 \nstuff\r\t.trimStart()→stuff\r\ttrimStart(chars)同trim(chars)但只修剪开头由chars指定ᵔᴥᵔᴥᵔbearᵔᴥᴥᵔᵔ.trimStart(ᵔᴥ)→bearᵔᴥᴥᵔᵔ官方对空白的界定是空格、制表符tab、回车CR、换行LF。实现全部收敛到私有方法trim_(chars, trimStart, trimEnd)wren_core.wren先校验chars是字符串再把它转成码点列表从首尾两个方向调用codePointAt_逐个解码并与列表比对跳过匹配的码点最后用this[start..end]切片返回。带参版本按码点而非字节比较所以trim(ᵔᴥ)能正确修剪多字节的ᵔ和ᴥ。九、运算符重载String重载了五个运算符全部是运行时检查严格的 primitive运算符语义错误条件注册位置(other)拼接返回this与other连接而成的新字符串other不是字符串wren_core.cstring_plus*(count)重复返回this重复count次的新字符串count不是正整数见下方实现说明(other)判断两字符串是否相等按字节/值比较无ObjString值比较!(other)判断两字符串是否不等无同上[index]返回从字节index开始的码点组成的单字符字符串index超出字符串字节数wren_core.cstring_subscript*运算符在 wren_core.wren 中实现校验count必须是Num且为整数且非负否则Fiber.abort然后循环count次拼接自身。文档中给出的是正整数的宽松描述源码实际检查是非负整数。下标运算符[index]值得单独说明——它返回从字节index处开始的那个码点组成的字符串System.print(ʕ•ᴥ•ʔ[5]) // ᴥ因为ʕ在 UTF-8 中是两个字节、•是三个字节所以第 5 个字节正好指向熊的鼻子ᴥ。如果index指向某个 UTF-8 序列的中间或无效 UTF-8则返回包含该位置那个原始字节的单字节字符串System.print(I ♥ NY[3]) // (one-byte string [153])这里♥是三字节编码索引 3 落在它中间所以返回原始字节0x99十进制 153。如果index大于字符串的字节数触发运行时错误。这一无效即返回原始单字节的行为正是前面wrenStringCodePointAt中wrenUtf8Decode返回-1时的退化分支wren_value.c。十、源码中的完整注册表字符串相关的所有 primitive 统一注册在 wren_core.c一张表看清Wren 方法名 → C 实现的映射PRIMITIVE(vm-stringClass-obj.classObj, fromCodePoint(_), string_fromCodePoint); PRIMITIVE(vm-stringClass-obj.classObj, fromByte(_), string_fromByte); PRIMITIVE(vm-stringClass, (_), string_plus); PRIMITIVE(vm-stringClass, [_], string_subscript); PRIMITIVE(vm-stringClass, byteAt_(_), string_byteAt); PRIMITIVE(vm-stringClass, byteCount_, string_byteCount); PRIMITIVE(vm-stringClass, codePointAt_(_), string_codePointAt); PRIMITIVE(vm-stringClass, contains(_), string_contains); PRIMITIVE(vm-stringClass, endsWith(_), string_endsWith); PRIMITIVE(vm-stringClass, indexOf(_), string_indexOf1); PRIMITIVE(vm-stringClass, indexOf(_,_), string_indexOf2); PRIMITIVE(vm-stringClass, iterate(_), string_iterate); PRIMITIVE(vm-stringClass, iterateByte_(_), string_iterateByte); PRIMITIVE(vm-stringClass, iteratorValue(_), string_iteratorValue); PRIMITIVE(vm-stringClass, startsWith(_), string_startsWith); PRIMITIVE(vm-stringClass, toString, string_toString);可以看出设计上的分层带下划线后缀的byteAt_、byteCount_、codePointAt_、iterateByte_属于内部 primitive不面向用户直接调用而是被bytes/codePoints两个序列视图以及trim_等 Wren 层代码复用面向用户的是文档中列出的公开方法。十一、用测试用例验证行为仓库的 test/core/string/ 目录提供了覆盖本主题的完整测试集可以作为你验证理解的活文档索引与切片subscript.wren、subscript_range.wren、subscript_range_to_exclusive_too_large.wren 等验证字节偏移语义与越界行为查询与匹配index_of.wren、index_of_start.wren、contains.wren、starts_with.wren、ends_with.wren迭代iterate.wren、iterator_value.wren变换replace.wren、split.wren、trim.wren、trim_start.wren、trim_end.wren构造from_code_point.wren、from_byte.wren含越界与类型错误用例运算concatenation.wren、multiply.wren、equality.wren。例如 index_of_start_too_large.wren 与 index_of_start_too_small.wren 正是对start必须落在字节长度范围内这一运行时错误条件的回归测试subscript_too_large.wren 则验证了index大于字节数即报错的规则。十二、实践要点速查索引永远按字节所有下标、indexOf的返回值、Range 切片边界都是字节偏移配合方法返回字节索引的约定多字节文本不会出错。三种计数别混淆count是码点数需遍历无效字节按单字节计bytes.count是字节数常数时间codePoints.count与count等价。无效 UTF-8 不致命[index]对无效位置返回原始单字节codePoints[i]对无效位置返回-1for迭代会逐个字节带过无效区。构造边界fromCodePoint接受0~0x10fffffromByte接受0~0xff越界或类型不符都会产生运行时错误。需要原始字节时走bytes视图它绕开解码下标直接取字节值数值适合二进制数据处理。性能认知indexOf底层是 Boyer-Moore-Horspool 算法见 wren_value.c适合较大文本的搜索而count需要完整遍历非必要时避免在热路径上反复调用。至此你已经掌握了 Wren 字符串从字节数组模型到全量 API再到底层 UTF-8 实现的完整图景可以放心地在 Wren 中处理包括多字节 Unicode、无效编码与二进制字节在内的各类字符串场景。赞分享编程语言语言运行时编译器【免费下载链接】wrenThe Wren Programming Language. Wren is a small, fast, class-based concurrent scripting language.项目地址https://gitcode.com/gh_mirrors/wr/wren点击查看免费下载相关推荐Alga代数图核心原理解析从Empty、Vertex到Overlay和Connect的完整指南Alga代数图核心原理解析从Empty、Vertex到Overlay和Connect的完整指南 Alga是一个基于Haskell的代数图库它通过优雅的数学抽Aptos Move 标准库 string 模块深度解析UTF-8 字符串的类型安全设计与 Native 实现Aptos Move 标准库 string 模块深度解析UTF 8 字符串的类型安全设计与 Native 实现 string 模块是 Move 标准库中定义区块链Web3Faker::String 随机 UTF-8 字符串生成全指南length 选择器、源码解析与测试验证Faker::String 随机 UTF 8 字符串生成全指南length 选择器、源码解析与测试验证 Faker::String 是 faker 库中专门用测试开发工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
