TensorFlow 支持 Unicode 编码
原标题:TensorFlow 支持 Unicode 编码
文 / Laurence Moroney, Google TensorFlow 团队;Edward Loper, Google Research 团队
TensorFlow 现在可以支持 Unicode,这是一种标准编码系统,可以表示几乎所有语言的字符。处理自然语言时,了解字符的编码方式非常重要。在像英语这样的小字符集的语言中,每个字符都可以使用 ASCII 进行表示。但是这种方法对于其他语言来说并不实用,例如中文,这些语言有数千个字符。即使处理英文文本,Emojis 等特殊字符也不能用 ASCII 表示。
定义字符及其编码的最常用标准是 Unicode,它几乎支持所有语言。对于 Unicode,每个字符使用唯一的整数 code point 表示,其值介于 0 和 0x10FFFF 之间。当按顺序放置 code point 时,将形成 Unicode 字符串。
Unicode tutorial colab 展示了如何在 TensorFlow 中表示 Unicode 字符串。使用 TensorFlow 时,有两种标准方式来表示 Unicode 字符串:
- 作为整数向量,其中每个位置包含单个 code point
- 作为字符串,使用字符编码将 code point 序列编码到字符串中。有许多字符编码,其中一些最常见的是 UTF-8,UTF-16 等
以下代码分别使用 code point、UTF-8 和 UTF-16 显示字符串 “语言处理” 的编码。
当然,您可能需要在各种表示方式之间进行转换,而 TensorFlow 1.13 已添加了执行此操作的函数:
- tf.strings.unicode_decode: 将字符串标量转换为 code point 的向量(https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/strings/unicode_decode)
- tf.strings.unicode_encode: 将 code point 向量转换为字符串标量(https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/strings/unicode_decode)
- tf.strings.unicode_transcode: 将字符串标量转换为不同的编码(https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/strings/unicode_transcode)
因此,如果要将上述示例中的 UTF-8 解码为 code point 向量,则可以执行以下操作:
当解码包含多个字符串的 Tensor 时,字符串可能具有不同的长度。 unicode_decode 将结果作为 RaggedTensor 返回,其中内部维度的长度根据每个字符串中的字符数而变化。
要了解有关 TensorFlow 中 Unicode 支持的更多信息,请查看 Unicode tutorial colab并浏览 tf.strings 文档(https://www.tensorflow.org/tutorials/representation/unicode)。
相关文章
-
贾跃亭罕见发声,FF91距离量产“只差临门一脚”!
-
知网和期刊网的区别?
-
在寻找深圳最后一台途歌时,我们走进了一个破旧院子
-
任正非内部讲话:外界过分夸大华为 有可能是灾难
-
oppoa72电池多少毫安
-
疫情信息传播,为什么算法显得“不堪一击”
-
【阿里健康:阿里减持股份是谣言】
-
互联网公司春晚拉新战役“升级”:众志成城抗疫情
-
中国有两个“造字”故事,一个在远古传说,一个在虚拟现实
-
增发股票是什么意思(为了再融资而再次发行股票的行为)
-
SAPLicense:那些售前不会告诉你的ERP系统部署方式的坑坑道道
-
二手书电商闲鱼、转转们的花样淘金和眼前僵局
-
热点|拼多多出现BUG黑灰产团队通过漏洞盗取数千万元优惠券
-
丁香医生正面刚权健,支付宝辟谣交易受监控,太吾绘卷销量破百万
-
Uber再次裁员3000人,关闭45个办事处
-
“门外汉”恒大:掀起“地产”造车新运动?
-
AR创企MagicLeap考虑出售,交易额可达100亿美元。
-
年度真香?拼多多启动iPhone优惠活动,最高降价2811元
-
万事利“西湖一号”首发的数字藏品0.5秒抢购一空
-
Blender赛车动画制作学习教程LearnRaceCarAnimationwithBlender
-
QuestMobile:拼多多月活用户达4.29亿,净增3500万
-
工信部:对腾讯采取过渡性行政指导,App新产品检测合格才能上架
-
夸人只会绝绝子,一到吵架就语塞…“语言匮乏”到底是不是一种病?
-
一场直播卖掉一吨咖啡卢旺达大使惊叹中国电商扶贫力
-
东航爆超低价事故:官网订头等舱 上海飞广州只要90元
-
广州公共设施行业企业名录
-
又一家直播平台倒闭:触手直播将于近日关站
-
特斯拉给员工发布邮件:如果你泄密,我们会抓住你,解雇你,可能会起诉你
-
独家调查|“打三折”式被裁、“影视小白”被骗,裁员风暴下的孤独众生相