读懂Alania Turkish Domain Text (alania-domain-text-tr)数据格式:14个字段、10大类别与4级时长分桶完全解析
数据集语音【免费下载链接】alania-domain-text-tr项目地址https://ai.gitcode.com/hf_mirrors/cloud0day3/alania-domain-text-tr点击查看免费下载Alania Turkish Domain Text仓库名alania-domain-text-tr是 PatientDesk AI 开源的土耳其语文本转语音TTS数据集收录 1,439,639 句语音助手真实会说出的句子朗读时长约1,819 小时。本文带你从零读懂它的数据格式14 个字段、10 大类别和 4 级时长分桶分别代表什么以及拿到数据后如何快速上手。 一、数据集速览这个仓库里装了什么打开仓库你会看到非常干净的结构6 个 Parquet 分片文件加上 README 与许可证。文件说明data/part-00000.parquet ~ data/part-00005.parquet数据本体共 6 个分片每个约 19 MB合计 143.9 万行README.md数据集说明字段定义、类别分布、制作流程、更新日志LICENSE.mdCC BY 4.0 许可证与引用要求它解决的是这样一个痛点公开的土耳其语语料里日期、时间、金额、电话号、编码、人名这类服务场景文本极少而这恰恰是语音系统最容易出错的地方。因此这个数据集全部由机器按语音助手会说出的话生成覆盖预约诊所、银行、电商物流、客服等 10 大日常服务类别。 二、数据格式14 个字段逐列解析每一行就是一个独立句子所有列含义如下license为整个语料库共享的溯源字段字段类型/格式含义line_id字符串行的稳定唯一 IDtext_raw字符串模型生成的原始句子text_model字符串经土耳其语归一化后、TTS 模型实际读的形式category枚举所属类别共 10 类见下文tags标签行级标签如question问句bucket枚举时长分桶xs/s/m/lest_dur数值按 14.5 字符/秒估算的朗读时长秒n_chars整数字符数n_sent整数句数lid_tr分数土耳其语语言识别Language ID得分extraJSON子主题subtopic、生成批次、生成模型source字符串来源标识与语料库其他部分共享doc_id字符串文档 IDunit_idx整数文档内的单元索引license字符串许可证语料库共享溯源字段 重点看text_raw 与 text_model 的读法差异这是整个格式中最值得理解的一对孪生字段text_raw保留书面写法如 12,50 TL、SGK、2,5。text_model把书面符号展开成人真正会读出口的声音例如 12,50 TL → on iki lira elli kuruş十二 lira 五十 kuruş、2,5 → iki buçuk二点五、SGK → segeka逐字母按土耳其语习惯连读成一个词。做 TTS 训练或合成时读text_model做文本检索、去重或统计分析时读text_raw。v1.2 版本还依据母语者对 134 个样本的复核修正了缩写读法如 ATM → ateme、THY → teheye详见 README.md 的 Changelog 一节。 溯源字段extra / source / doc_id / unit_idxextra是一个 JSON 字段记录每个句子属于哪个子主题例如appointments_clinics / randevu alma即预约诊所 / 预约挂号、来自哪个生成批次、由哪个模型生成source、doc_id、unit_idx则与其他公开语料共用同一套溯源格式方便跨数据集拼接。️ 三、10 大类别分布谁最多、谁最少按行数量排序的 10 大类别如下类别中文含义行数占比appointments_clinics预约与诊所对话228,33715.9%numbers_codes数字与编码186,70013.0%customer_support客户支持158,94011.0%questions问句155,16210.8%addresses_names地址与人名151,24710.5%ecommerce_cargo电商与物流147,04110.2%banking银行145,37210.1%emotional_empathetic情感与共情表达126,4128.8%confirmations_acks确认与应答103,4037.2%long_explanations较长解释说明37,0252.6%合计—1,439,639100%可以看出数据分布服务导向很明显诊所预约对话 数字编码两类就占了近三成——它们正是语音产品中最考验数字、日期、编码读法的场景。而long_explanations特意保留了少量长句避免模型只会说短句。⏱️ 四、4 级时长分桶xs / s / m / l 是怎么来的数据集按14.5 字符/秒的估算语速把每句话划进 4 个时长桶字段bucket秒数字段est_dur分桶时长范围行数占比xs1–3 秒411,46628.6%s3–6 秒785,77354.6%m6–12 秒195,96813.6%l12–25 秒46,4323.2%这个设计很实用训练或合成语料时你可以按bucket直接筛选目标长度的句子让合成语音的长短句比例贴近真实对话约 83% 是 6 秒以内的短 utterance约 3% 超过 12 秒的长句。 五、数据是怎么来的生成与清洗全流程README.md 的 How it was made 交代了完整管线生成使用Qwen3-30B-A3B-Instruct-2507-FP8Apache-2.0 许可在 vLLM 上运行按类别 子主题逐组提示生成2026 年 9 月。清洗句子切分 → 土耳其语语言识别过滤 → 长度与字符过滤 → 精确去重 近似去重保证每一行都唯一。归一化数字、日期、时间、金额、电话号码、缩写、网址全部按口语读法改写生成text_model。⚠️ 使用前的三个已知局限同样来自 README.md文本为机器写作未逐行人工校对个别句子略显生硬文中的人名、地址、电话、账号均为虚构银行与医疗相关表述不构成任何专业建议少量text_model存在归一化残留如全大写品牌词加词缀时的转写瑕疵。 六、快速上手3 行代码读取你的第一句数据from datasets import load_dataset ds load_dataset(cloud0day3/alania-domain-text-tr, splittrain) print(ds[0][text_raw], -, ds[0][text_model])如果想把仓库拉到本地数据分片通过 Git LFS 存储克隆时需保证 Git LFS 正常工作git clone https://gitcode.com/hf_mirrors/cloud0day3/alania-domain-text-tr克隆后可用 PyArrow 直接读取任意分片例如data/part-00000.parquet再按category、bucket、tags做筛选。 七、许可证与引用方式数据集采用CC BY 4.0许可见 LICENSE.md可自由使用、共享、改编包括商业用途唯一要求是署名 PatientDesk AI。推荐的引用格式Alania Turkish Domain Text by PatientDesk AI, licensed under CC BY 4.0.✅ 总结维度关键结论规模143.9 万句唯一土耳其语句子约 1,819 小时朗读时长格式6 个 Parquet 分片14 个核心字段 1 个共享license字段类别10 大类诊所预约15.9%与数字编码13.0%占比最高时长xs/s/m/l四级分桶按 14.5 字符/秒估算核心设计text_raw保留书面形text_model提供口语读法双字段服务不同用途许可CC BY 4.0可商用需署名一句话记忆想要训练土耳其语音助手就用text_model按bucket取句子想要做文本分析就查text_raw和category。赞分享数据集语音【免费下载链接】alania-domain-text-tr项目地址https://ai.gitcode.com/hf_mirrors/cloud0day3/alania-domain-text-tr点击查看免费下载相关推荐chocV 键盘在 QMK Firmware 中的构建、刷写与键位配置全指南chocV 键盘在 QMK Firmware 中的构建、刷写与键位配置全指南 chocV 是一款 36 键的低矮轴Choc分体键盘其外壳结构源自 Hori数据集语音ZeroClaw v0.8.5 发版全解析ZeroRelay 安全中继、ZeroRouter 路由与供应链加固实践ZeroClaw v0.8.5 发版全解析ZeroRelay 安全中继、ZeroRouter 路由与供应链加固实践 ZeroClaw 是一个跨平台、可自主运行数据集语音PostgREST Domain Representations 完整指南用 PostgreSQL Domain 与 Cast 分离数据存储与 API 呈现格式PostgREST Domain Representations 完整指南用 PostgreSQL Domain 与 Cast 分离数据存储与 API 呈现格后端API网关上一篇如何在5分钟内上手ascii-art从安装到生成第一个ASCII字体艺术下一篇Deep Image Prior中的图像检索相似图像参考修复创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考