SuperGLUE 数据集快速上手：3 步用 Hugging Face datasets 加载 Parquet 数据的完整指南

【免费下载链接】super_glue项目地址https://ai.gitcode.com/hf_mirrors/aps/super_glue点击查看免费下载 想在 3 分钟内用上SuperGLUE基准测试数据吗本文面向新手用Hugging Face datasets库仅 3 步就能加载SuperGLUE Parquet数据并查看内容还附上 11 个子任务的清单和常见报错避坑指南。SuperGLUE 是 2019 年发布的更困难版GLUE 语言理解基准涵盖自然语言推理、阅读理解、词义消歧、共指消解等 11 个任务。Hugging Face 官方仓库中每个任务的数据都按 Parquet 格式分片存放datasets 库会自动下载并转换无需手动处理。准备工作安装 datasets 库只需要一行命令pip install -U datasets 如果你用的是 Conda 环境可以把pip换成conda或改用pip install避免依赖冲突。确认安装成功python -c import datasets; print(datasets.__version__)能打印出版本号如3.x.x即可开始下一步。第 1 步一行代码加载 SuperGLUE 数据SuperGLUE 在 Hugging Face Hub 上由config_name区分 11 个子任务所以加载时要传两个参数数据集名 配置名。from datasets import load_dataset dataset load_dataset(super_glue, boolq) print(dataset)运行后会看到类似输出DatasetDict({ train: Dataset({ features: [question, passage, idx, label], num_rows: 9427 }), validation: Dataset({...}), test: Dataset({...}) })几个关键参数说明参数含义示例第 1 个参数数据集名称super_glue第 2 个参数config子任务配置名boolq、rte、copasplit只加载某个数据划分splitvalidationstreaming流式读取省内存streamingTrue只想加载验证集加一个split参数即可dataset load_dataset(super_glue, cb, splitvalidation)第 2 步查看字段结构与数据样例数据集加载后自带features属性能列出所有字段名和类型。以boolq为例它的字段是question、passage、idx、label详见 README.md 的 Data Fields 部分。print(dataset[train].features) print(dataset[train][0])label默认显示为整数用int2str可以还原成语义标签d dataset[train][0] print(d[question]) print(dataset[train].features[label].int2str(d[label])) # True / False不同子任务的字段略有差异例如cb / axg / rtepremise前提、hypothesis假设、labelcopapremise、choice1、choice2、questionrecordpassage、query、entities、answerswsc / wsc.fixedtext、span1_text、span2_text、span1_index、span2_index⚠️注意test划分只有axb和axg例外——它们只提供了 test 集。而cb、copa、record、rte等任务的 test 集在 Hugging Face 上通常不含 label 字段用于官方排行榜评测加载 test 集时请先确认字段是否存在。第 3 步转换格式直接喂给模型训练微调前通常把数据转成 PyTorch 格式dataset.set_format(torch)如果数据集太大比如record有 10 万 训练样本、约 200 MB推荐流式读取不占本地磁盘dataset load_dataset(super_glue, record, splittrain, streamingTrue) dataset dataset.shuffle(seed42).take(100) dataset.set_format(torch)streamingTrue配合take()、shuffle()是处理大 Parquet 数据集最快的配置方法之一。SuperGLUE 的 11 个子任务一览 Hugging Face 仓库为每个任务单独建目录存放 Parquet 文件文件名格式为split-00000-of-00001.parquet行数如下表所示任务说明训练集验证集测试集axb自然语言推理AX-B——1,104axg自然语言推理AX-G——356boolq阅读理解是非判断9,4273,2703,245cb承诺关系推断25056250copa常识因果推理400100500multirc多句阅读理解27,2434,8489,693record常识阅读理解100,73010,00010,000rte文本蕴含识别2,4902773,000wic词义上下文消歧5,4286381,400wscWinograd 共指消解554104146wsc.fixedWSC 修正版554104146每个任务的 Parquet 文件都在对应子目录中例如boolq/train-00000-of-00001.parquetrecord/test-00000-of-00001.parquetwsc.fixed/validation-00000-of-00001.parquet完整的字段类型、标签取值如entailment、contradiction和分片信息都可以查阅 README.md 中的 dataset_info 元数据。常见坑与快速解决方法 ️报BuilderConfig xxx not found配置名写错了。SuperGLUE 只有上表 11 个合法配置名注意wsc.fixed中的点号不要写成wsc_fixed。test 集没有 label 列属于正常现象官方评测集调试时请用train或validation划分。加载record时内存告警改用streamingTrue或加载后dataset.select(range(2000))先取子集。想直接读本地 Parquet 文件不经过 Hugging Face 下载可以用 PyArrow 直接打开import pyarrow.parquet as pq table pq.read_table(boolq/train-00000-of-00001.parquet)clone 下来的仓库里 parquet 文件很小这类镜像仓库的 Parquet 文件可能是 Git LFS 占位符直接访问会报Parquet magic bytes not found。请通过load_dataset在线加载或执行git lfs pull拉取真实文件。小结3 步回顾 ✅pip install -U datasets安装依赖load_dataset(super_glue, boolq)加载指定子任务查看features、取[0]看样例set_format(torch)后进入训练流程。SuperGLUE 数据规模从几百条cb到十几万条record不等配合 datasets 库的流式读取和分片机制新手也能轻松完成从加载 Parquet 数据到模型微调的第一步。 更多资料完整的任务定义、许可证与引用信息见 README.md各任务的 Parquet 文件位于各任务同名目录下。赞分享【免费下载链接】super_glue项目地址https://ai.gitcode.com/hf_mirrors/aps/super_glue点击查看免费下载相关推荐终极指南Hugging Face数据集查看器完整教程与快速上手终极指南Hugging Face数据集查看器完整教程与快速上手 Hugging Face数据集查看器是一个功能强大的开源工具专门为数据科学家和机器学习工程师大数据处理技术全攻略系统设计面试题精选大数据篇大数据处理技术全攻略系统设计面试题精选大数据篇 系统设计面试中大数据处理技术是考察的重点领域之一。本文将围绕GitHub加速计划中的system desig离线语音合成新境界ChatTTS-ui无网络部署实战指南离线语音合成新境界ChatTTS ui无网络部署实战指南 在网络安全日益重要的今天离线语音合成系统成为许多场景的刚需。想象一下在涉密实验室里你需要将技术AI 技能人工智能AI 评测模型评测上一篇开源项目 up 使用教程终极管道构建利器下一篇StatusBarLyric 开源项目教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考