Stata：一组大幅提升运算速度的命令-gtools

👇 连享会 · 推文导航 | www.lianxh.cn

• 🍎 Stata：Stata基础 | Stata绘图 | Stata程序 | Stata新命令
• 📘 论文：数据处理 | 结果输出 | 论文写作 | 数据分享
• 💹 计量：回归分析 | 交乘项-调节  | IV-GMM | 时间序列 | 面板数据  | 空间计量 | Probit-Logit | 分位数回归
• ⛳ 专题：SFA-DEA | 生存分析  | 爬虫 | 机器学习 | 文本分析
• 🔃 因果：DID | RDD | 因果推断 | 合成控制法 | PSM-Matching
• 🔨 工具：工具软件 | Markdown | Python-R-Stata
• 🎧 课程：公开课-直播 |  计量专题 | 关于连享会

连享会 · 2023 寒假班

作者：陈蕴晴 (中山大学)
邮箱：949567067@qq.com

温馨提示： 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码，直达原文：

目录

• 1. 何时使用 gtools 命令组

• 2. 安装 gtools

• 3. 如何使用？

• 3.1 gcollapse 命令

• 3.2 greshape 命令

• 3.3 gquantiles 命令

• 3.4 gdistinct 命令

• 3.5 gegen 命令

• 3.6 glevelsof 命令

• 3.7 gtoplevelsof 命令

• 3.8 gstats sum/tab 命令

• 3.9 gstats transform 命令

• 4. 参考资料

• 5. 相关推文

1. 何时使用 gtools 命令组

对于大部分 Stata 用户来说，相对小量、简单的数据统计或数据处理乃日常上机必走的工序，对 Stata 的运行效率并没有什么感知。然而，当数据集异常庞大时，你不得不对着运行界面发愣，而旁边的人由于用上 gtools 命令组早早看到了输出结果，这种“知觉”将立马苏醒！话不多说，一图胜千言！

注意：由于 Stata17 对 sort 和 collapse 进行了大幅的速度优化，在 MP 版本下，collapse 甚至比 gtools 中的 gcollapse 还快 2 倍。

Mauricio Caceres (2018) 应用 C 语言插件及 Hashes 原理 (即通过将关键码值映射到 Hash Table 中的某个位置以直接访问记录) 编写了 gtools 这一利器。据测算，在命令执行上，gtools 的速度最高可达 Stata 传统命令的近 20 倍，可以说是当之无愧的效率达人！

2. 安装 gtools

gtools 是一个外部命令，作者已将其上传至 ssc，用户可直接安装：

安装完毕后，用户通过 help gtools 可以查看命令组中所包含的主要命令。其中，很多命令都是基于传统的 Stata 指令编制，小编在此整理了指令对照表，如下：

此外，gtools 命令组还包含了一些为所其特有的指令，其中有一部分的功能类似于 Stata 外部命令，对照表 (部分) 如下：

对于回归模型，gtools 命令组也有相应的指令帮你实现：

3. 如何使用？

在本节中，小编将对 gtools 中提供额外功能的九个命令 (除回归命令外)  gcollapse、greshape、gquantiles、gdistinct、gegen、glevelsof、gtoplevelsof、gstats sum/tab 和 gstats transform/range/moving 进行详细介绍。

3.1 gcollapse 命令

gcollapse 用于批量生成描述性统计信息，命令语法如下：

其中，clist 必须是数字变量，如：

• mean：均值 (默认)；
• geomean：几何平均数；
• count：非遗漏观测数；
• nmissing：遗漏观测数；
• nunique：去重后元素个数；
• median：中位数；
• p#：分位数 (# 必须严格介于 1~100 之间)；
• iqr：四分位距；
• range：范围 (最大-最小)；
• first：第一个观测值；
• lastnm：最后一个非缺失观测值；
• semean：均值标准误；
• skewness：偏度；
• kurtosis：峰度。

weight 允许所有权重类型，分别是：

• aweight：分析权重；
• fweight：频数权重；
• pweight：概率权重/抽样权重；
• iweight：重要性权重。

options 主要包括：

• by(varlist)：按 varlist 分类计算 clist 的值；
• cw：删除缺失值所在行的全部观测值；
• fast：若用户按 Break 键，则不恢复原始数据集；
• merge：将统计数据合并到原始数据集；
• labelformat(str)：指定输出结果的标签。

3.2 greshape 命令

greshape 命令用于对数据进行横纵变换处理，不仅较 reshape 有处理速度上的提升，还增加了与 R 语言 tidyr 包中的 spread() 函数、gather() 函数等价的功能。该命令语法如下：

当然，greshape 也支持传统的语法：

其中，options (宽变长) 包括：

• by(varlist)：ID 变量 (等价于 i())；
• keys(varname)：stubnames 的子集变量名 (等价于 j()) (不存在)；
• string：是否允许将观测值为字符型的 key 与 stub 进行匹配 (见示例)；
• match(str)：和 @ 的用法一致 (默认通过占位符 @ 的使用来限定数值在变量名中的位置)；
• dropmiss：删除通过横纵变换后变量的缺失值；
• nodupcheck：允许重复值存在。

options (长变宽) 包括：

• by(varlist)：ID 变量 (等价于 i())；
• keys(varlist)：stubnames 的子集变量名 (等价于 j()) (已经存在)；
• colsepparate(str)：当存在多个 key 的时候使用特定的分隔符；
• match(str)：和 @ 的用法一致 (默认通过占位符 @ 的使用来限定数值在变量名中的位置)；
• labelformat(str)：使用占位符自定义标签格式 (默认为 #keyvalue# #stublabel#)；
• prefix(str)：对横纵变换后的变量重命名；
• nomisscheck：允许缺失值存在。

共用的 options 包括：

• fast：不将 reshape 的结果 preserve 或者 restore；
• unsorted：不对 reshape 后的数据进行排序；
• nochecks：fast + unsorted + nodupcheck + nomisscheck；
• xi(drop)：不在 reshape 、by() 或者 keys() 中删除变量。

3.3 gquantiles 命令

gquantiles 可用于高效生成变量百分位数、分位数、类别和频数信息，功能强于 Stata 传统指令 xtile，pctile 和 _pctile，并支持带有 xtile 和 pctile 的 by()。该命令语法如下：

其中，weight 允许 fweight，aweight，pweight 三种权重类型，但不可与 altdef 同时使用。quantiles method 主要有：

• nqantiles(#)：生成变量分位数信息，括号可以指定将变量分为 # 等份，如 nq(10) 表示生成第 10，20，...，90 分位对应的数，默认 nq(2)，即生成变量中位数；
• cutpoints(varname)：指定 varname 的取值作为变量的分割点；
• cutoffs(numlist)：类似于 cutpoints，只不过分割点的属性由 varible 变更为 numlist；
• quantiles(numlist) / percentiles(numlist)：生成 numlist 所指定的分位数信息，如 quantiles(10(20)90) 表示生成变量第 10，30，50，70，90 百分位对应的值。

gquantiles options 主要包括：

• genp(newvar)：生成一个包含百分位信息的新变量；
• by(varlist)：分组计算分位数 (仅限于 xtile 和 pctile)，对 groupid(varname) 非常有用；
• groupid(varname)：生成表示 group ID 的变量，括号指定变量名称；
• _pctile：不可与 by() 同时使用，等价于 Stata 传统指令 _pctile，生成变量分位数信息并将返回值存储在 r(1)，r(2)，…… 以及 r(quantiles_used) 或 r(cutoffs_used) 中，提供返回功能；
• pctile：等价于 Stata 传统指令 pctile，用于生成变量分位数信息；
• xtile：等价于 Stata 传统指令 xtile，用于生成分位点 (即观测值处于第几分位数的位置)，方便后续划分类别变量；
• binfreq / binfrep(newvar)：生成变量频数信息，用括号指定 newvar 时，返回值将存储在新变量中，否则存储在矩阵 r(quantiles_bincount) 或 r(cutoffs_bincount) 中。

3.4 gdistinct 命令

gdistinct 可以代替 distinct 报告变量不同观测值的数量 (默认剔除缺失值)，且可将统计结果以表格形式直观呈现，还额外增加了部分选项。该命令语法如下：

其中，options 主要包括：

• missing：计数时包括缺失值 (默认不包括)；
• abbrev(#)：指定要报告的变量名称最多显示 # 个字符，注意该选项不能与 joint 同时使用，否则无效；
• joint：联合考虑多个变量的取值情况；
• minimum(#)：指定仅显示计数 ≥# 的变量；
• maximum(#)：指定仅显示计数 ≤# 的变量；
• sort(order)：指定输出结果按照计数情况进行排序。

3.5 gegen 命令

gegen 基于 egen 编制，绝大多数情况下都能发挥提效的性能。不过，如果用户需要针对单个变量生成多种描述性统计信息，或许 gcollapse 配合使用 merge 会更快些。gegen 语法如下：

其中，weight 允许所有权重类型，不过仅配合部分描述性统计函数有效，如 total，sum，mean，sd，count， median，iqr，percent，semean，sebinomial，sepoisson，percentiles，skewness，kurtosis。特别地，

• pweight 不支持统计 sd，semean，sebinomial 或 sepoisson；
• iwight 不支持统计 semean，sebinomial 或 sepoisson；
• aweight 不支持统计 sebinomial 或 sepoisson。

fcn(arguments) 可以支持以下三种函数：

• ID 生成：group(varlist) [, missing counts(newvarname) fill(real)]，不能与 by() 同时使用；
• 标签分组：tag(varlist) [, missing]，将变量不同观测值的第一个值标记为 1，其余标记为 0，如某变量的观测值为 (2，3，2，1，2，5，5)，那么经标记就会变为 (1，1，0，1，0，1，0)，需注意的是 tag() 不能与 by() 同时使用；
• 统计性函数：first|last|firstnm|lastnm(exp)，count(exp)，nunique(exp)，iqr(exp)，max|min(exp)，select(exp)，cv(exp)，sum(exp) 等等。

3.6 glevelsof 命令

glevelsof 用于对指定变量不同的观测值进行排序，与 levelsof 不同的是，它还能够支持多个变量同时排序。该命令语法如下：

options 有以下常用选项：

• clean：清除字符串变量观测值显示时的复合双引号；
• local(macname)：定义局部暂元并将观测值存储在其中；
• missing：将缺失值也考虑在观测值内；
• separate(separator)：将各观测组以指定符号分隔开；
• colseparate(separator)：将观测组内不同变量的观测值以指定符号分隔开；
• gen([prefix], [replace])：将 varlist 的存储在一个以 prefix 为前缀的新 varlist 中，或直接替代原来的 varlist,prefix 和 replace 两个选项互斥；
• matasave[(str)]：将报告结果保存在 mata 对象中 (默认对象名为 GtoolsByLevels)；
• silent：不显示结果，常与 gen() 或 matasave() 连用。

3.7 gtoplevelsof 命令

gtoplevelsof / gtop 将观测值的出现频数、累积频数、百分比和累积百分比信息以表格方式呈现 (默认按照观测值出现频数由大到小排序)。该命令语法如下：

常用的 options：

• ntop(int)：报告出现次数最多(或者权重最大)的前 int 个观测值；
• freqabove(int)：报告出现次数超过 int 的观测值；
• pctabove(real)：报告占比超过 int 的观测值；
• missrow：增加一行报告缺失观测值的信息 (当有多个变量时，只有观测组内所有变量的值都是缺失的才会被单独报告)；
• groupmissing：当有多个变量时，观测组内只要出现一个缺失值就会变成 missing row，从而与 missrow 连用时这一行的统计信息就会被单独列出来；
• colmax(numlist)：最多显示字符型观测值的 n 个字符。

3.8 gstats sum/tab 命令

gstats sum/tab 以 tabstat 和 sum, detail 的样式高效进行描述性统计。当需要分组统计时，该命令配上选项 by() 将会比使用 gcollapse 还快。其语法如下：

tabstat options：

• by(varlist)：分组统计；
• statistics(stat [...]) / s(stat [...])：报告指定的统计量 (默认是观测值数量、和、均值、标准差、最小值和最大值)；
• columns(stat|var)：表格的呈现形式，若括号内为 stat，则将每一种统计量作为一列；若为 var，则将每一个变量作为一列；
• prettystats：呈现标准的表头；
• labelwidth(int)：设定变量标签/观测值最大宽度；
• format[(%fmt)]：格式化输出。

summarize options：

• by(varlist)：分组统计；
• nodetail / nod：不显示完整的统计信息；
• meanonly：仅统计变量观测值的数量、和、均值、最小值和最大值；
• separator(#)：每隔 # 个变量后绘制一条分割线；
• tabstat：以 tabstat 的样式输出统计信息。

共有 options：

• pooled：将所有变量汇总视为一个整体进行描述性统计；
• noprint：不显示统计结果；
• format：使用源变量的呈现格式；
• nomissing：与 by() 连用，统计时会忽略存在缺失值的组别。

3.9 gstats transform 命令

gstats transform 是一个分组统计函数，其语法如下：

其中，clist 可以是：

• [(stat)] varlist [ [(stat)] ... ]；
• [(stat)] target_var=varname [target_var=varname ...] [ [(stat)] ...]；
• 任意 varlist 或 target_var 的组合体。

stat 如下表所示：

options包括：

• replace：替代现有变量；
• labelformat(str)：指定输出结果的标签格式，默认为 (#stat#) #sourcelabel#；
• autorename[(str)]：根据目标统计数据自动命名，默认为 #source#_#stat#；
• nogreedy：使用运算更慢但是节省内存的算法；
• types(str)：(慎用) 更改目标统计数据的数据类型。

4. 参考资料

• gtools 主页
• gtools 作者主页

5. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh lianxh gtools reshape pweight, m
安装最新版 lianxh 命令：
  ssc install lianxh, replace

• 专题：Stata命令
• Stata新命令：超级强大的-gtools-命令组
• 专题：数据处理
• Stata数据处理：快速转换Wind数据-reshapewind
• Stata数据处理：纵横长宽转换-reshape命令一文读懂！（下）-sreshape-fastreshape-xpose
• Stata数据处理：纵横长宽转换-reshape命令一文读懂！（上）
• Stata数据处理：纵横长宽转换-reshape的兄弟-gather和spread.md
• 专题：回归分析
• Stata 权重设定-fweight-pweight

课程推荐：因果推断实用计量方法
主讲老师：邱嘉平教授
🍓 课程主页：https://gitee.com/lianxh/YGqjp

New！ Stata 搜索神器：lianxh 和 songbl  GIF 动图介绍
搜： 推文、数据分享、期刊论文、重现代码 ……
👉 安装：
  . ssc install lianxh
  . ssc install songbl
👉  使用：
  . lianxh DID 倍分法
  . songbl all

🍏 关于我们

• 连享会 ( www.lianxh.cn，推文列表) 由中山大学连玉君老师团队创办，定期分享实证分析经验。
• 直通车： 👉【百度一下： 连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。