数据蒋堂 目录下的全部文章
【数据蒋堂】第36期：join延伸：维度概念
谈到数据分析时常常会用到维度这个词，针对数据立方体的钻取、旋转、切片等操作都是围绕维度进行的，几乎所有的数据分析人员都知道并会运用这个术语，但要问及它的定义，却几乎没有人能给出来。 通俗来讲，我们把用…
【数据蒋堂】第35期：join提速 – 有序归并
我们再来看同维表和主子表的join，这两种情况的优化提速手段是一样的。 设两个关联表的规模（记录数）分别是n和m，则hash分段技术的计算复杂度（关联字段的比较次数）大概是sum(ni*mi)，其中n…
【数据蒋堂】第34期：join提速 – 外键指针的衍生
我们继续讨论外键join，并延用 上一篇 的例子。 当数据量大到无法全部放进内存时，前述的指针化方法就不再有效了，因为在外存无法保存事先算好的指针。 一般来讲，外键指向的维表容量较小，而不断增长的事实…
【数据蒋堂】第33期：join提速 – 外键指针化
我们再来看重新定义join后如何能够提高运算性能，先看外键式join的情况。 设有两个表： products商品信息表id 商品编号name 商品名称price 单价...sale…
【数据蒋堂】第32期：join简化 – 意义总结
蒋步星《join运算的简化与提速》系列技术文章。 【数据蒋堂】第29期：join运算剖析 【数据蒋堂】第30期：join简化 - 消除关联 【数据蒋堂】第31期：join简化 - 维度对齐 更多敬请期…
【数据蒋堂】第31期：join简化 – 维度对齐
蒋步星《join运算的简化与提速》系列技术文章。 【数据蒋堂】第29期：join运算剖析 【数据蒋堂】第30期：join简化 - 消除关联 更多敬请期待..... 我们先把上一期中双子表对齐例子的sq…
【数据蒋堂】第30期：join简化 – 消除关联
近期，蒋步星在「天善智能」直播分享了《join运算的简化与提速》，视频地址：https://edu.hellobi.com/course/197/lessons （主题二）。 接下来的几期《数据蒋堂》…
【数据蒋堂】第29期：join运算剖析
10月19日，蒋步星在「天善智能」直播分享了《join运算的简化与提速》，视频地址：https://edu.hellobi.com/course/197/lessons （章节2）。 接下来几期《数…
【数据蒋堂】第28期：迭代聚合语法
我们讨论过的常规聚合运算如sum/count和非常规聚合运算如maxp/top，都是事先设计好的聚合函数。但如果我们想实现一个以前没有定义过的运算怎么办？是否可以用已有的语法和函数组合出来？比如想做连…
【数据蒋堂】第27期：非常规聚合
标准sql中提供了五种最常用的聚合运算：sum/count/avg/min/max。观察这几个运算，我们发现它们都可以看成是一个以集合为参数返回单值的函数，我们就先把这个共同点理解为聚合运算的定义，把…