首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Braisdom  ›  全部回复第 15 页 / 共 31 页
回复总数  617
1 ... 11  12  13  14  15  16  17  18  19  20 ... 31  
❮ ❯
2023-05-07 10:08:42 +08:00
回复了 pzp 创建的主题 › 程序员 › Java 和大数据的选择
以后用了我这个工具，就方便多了，链接里有一系列产品视频。

https://www.youtube.com/channel/UCN7ckPJv4c9kMHANlHiARdA
2023-05-06 13:55:46 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 基于信贷业务的大数据量分析场景演示
@liuxu 有兴趣的话，可以深入沟通一下，可以远程演示。
2023-05-06 13:22:44 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 基于信贷业务的大数据量分析场景演示
@liuxu 当然可以接入了，目前分析的指标没有任何缓存，缓存是基于整个查询的，可以按分钟的形式的缓存。
SSD 型号：Crucial/Micron BX/MX1/2/3/500, M5/600, 1100 SSDs

本次演示的目的是为了验证 Agile Query 的大数据量的分析场景下的表现。另外，数据没有预先加载到内存中，每次都会从磁盘中拉取的。计算完会及时释放。
2023-04-22 08:16:00 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq 大宽表和 SQL 带来的副作用，只有数据工程师才能深刻体会了。
2023-04-22 08:13:30 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq Agile Query 本质上就是面对复杂业务的，能够让中大型企业，不需要大宽表，不需要写 SQL 就能完成所有的数据分析。
2023-04-21 20:18:46 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq 当然这些指标公式可以和任意的维度进行组分析，例如：供应商，客户，员工，商品，品类等，像这些维度的分析在传统 BI 中，都需要使用不同的大宽表，而在 Agile Query 中，只需要输入一个关键字。
2023-04-21 20:07:42 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq 视频中有详细的介绍，
销售额同环比增长，客户数量同环比增长，销售量同环比增长都是通过 monthly_growth_of ，系统里还有 yearly_growth_of ，daily_growth_of 这些函数，都是很方便使用用的。

示例：
MONTHLY_GROWTH_OF(
SUM(order_details.quantity * order_details.unit_price),
orders.order_date,
1
)

第一个参数支持各种聚合函数，第二参数是日期字段，第三个字段是窗口大小和距离，如果是月，1 就代表一个朋的比较，12 就意味着去年的相同的月份。
2023-04-21 19:22:36 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@youngce 只有没有 JOIN 的数据库才会没有 Chasm 和 Fan Trap ，如果有 JOIN 就无法避免
2023-04-21 18:52:34 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@Lilacs
@xenme

在不用人工干预的情况下，智能解决关系数据中的，Chasm & Fan Trap 是 Agile Query 最核心的能力，有兴趣的可以看一下： https://docs.sisense.com/main/SisenseLinux/chasm-and-fan-traps.htm 这篇文章。
2023-04-21 18:48:41 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@Lilacs
superset, metabase, tableau, qulik, looker 这些 BI ，当然也包括国内的 BI ，目前都没办法解决关系数据库中 chasm & fan trap 。
2023-04-21 18:46:20 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@Lilacs metabase 的代码我都读完了，它也没办法解决，多对多 join 时，不用写 SQL 的问题。
2023-04-21 18:44:08 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 如果没有大宽表，不用关心数据的重复计算，性能也特别高，当然也不需要写复杂的 SQL ，这难道不是一种更好的选择吗？
2023-04-21 18:41:34 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 如果做数据报表，出现的最多的问题就是因为一对多，多对多产生的数据重复计算的问题吧，而这些问题在 Agile Query 中，你可以完全忘记它。这就是 Agile Query 最大的优势。

大宽表是一种畸形的设计，对低层数据的变化，数据的一致性，数据的实时性响应都非常差，是由于针对技术实现的一种折中的做法。
2023-04-21 18:31:57 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 多表 join 时，一对多，多对多这些问题都需要数据工程师自己处理，进行数据去重，而在 Agile Query 中，这些问题都是智能处理的。数据工程师完全不需要考虑这些事件，只需要知道指标是哪几个字段计算的就可以了。
2023-04-21 18:29:30 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 多表 join 时，Agile Query 会自动处理 double-counting 的问题，会智能拆分子查询，传统的 BI 是需要数据工程师手工处理的，如果表比较多，数据工程师的工作量会非常大。
2023-04-21 18:20:23 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 目前的 BI ，针对单表运算是足够了，如果同一个表达式中涉及多张表，目前我还没有看到。大都数是将多张表的数据合并到一张表中，然后再进行运算，这样数据工程师的工作量就大很多。Agile Query 本质上就解决任意多张表的数据运算，在同一个指标公式中，可以多张表同时运算，内部拆分不同的子查询和 Join
2023-04-21 18:17:30 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 传统 BI 中的 countIf, sumIf 内部是不能嵌套其它聚合的，例如：

count_if(group_count(orders.id, customer.id) >= 2)

sum_if(group_count(orders.id, customer.id) >= 2, order_details.quantity * ordertails.unit_price)

单表，多表的运算都可以在一个公式中实现，Agile Query 可以动态的 join 多张表，进行计算，这是传统 BI 无法做到的。
2023-04-21 18:07:10 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@xenme 理论上再复杂的查询，也不需要写 SQL ，都可以通过 Agile Query 的函数实现，目前实现了 group_count, group_sum...，count_if, sum_if...，还有 growth_of 系列，rank_of 等这些很快也会实现，这些函数都可以内部嵌套普通聚合函数的运算。

还有，生成的 SQL 是比较复杂的，理论上可以实现所有复杂查询。
2023-04-21 16:03:16 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@gaobh 是的，我们正在深试通过 GPT 生成 Agile Query 的统计公式（各和聚合函数），直接生成 SQL 难度比较大。
SQL 的编译还是必要的。
2023-04-21 15:50:08 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@beneo 可以的，Agile Query 的函数是一种抽象的语义表达，我只是列举了几个常见的示例，您说的这些业务我后面会完善起来的，本质上这些统计都是不同维度的数据，聚合后进行的运算，基本上灵活的聚合+窗口，基本就可以实现了。
1 ... 11  12  13  14  15  16  17  18  19  20 ... 31  
❮ ❯
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   4895 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 09:29 · PVG 17:29 · LAX 01:29 · JFK 04:29
♥ Do have faith in what you're doing.