首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Braisdom  ›  全部回复第 14 页 / 共 31 页
回复总数  607
1 ... 10  11  12  13  14  15  16  17  18  19 ... 31  
❮ ❯
2023-05-15 17:02:45 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@leeg810312

首先，ODS ，DW ，ADS ，宽表，数据血缘，数据集市等， 这些概念本身就是受限技术才衍生出来，本来就不应该存在。

抽象出各种层次的封装就是为了降低 SQL 的复杂度，因为写好复杂 SQL 的人太少了，维护成本极高。

现在数据的计算性能已经非常高了，为什么还要做那些层次的抽象，复杂的 SQL 也不需要写了，这难道不香吗？
2023-05-15 11:54:50 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@Chad0000 是的，如果把所有复杂场景整理清楚，基本上编译器也设计出来了，

编译过程只需要 1 毫秒不到，用 GPT-4 不知道要多长时间了。一个查询可能也只要几秒钟
2023-05-15 11:35:18 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@Chad0000 我们 2018 年的时候就研究通过机器学习生成 SQL ，但过于复杂的 SQL ，AI 搞起来还是非常有限的，编译规则过度复杂。
2023-05-15 11:27:16 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@stardustree 我们有一系列的高级分析函数支持各种复杂分析。
2023-05-15 11:26:12 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@stardustree 这些是比较基础的分析，完全支持，还有更多更复杂的分析。有兴趣的话，可以加我微信，我给你演示一下。
2023-05-12 17:53:16 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@move 可以的
2023-05-10 17:43:42 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@qingfengxulai1 跨库问题，可以通过 Presto 解决。Agile Query 只能解决 SQL 编译这块，SQL 执行引擎，有很多成熟的方案。
2023-05-09 13:57:54 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@shuxge1223 你是指 Excel 导入。还是集成到一个 Web Excel 里？
2023-05-08 16:00:37 +08:00
回复了 idragonet 创建的主题 › 程序员 › “国产化” 大家选择什么数据库？人大金仓？
具体要分场景看，目前国内数据库发展的非常快，行业要发展，必须往底层走，不然总是被人牵着鼻子走。

目前我验证过的：华为的 Opengauss, 阿里的 PolarDB-for-PostgreSQL ，腾讯的 TBase 都还有错的，还有各大云平台的数据也都可以。分析型数据库 百度开源的 Apache Doris 就更秒杀一了。我前面就是用 Doris 测试的，几亿数据量的 join 都是秒级出来的。
2023-05-07 10:09:28 +08:00
回复了 idragonet 创建的主题 › 程序员 › “国产化” 大家选择什么数据库？人大金仓？
我用的就是国产数据库。性能远超老外的。

https://www.youtube.com/watch?v=98E_gjk0QjQ&t=14s
2023-05-07 10:08:42 +08:00
回复了 pzp 创建的主题 › 程序员 › Java 和大数据的选择
以后用了我这个工具，就方便多了，链接里有一系列产品视频。

https://www.youtube.com/channel/UCN7ckPJv4c9kMHANlHiARdA
2023-05-06 13:55:46 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 基于信贷业务的大数据量分析场景演示
@liuxu 有兴趣的话，可以深入沟通一下，可以远程演示。
2023-05-06 13:22:44 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 基于信贷业务的大数据量分析场景演示
@liuxu 当然可以接入了，目前分析的指标没有任何缓存，缓存是基于整个查询的，可以按分钟的形式的缓存。
SSD 型号：Crucial/Micron BX/MX1/2/3/500, M5/600, 1100 SSDs

本次演示的目的是为了验证 Agile Query 的大数据量的分析场景下的表现。另外，数据没有预先加载到内存中，每次都会从磁盘中拉取的。计算完会及时释放。
2023-04-22 08:16:00 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq 大宽表和 SQL 带来的副作用，只有数据工程师才能深刻体会了。
2023-04-22 08:13:30 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq Agile Query 本质上就是面对复杂业务的，能够让中大型企业，不需要大宽表，不需要写 SQL 就能完成所有的数据分析。
2023-04-21 20:18:46 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq 当然这些指标公式可以和任意的维度进行组分析，例如：供应商，客户，员工，商品，品类等，像这些维度的分析在传统 BI 中，都需要使用不同的大宽表，而在 Agile Query 中，只需要输入一个关键字。
2023-04-21 20:07:42 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@ervqq 视频中有详细的介绍，
销售额同环比增长，客户数量同环比增长，销售量同环比增长都是通过 monthly_growth_of ，系统里还有 yearly_growth_of ，daily_growth_of 这些函数，都是很方便使用用的。

示例：
MONTHLY_GROWTH_OF(
SUM(order_details.quantity * order_details.unit_price),
orders.order_date,
1
)

第一个参数支持各种聚合函数，第二参数是日期字段，第三个字段是窗口大小和距离，如果是月，1 就代表一个朋的比较，12 就意味着去年的相同的月份。
2023-04-21 19:22:36 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@youngce 只有没有 JOIN 的数据库才会没有 Chasm 和 Fan Trap ，如果有 JOIN 就无法避免
2023-04-21 18:52:34 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@Lilacs
@xenme

在不用人工干预的情况下，智能解决关系数据中的，Chasm & Fan Trap 是 Agile Query 最核心的能力，有兴趣的可以看一下： https://docs.sisense.com/main/SisenseLinux/chasm-and-fan-traps.htm 这篇文章。
2023-04-21 18:48:41 +08:00
回复了 Braisdom 创建的主题 › 程序员 › Agile Query 全流程演示视频
@Lilacs
superset, metabase, tableau, qulik, looker 这些 BI ，当然也包括国内的 BI ，目前都没办法解决关系数据库中 chasm & fan trap 。
1 ... 10  11  12  13  14  15  16  17  18  19 ... 31  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   957 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 21:50 · PVG 05:50 · LAX 13:50 · JFK 16:50
Developed with CodeLauncher
♥ Do have faith in what you're doing.