有一个商品订单记录宽表,是经过多表清洗后形成的,每条数据以一条订单为维度,里面有几个重要的字段(下单人的年龄、性别、喜好、本次订单的购物商品),其中,商品是以 JSON 数组存储在单个字段中的。
需求:基于这些字段,通过一些数据分析、挖掘等操作后,可以离线计算,形成一个对外提供的服务,支持以下功能: 1 、根据喜好推荐商品,判定依据需要来源于上述的数据。 2 、根据上述字段,输出一些统计分析的结论出来
我不太懂大数据、数据分析挖掘相关的东西,想请教一下各位大佬,处理这个需求有没有什么适用的中间件或数据库,百度了一圈也不太清晰,如 Flink 、ClickHouse 、Neo4j 、ES 、Pandas 等等
PS:上述的商品订单场景,是为了方便理解,举个类似例子,实际的场景是垂直行业,不太好描述😆
1
murmur 2021-10-29 14:07:28 +08:00
你是做研究还是做生产,生产是不用这个算法的,直接给每个商品打 tag ,比如用户购买了化妆品,那么疯狂推荐化妆品就对了
这就是现在各大电商平台的算法 |
2
liprais 2021-10-29 14:14:22 +08:00
你首先要解决的是人的特征是什么,商品的特征是什么
人的特征 vs 商品的特征 怎么计算距离 然后一个人来了找出他的特征计算跟他最近的商品的距离,这就是推荐给他的商品 人的特征一般就是他的购买历史还有浏览商品啥的,反正整出来一个向量 商品的特征一般都是跟他一块下单的别的商品,还有品类啥的,反正也整出来一个向量 然后你就做逻辑回归训练完事 |
3
Geekerstar OP @murmur 感谢回复,商品订单是为了方便理解举的例子,实际不是这个场景
|
4
murmur 2021-10-29 14:23:48 +08:00 2
@Geekerstar 场景和论文是有区别的
你会发现落地算法都是 tag 直接关联推荐,打 tag 比规则算法更重要 你以为的关联规则是:鸡蛋 西红柿 菜刀 砧板 葱 实际上购物推荐是:化妆品 化妆品 化妆品 化妆品 化妆品 女性的消费能力太强了,直接可以影响算法决策 抖音头条不一样,因为他所有的东西都是没意义,都是打发时间部分优劣,所以可以随便推送 你既然是做产品,看一下竞品的规则是什么样就知道了 |
5
ihehe 2021-10-29 14:25:08 +08:00 via iPhone
推荐很简单啊,哪用得上什么高深技术,随便搞个把 demo 方便以后吹水就行了
用户搜索过,查看过,收藏过,购买过啥,就疯狂推这个东西给他😎。 目前 99.9999%的大厂都这么做的 |
6
czfy 2021-10-29 14:26:20 +08:00
喜好和商品在实际场景里,需要 NLP 吗?还是能直接用数值指代
|
7
Cheons 2021-10-29 14:26:56 +08:00 via Android
网购更多的情况是不满意再买一个🌚
|
8
235777178 2021-10-29 17:18:29 +08:00
|