V2EX › xiaoming1992 的所有回复 › 第 31 页 / 共 32 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 23 24 25 26 27 28 29 30 31 32

❮

❯

2019-08-26 01:17:17 +08:00

回复了 xiaoming1992 创建的主题 › Python › 爬虫的法律风险有多大？

@dazkarieh 感谢感谢，没那么严重，就是普通的商业数据😄

@mumbler 好吧，还是别沾这样的麻烦吧，个人怎么搞的过资本。

2019-08-25 23:52:18 +08:00

回复了 xiaoming1992 创建的主题 › Python › 爬虫的法律风险有多大？

@mumbler 这样的合同能有法律效益吗？

2019-07-27 17:39:50 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

算了，我还是这几天搞一下实践一下吧，反正是本地自己用，只要查询没到分钟级就可以用。

2019-07-27 13:54:34 +08:00

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

本来就是啊，所以说尽可能大啊，比方说一百万，不够就设个三十亿（我怎么会说是我忘了 while true 呢）。

另外，爬虫肯定要不定期更新的啊，因为人家也会更新反爬规则啊。

2019-07-27 13:48:10 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

@gustav 那如果我需要根据一个层级比较深的值来对整个数据库进行排序，mongo 岂不是要读取整个数据库？
请问假设要对`100 个` `(经过压缩后)100k`的 json 文件进行排序，能否在 1min 这个量级的时间内搞定？

2019-07-27 13:39:54 +08:00

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

设置一个尽可能大的值，循环过程中进行判断，没爬到希望的内容就跳出循环并通知你，你再人肉看看后面还有没有，再进行下一步操作？

2019-07-27 13:31:17 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

整个 json 对象用于生成一个比较复杂的页面，所以配置项比较丰富。

2019-07-27 13:30:05 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

@loading 说实话，这个东西只是我目前整个计划中很小(重不重要另说)的一个环节，还有很多繁杂的东西需要处理
```
树结构一般用 parentID 和 ID 拼起来吧。
```
请问复杂度怎么样？说实话，不太敢随便发散找最优解决方案了，就想赶紧搞个最简单的能用的方案赶紧搞出来。

2019-07-27 13:26:33 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

@Macolor21 连 mongodb 都是没用过现学现卖的，听人说 mongo 适合储存这种键值对数据，就想知道直接当成 json 对象存进去，会不会对性能造成很大影响，毕竟是在本地自己用，查个层级较深的东西 1s 左右能出结果就行了。

2019-07-27 13:21:37 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

@DovaKeen json 数据是我设计的，一方面，需要配置的项目比较多，业务还存在变动的可能，因此需要一定的自由；另一方面，为了进行数据类型限定，减少人工操作(复制粘贴)出错的可能性，又需要对数据进行限制；再说能力有限，所以 json 设计肯定有不合理的地方，只能说，于我、于我的业务来说，算是当前时间的最优解了吧。

2019-07-27 13:12:57 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

@Macolor21 我个搞前端的，说实话，这些东西都不太擅长，目前业务是由我生成 json 配置文件，可是我认为 json 配置文件需要自己一个一个去复制粘贴的修改，很烦，就想搞个可视化界面操作，把这些 json 文件转移到一个本地数据库，加个前端页面，可视化修改本地数据库，需要用的时候再由修改后的数据库来生成目标 json 文件。

2019-07-27 13:08:37 +08:00

回复了 xiaoming1992 创建的主题 › 问与答 › 复杂且层级较深的 json 数据用 mongodb 存储合适吗？

@taotaodaddy 只是打个比方，A8 我都没见过。。。

2019-07-23 00:18:22 +08:00

回复了 6260628 创建的主题 › 程序员 › 你们的 github 现在有没有出问题？

看了一下，1k star 以上的仓库基本没事，小一点的很多都挂了，自己的 push 不上去，好难受。

2019-05-03 09:25:37 +08:00

回复了 xiaoming1992 创建的主题 › 前端开发 › CleanWebpackPlugin 按文件夹保留

艹，转个身自己想出来了
```
cleanOnceBeforeBuildPatterns: ["index.html", "**/index*.js", "**/index*.css"],
```
浪费了我几万 V 币

2019-03-07 19:51:04 +08:00

回复了 xiaoming1992 创建的主题 › 服务器 › 频繁修改的静态文件如何较好地部署到服务器上？

@pelloz 貌似是一个好办法，试试👍