V2EX › sdushn 的所有回复 › 第 24 页 / 共 113 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 20 21 22 23 24 25 26 27 28 29 ... 113

❮

❯

2021-02-07 17:16:22 +08:00

回复了 sdushn 创建的主题 › Python › 请教大佬们如何用 pandas 高效读取被分片的 csv 文件

@learningman 流下了没有技术的泪水，C++更不会写了

2021-02-07 17:15:01 +08:00

回复了 sdushn 创建的主题 › Python › 请教大佬们如何用 pandas 高效读取被分片的 csv 文件

@starzh
@nano91
目前是计划先一次性读取，在给 pandas 之前处理好，按行读取，按分片逻辑把竖着的表处理成横着的，最后一次性给 pandas 转 dataframe

2021-02-07 16:44:26 +08:00

回复了 sdushn 创建的主题 › Python › 请教大佬们如何用 pandas 高效读取被分片的 csv 文件

@lpts007 上下游都搞不定啊，难顶，只能自己处理了，又赶上鄙人不擅长 python T-T

2021-02-07 16:23:51 +08:00

回复了 sdushn 创建的主题 › Python › 迫于不会，请教大佬们如何用 pandas 分片读取 csv 文件

### 背景
使用 pandas 库处理一个性能参数的 csv 文件，但是 csv 文件是分片的，格式如下

| time | A | B | C | D |
| ---- |---|---|---|---|
| 20:00| 0 | 1 | 2 | 3 |
| time | E | F | G | H |
| 20:00| 4 | 5 | 6 | 7 |
|...|

现在想读成如下格式，存成一个 dataframe 便于下游继续处理

| time | A | B | C | D | E | F | G | H |...|
| ---- |---|---|---|---|---|---|---|---|---|
| 20:00| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |...|

### 现在方案及问题
现在是通过跳过 n 行读取，然后拼接的方案，会存在多次调用 pandas.read_csv，性能太差了，想请教一个 python 大佬们有什么高效的办法
``pandas.read_csv(target_file, skiprows=skip_rows, nrows=range, skipinitialspace=True)
skip_rows = skip_rows + range
``

2021-02-07 11:54:55 +08:00

回复了 susanzhou 创建的主题 › 创业组队 › 招募兼职合伙人

果然差的不只是一个程序员

2021-02-06 22:13:54 +08:00

回复了 0gys 创建的主题 › 职场话题 › 当管理真的好吗？

看是什么类型的吧，技术型管理感觉是可以接受的，更像是架构师+管理，负责需求准入，任务拆分，技术需求推进，开发质量保证，技术选型等等，会比较累，但是不会丢下技术

2021-02-03 10:14:04 +08:00

回复了 Touchevent 创建的主题 › 职场话题 › 一个逢人必问：“可以借我 10 块钱吗?”的土狗.....

再来十块钱的吧，没看够

2021-02-03 10:13:49 +08:00

回复了 Touchevent 创建的主题 › 职场话题 › 一个逢人必问：“可以借我 10 块钱吗?”的土狗.....

哪里能买到您的著作？