V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
kayseen
V2EX  ›  Python

将数据存到 mysql 并且写入到 txt 文件中做筛选功能

  •  
  •   kayseen · 2019-09-11 12:51:52 +08:00 · 2509 次点击
    这是一个创建于 1903 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求:
    	1.每一分钟记录一次某个区域的温度、湿度等信息,
    	2.需要查询的信息:
    		1.这个区域的 1 小时之内的温度、湿度等信息的变化,按每分钟展示
    		2.这个区域的 7 天的同一时刻的温度、湿度等变化(比如近七天的 13 点 13 分的数据)
    
    按照将数据写入 txt 文件的方式,
    我是应该将当天的数据存到 mysql,然后再将数据从 mysql 存到 txt 中, (不知道怎么在第二天将前一天的数据存在 txt 中...)
    然后再使用 pandas 筛选七天数据(目前还不知道 pandas 能不能实现这种筛选功能...)
    
    请问这种方案算得上好吗?
    如果可以的话,上面的两个疑问麻烦也解答下
    
    4 条回复    2019-09-11 18:41:58 +08:00
    opengps
        1
    opengps  
       2019-09-11 13:05:16 +08:00
    温度采集器数据库设计发过贴,果然还是你
    7 天同一时刻,数据库索引到位,循环读取 7 次就可以满足需求了
    你打开文件流读取 txt 的效率未必有直接读取数据库高
    另外你采集器的采集频率未必严格准确,应当使用时间过滤取 top1 的形式,需要允许某一天的 13 点 13 分没有数据去 13 点 12 分数据代替
    markgor
        2
    markgor  
       2019-09-11 13:53:53 +08:00
    写入 TXT 是不是有点多余?如果是必须写入的,那写入 MYSQL 和 txt 应该是同时进行,
    基础数据有了做筛选时候通过 mysql 查询出来就行了。
    crohn
        3
    crohn  
       2019-09-11 14:01:13 +08:00
    时序数据库,了解一下
    Jeffrey4l
        4
    Jeffrey4l  
       2019-09-11 18:41:58 +08:00
    promtheus? 试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3129 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 00:36 · PVG 08:36 · LAX 16:36 · JFK 19:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.