V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
cloudBird
V2EX  ›  Python

一键导出你的微信读书书籍和笔记

  •  1
     
  •   cloudBird ·
    shengqiangzhang · 2020-04-12 03:37:22 +08:00 · 6236 次点击
    这是一个创建于 1685 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简介

    众所周知,V2EX 是一个友好的社区,V2EX 的用户都是一群热爱打码,热爱读书的青年!

    全民阅读的时代已经来临,目前使用读书软件的用户数 2.1 亿,日活跃用户超过 500 万,其中 19-35 岁年轻用户占比超过 60%,本科及以上学历用户占比高达 80%,北上广深及其他省会城市 /直辖市用户占比超过 80%。本人习惯使用微信读书,为了方便整理书籍和导出笔记,便开发了这个小工具。



    部分截图





    代码思路

    1. 目录结构

    首先,我们先看一下整体目录结构

    Code
    ├─ excel_func.py                   读写 excel 文件
    ├─ pyqt_gui.py                     PyQt GUI 界面
    └─ wereader.py                     微信读书相关 api
    
    

    2. excel_func.py

    def write_excel_xls(path, sheet_name_list, value):
        # 新建一个工作簿
        workbook = xlwt.Workbook()
    
        # 获取需要写入数据的行数
        index = len(value)
    
        for sheet_name in sheet_name_list:
    
            # 在工作簿中新建一个表格
            sheet = workbook.add_sheet(sheet_name)
    
            # 往这个工作簿的表格中写入数据
            for i in range(0, index):
                for j in range(0, len(value[i])):
                    sheet.write(i, j, value[i][j])
    
        # 保存工作簿
        workbook.save(path)
    
    

    该函数的代码流程为:

    1. 创建 excel 文件
    2. 创建表格
    3. 往表格写入数据


    3. pyqt_gui.py

    class MainWindow(QMainWindow):
    
        def __init__(self, *args, **kwargs):
            super().__init__(*args, **kwargs)
    
            self.DomainCookies = {}
    
            self.setWindowTitle('微信读书助手') # 设置窗口标题
            self.resize(900, 600) # 设置窗口大小
            self.setWindowFlags(Qt.WindowMinimizeButtonHint) # 禁止最大化按钮
            self.setFixedSize(self.width(), self.height()) # 禁止调整窗口大小
    
            url = 'https://weread.qq.com/#login' # 目标地址
            self.browser = QWebEngineView() # 实例化浏览器对象
    
            QWebEngineProfile.defaultProfile().cookieStore().deleteAllCookies() # 初次运行软件时删除所有 cookies
    
            QWebEngineProfile.defaultProfile().cookieStore().cookieAdded.connect(self.onCookieAdd) # cookies 增加时触发 self.onCookieAdd()函数
            self.browser.loadFinished.connect(self.onLoadFinished) # 网页加载完毕时触发 self.onLoadFinished()函数
    
            self.browser.load(QUrl(url)) # 加载网页
            self.setCentralWidget(self.browser) # 设置中心窗口
    

    该函数的代码流程为:

    1. 新建 QT 窗口
    2. 实例化 QWebEngineView 对象
    3. 绑定 self.onCookieAdd 事件
    4. 绑定 self.onLoadFinished 事件
    5. 加载网页


        # 网页加载完毕事件
        def onLoadFinished(self):
    
            global USER_VID
            global HEADERS
    
            # 获取 cookies
            cookies = ['{}={};'.format(key, value) for key,value in self.DomainCookies.items()]
            cookies = ' '.join(cookies)
            # 添加 Cookie 到 header
            HEADERS.update(Cookie=cookies)
    
            # 判断是否成功登录微信读书
            if login_success(HEADERS):
                print('登录微信读书成功!')
    
                # 获取用户 user_vid
                if 'wr_vid' in self.DomainCookies.keys():
                    USER_VID = self.DomainCookies['wr_vid']
                    print('用户 id:{}'.format(USER_VID))
    
                    # 关闭整个 qt 窗口
                    self.close()
    
            else:
                print('请扫描二维码登录微信读书...')
    

    该函数的代码流程为:

    1. 当网页加载完毕时,检测是否成功登录微信读书
    2. 如果成功登录微信读书,则关闭 QT 窗口,开始进行数据导出
    3. 如果失败登录微信读书,则继续等待用户扫描二维码


        # 添加 cookies 事件
        def onCookieAdd(self, cookie):
            if 'weread.qq.com' in cookie.domain():
                name = cookie.name().data().decode('utf-8')
                value = cookie.value().data().decode('utf-8')
                if name not in self.DomainCookies:
                    self.DomainCookies.update({name: value})
    

    该函数的代码流程为:

    1. 保存微信读书网址的 cookies,以便后续操作


        books = get_bookshelf(USER_VID, HEADERS) # 获取书架上的书籍
        books_finish_read = books['finishReadBooks']
        books_recent_read = books['recentBooks']
        books_all = books['allBooks']
        write_excel_xls_append(data_dir + '我的书架.xls', '已读完的书籍', books_finish_read) # 追加写入 excel 文件
        write_excel_xls_append(data_dir + '我的书架.xls', '最近阅读的书籍', books_recent_read)  # 追加写入 excel 文件
        write_excel_xls_append(data_dir + '我的书架.xls', '所有的书籍', books_all)  # 追加写入 excel 文件
    
        # 获取书架上的每本书籍的笔记
        for index, book in enumerate(books_finish_read):
            book_id = book[0]
            book_name = book[1]
            notes = get_bookmarklist(book[0], HEADERS)
    
            with open(note_dir + book_name + '.txt', 'w') as f:
                f.write(notes)
            print('导出笔记 {} ({}/{})'.format(note_dir + book_name + '.txt', index+1, len(books_finish_read)))
    
    
    

    该函数的代码流程为:

    1. 调用 write_excel_xls_append 函数,保存书籍,并且导出笔记


    4. wereader.py

    def get_bookshelf(userVid, headers):
        """获取书架上所有书"""
        url = "https://i.weread.qq.com/shelf/friendCommon"
        params = dict(userVid=userVid)
        r = requests.get(url, params=params, headers=headers, verify=False)
        if r.ok:
            data = r.json()
        else:
            raise Exception(r.text)
    
        books_finish_read = set() # 已读完的书籍
        books_recent_read = set() # 最近阅读的书籍
        books_all = set() # 书架上的所有书籍
    
    
        for book in data['recentBooks']:
            if not book['bookId'].isdigit(): # 过滤公众号
                continue
            b = Book(book['bookId'], book['title'], book['author'], book['cover'], book['intro'], book['category'])
            books_recent_read.add(b)
    
        books_all = books_finish_read + books_recent_read
    
        return dict(finishReadBooks=books_finish_read, recentBooks=books_recent_read, allBooks=books_all)
    
    

    该函数的代码流程为:

    1. 获取最近阅读的书籍、已经读完的书籍、所有书籍
    2. 过滤公众号部分
    3. 将书籍数据保存为字典格式


    def get_bookmarklist(bookId, headers):
        """获取某本书的笔记返回 md 文本"""
        url = "https://i.weread.qq.com/book/bookmarklist"
        params = dict(bookId=bookId)
        r = requests.get(url, params=params, headers=headers, verify=False)
    
        if r.ok:
            data = r.json()
            # clipboard.copy(json.dumps(data, indent=4, sort_keys=True))
        else:
            raise Exception(r.text)
        chapters = {c['chapterUid']: c['title'] for c in data['chapters']}
        contents = defaultdict(list)
    
        for item in sorted(data['updated'], key=lambda x: x['chapterUid']):
            # for item in data['updated']:
            chapter = item['chapterUid']
            text = item['markText']
            create_time = item["createTime"]
            start = int(item['range'].split('-')[0])
            contents[chapter].append((start, text))
    
        chapters_map = {title: level for level, title in get_chapters(int(bookId), headers)}
        res = ''
        for c in sorted(chapters.keys()):
            title = chapters[c]
            res += '#' * chapters_map[title] + ' ' + title + '\n'
            for start, text in sorted(contents[c], key=lambda e: e[0]):
                res += '> ' + text.strip() + '\n\n'
            res += '\n'
    
        return res
    

    该函数的代码流程为:

    1. 获取某一本书籍的笔记
    2. 将返回的字符串改写成 markdown 格式并输出



    如何运行

    # 跳转到当前目录
    cd 目录名
    # 先卸载依赖库
    pip uninstall -y -r requirement.txt
    # 再重新安装依赖库
    pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    # 开始运行
    python pyqt_gui.py
    


    补充

    完整版源代码存放在github上,有需要的请点击这里下载

    10 条回复    2020-05-07 15:03:04 +08:00
    lianglin999
        2
    lianglin999  
       2020-04-12 04:54:43 +08:00 via Android
    先赞为敬
    biidbiid
        3
    biidbiid  
       2020-04-12 06:07:52 +08:00 via iPhone
    不错 star 了
    YaakovZiv
        4
    YaakovZiv  
       2020-04-12 08:54:48 +08:00
    点赞了,虽然我不用微信读书这个 APP,但是看看你写的代码,了解一下思路
    mywaiting
        5
    mywaiting  
       2020-04-12 11:49:18 +08:00
    看到 pyqt 我反应了半天才想起 qt.....
    MaiKuraki
        6
    MaiKuraki  
       2020-04-12 21:02:16 +08:00
    微信读书是真牛逼软件,各种书免费
    WilsonGGG
        7
    WilsonGGG  
       2020-04-12 21:54:56 +08:00
    谢谢,已 Star
    JustSong
        8
    JustSong  
       2020-04-13 00:12:49 +08:00 via Android
    有点意思,想不到的是微信阅读竟然还提供 API
    cloudBird
        9
    cloudBird  
    OP
       2020-04-15 10:54:51 +08:00
    @JustSong 基于网友开源的代码整理的 api 。
    ECNUpersister
        10
    ECNUpersister  
       2020-05-07 15:03:04 +08:00
    原来只能导出书籍信息,我以为能导出书的内容呢,还是我天真了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2881 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 11:20 · PVG 19:20 · LAX 03:20 · JFK 06:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.