avatar

zhu‘s log

你怎么发现这里的?

  • 首页
  • 关于
Home 251010国庆回归
文章

251010国庆回归

Posted 2025-10-20 Updated 2025-10- 20
By zhuth
17~22 min read

今天战地6发布了,不过我还没买,等最后圣诞节打折再加入吧,这段时间就看看预告之类的就完事了

今天吃的比较少也比较健康,喝上热水了,感觉用这个啤酒杯子来回喝水也还能接受

喝茶了,两泡,还可以。买了一些水果,但是没买到柚子,稍微有点可惜


终于看懂了对ieee的爬取是怎么回事了!

首先是对HTTP的协议充分了解了一下,知道了什么是xhr、fetch,还有项目里使用的ofetch的区别。总的来说,这个项目所谓的“爬虫”其实并不暴力,只是自动化行为,并非爬虫机器那种大范围、全站、全自动化的来爬取内容。

了解了HTTP协议的请求头、响应头都包含的内容,知道浏览器的F12功能,会在其中查看cookie和响应头等内容。通过网络(network)选项卡找到XHR,知道了如何发掘基于js的动态网页的数据请求接口,并直接通过http协议从这个api接口中获取数据的方式。比无头浏览器更方便

这种基于JS的动态网页就是不能右键源代码直接获取整个html的,由于页面上包含很多推荐等内容,需要获取用户数据动态生成或者说是在有网页框架以后动态生成,所以其中具体的内容都是被JS控制访问API得到的json格式数据补充。

对IEEE的分析也学习了基础的对抗反爬方式和方法,首先就是通过postman这个vs code插件来设置headers,其次就是发现IEEE这个网站必须设置referer参数才能实现API的接通,否则不返回内容。对accept的取值、user-agent等的设置也有了了解。此外还初步了解了CORS,一种浏览器或服务端的安全性策略,禁止跨域访问获取内容。

最后,可以看到RSSHUB的ieee路由编写者,使用了art模版来重新渲染html文件,从而构建了一个在rss浏览器中可以直接看到的description界面。

待办如下:

  • 按照IEEE类似的经验,找到AIAA的期刊数据通用接口

  • 对IEEE的路由进行改进,进一步获得最新期刊的全部论文的完整abstract内容。(但首先注意访问频率!访问频率这一块好像cache会给自动设定了,不需要担心)

  • 阅读CNKI的例子。如何能得知按钮对应的url?post类型HTTP应该如何构造?


最近购物什么的欲望很强烈了,尤其是显卡的诱惑!

把家庭经费省着点花,等到11月看一下经费结余。有点想买新显卡,但是其实没需求,只是想买东西罢了。5070ti就很好,但是价格8000有些高了,跑分和性能基本到4090的部分了。现在我的steam都不给我推荐3A游戏了……

下次回家支持家庭购入新沙发!订购!往外扔!家庭沙发如何换新?考虑贵一点的填充棉,以及新的表面布料。家门感觉都出不去的样子

  • 传照片,清库存,整理

  • 健身,有氧一下,这两天吃得比较少,值得鼓励,继续坚持

好了,我死活想不起来要送小姐姐什么东西了……有欧舒丹护手霜肯定是需要的,项链也是可以有的,哦哦哦还有唇膏!以及一个特别拉胯的油腻计划——在饭后问补妆的时候送给小姐姐。香奈儿83

下次回家给小猫带东西玩,以及可能的猫吊床

还有想购物的,羽毛球拍小铁锤!5U的进攻型拍子。当然了这个166的价格还可以再看看别家的比如YY。有点想打羽毛球了,但是师兄都毕业了TAT 这下只能找小姐姐了。或者问问要不要来理工打球。(问了,但是小姐姐还没从十一的状态里返回,最近没有想玩的内容(不想玩就不能出来找找我嘛呜呜呜我想你了我真的很想出去玩了和喜欢的人出去一起玩))

  • 学习代码管理与提交

  • 学习vs code中自带(?)的git,分支、合并、查看等等(学到了,后面可以复习一下顺便贡献到main里面,commit的标准写法等还要掌握)顺便掌握了md的使用还有预览和操作等

  • 学习一下rsshub中自带的cache是怎么用的


1013星期一

  • 有氧,考虑HIIT

  • 配置好新的genP,传照片,降噪,拉一拉动态范围,了解动态范围和人眼动态范围和jpg显示形式等p图思路(还能用,就不配置了)

  • 对于非工程人员,真的需要github或者git来同步追踪自己的工作吗?


1014星期二

  • 教练课

  • 去医院拿药

  • 拿快递

  • 学习miniflux的订阅过滤机制

  • fork,commit,push,branch,PRs


1015星期三

一起下班的提议被拒绝了!有点难过,不过从对方的角度考虑这也正常

今天有点犯懒不是很想去健身房

PR提交了,但是还没有反馈,感觉用起来很不熟练了,不过我希望能有方法能直接部署到我自己的服务器docker里面,这就需要我掌握打包和部署的技术了

  • 洗衣服

  • 有一条裤子并不合适,送走退货

  • 画个新头像吧

  • github上更新和merge了,我本地的应该如何更新版本呢?git 的使用

  • 注意编译docker的版本,是否带有浏览器

  • 在等待审查和merge之前,先通过docker file部署在我的服务器上先用起来(上传到rsshub的私人仓库里了,现在改一下docker compose的地址和名称就好了,等AIAA的router开发好了再重启应用)


1016星期四

一些有趣的东西:现在用python做UI怎么样?matlab做的东西怎么结合进来?(有runtime了现在)

AI日记本!好东西,有这样的需求,可以提供后处理和反馈,能够用AI从废话里面提取出结构性的有用的内容(比如在碎碎念之中提取到开销,待办事项等,并顺利归档,还有情绪的分析和打分),自动获取天气、日期时间等数据,还可以考虑接入智能化设备做到睡眠、心情、压力、运动等多方面的all in one系统,设置更好的提示词,在用户差不多结束一个话题的时候主动询问预设类别,比如根据运动数据询问今天进行了什么运动,运动的感受怎么样,是否希望安排下次运动。总之就是形成一个能互动的个人日记本和情绪生活管家。更便于后续的查看和自我认知提升。引导性的提示可以让日记记录情绪变得更清晰稳定,提供比4o更具性价比的收费。

  • 开发AIAA旗下期刊的RSS源

  • 锻炼

  • 退货裤子

  • 增加对early access的追踪,判断和力度

  • ieee的pubdate貌似没有

  • sciencedirect发布日期在未来 sciencedirect没有early access

ieee的rss订阅很垃圾,很多明明有的期刊不给写出来,而且格式很怪,AIAA的也很拉胯,废话格式特别多,而且没法显示作者和完整abstract

简单用postman测试了一下,AIAA这个挂着cloudflare的反爬,短期来看带上user agent和cookie可以实现对首页的访问


1017星期五

锻炼!昨天练腿了感觉久违的有成效,但是今天有氧以后感觉恢复比较一般

周末了,可以玩会儿游戏

新的手表带很好看,但是不太好用,有点太短了

今天听了温老师的话,把材料交了,但是这本身已经很好了,就别有什么别的期待了

AIAA这个反爬感觉有点太严格了,没法弄

转而考虑过滤RSS就完事了。

另外技术上的探索可以考虑继续Puppeteer,“打码”服务,持久化用户目录这些高级技巧。

另外还是更新一下pull request,让我的贡献更好走到官方库里面去


1019星期日

这周运动习惯和量整体还可以,强度可以维持基础上略微提升

wws水平也还算有所长进,但是烂的时候是真烂啊,走位感觉也有所长进,但是有时候有点太激进了,就单线程了,其实应该放轻松一点的,这样玩起来舒服,同时控制目的和时间数量等,不然就要坐牢

明天考虑健身休息一下,把衣服洗洗,没有衣服穿了。

两个PR提一下,然后AIAA的就改造官方的rss就行了,然后后面的就paper in advance赶快部署上去。

赶快进行到新一步的文献阅读+整理+miuerU+归档+zotero+GPT 插件等,选择合理的py或者matlab或者合并开发

记得要git rebase

修一修小猫的照片

License:  CC BY 4.0
Share

Further Reading

OLDER

250928废话文学与进展

NEWER

20251027

Recently Updated

  • 251124一周
  • 251117一周
  • 20251110一周
  • 20251103周碎碎念
  • 星期一251020

Trending Tags

Halo

Contents

©2025 zhu‘s log. Some rights reserved.

Using the Halo theme Chirpy