Hitokoto-Spider 一言库爬虫开发日记
最近在家里虽然有上课(学校开学了),但是中午两个半小时的休息时间以及晚上的自由时间是真的闲,在想要干什么……然后我在我的学弟的电脑桌面上发现了八爪鱼,想起了他用八爪鱼抓一言库的时候,我就在想:为什么我不自己做一个抓一言的爬虫呢?说干就干,于是我就开始坐了起来……
下面,是我的个人开发日记,包含回忆,有些细节可能记得不是很清楚
项目地址:https://github.com/GamerNoTitle/Hitokoto-Spider
2020年2月10日 星期一 天气:不很好今天是学校开学第一天,钉钉的会议功能真的菜,视频延迟3秒钟,互动板延迟3分钟……而且这个会议可以回看不能下载???拿fiddler抓包去……
(12:00)开始做爬虫了,先到一言去看看API是怎么用的先。在官网,可以看到下面这个表格(为了方便,我直接把源码拿过来了)
时间
影响Api
调整
...
Onedrive分享型网盘搭建 - FODI
本人有两个onedrive账号,一个自用,另外一个是前几天蹭的edu账号,之前一直想用onedrive来分享文件(毕竟容量是真的大),就在放寒假前,我发现了github的一个项目:FODI,虽说这UI不是很好看,但是不用服务器(嗯,让白嫖党有点快乐了),所以就动起了手……
官方教程:https://logi.im/front-end/scf-fodi.html
当我正在按照官方教程搭建的时候,在获取refresh_token这一步,它居然给我报错了???
官方教程中,是要求进入此网址进行登录后,把第一个?删掉,把第一个&改成?,然后就给我弹出以下错误:
1234567891011Message{ "error": "invalid_grant", "error_description": "AADSTS54005: OAuth2 Authorization code was already redeemed, please retry with a new valid code or u ...
jsDelivr的正确打开方式
文章已经在2020.4.5更新
开始持续高产前几天开始,github的raw文件下载域名raw.githubusercontent.com被墙了,导致我的网站很多图片都是404(因为我是直接使用github的文件),我转为使用cloudflare的workers反代。但是反代有每日10W次的请求次数限制。万一以后我的网站访问量增大了呢?这样岂不是不够用?(在想Peach)
今天早上我才在【日常吐槽04】的评论区里面说不会用jsDelivr,到了晚上,嗯,真香……
jsDelivr是一个比较好的CDN平台,官方号称jsDelivr – Open Source CDN free, fast, and reliable,简单来说就是开源的CDN,免费、快、可靠这样的
不过确实,这玩意的口碑也挺好,那我就按照我半天的使用体验,来说说这玩意的正确打开方式吧
你需要准备:一个github账号
开始操作你需要登录你的Github,创建一个你想用来放文件的仓库,然后在这个仓库里面上传你的文件,像我这样
然后点击Release,新建一个版本,在上面的小方框里面填写你的版本号,尽量填写数字,例 ...
日常吐槽04
最近甚是无聊,因为做完了作业又不能出门(这都要从一只蝙蝠说起……),天天在家里打命(tu)运(ming)2,在家里躺着都算给国家做贡献……也没干什么技术活,就还是来吐槽一下吧
首先先感谢2019-ncov送来的寒假延长消息,让我们的寒假至少延迟到了2020.2.17(原来是9号回校,10号正式开学),也让我肝土命2的时间变多了(这赛季等级莫不是要冲100,正因如此,周末双休可能就要变成单休了,而且准高三的暑假估计要被阉割掉了)。因为病毒的影响,导致人人不能出门,出门必戴口罩。因为口罩太畅销了,有些地方的口罩纷纷涨价。涨价一点点能接受对吧,但是我看到我们班上有人20买个医用口罩,真心贵……(强烈斥责坐地起价的行为)昨天早上还去排队买口罩,凭身份证一人买五个5¥,买完了还去别的地方看看有没有口罩买,最后十一点半回到家……
既然学校延迟开学,那也不能闲着,让学生开始用起了钉钉,想着用钉钉的会议模式上课(什么脑洞……)钉钉的商店评分骤降(XSWL),这算是躺枪_(:з」∠)_吧……但是也让钉钉首次超过微信拿到了iOS榜单第一(嘿嘿)
最近特别喜欢用twitter(我也不知道为什么,我的T ...
日常吐槽03 - 聊一聊WARFRAME COINCIDANCE的制作
近期做了一个视频:【WARFRAME 抖肩舞】星 际 仓 鼠 再来亿遍!打三傻不如跳舞!每天一遍,防止抑郁~ WARFRAME版 Coincidance 自制
什么?你说你还没有看?赶紧点开上面的蓝链前往B站查看!!!
哔哩哔哩播放:【WARFRAME 抖肩舞】星 际 仓 鼠 再来亿遍!打三傻不如跳舞!每天一遍,防止抑郁~ WARFRAME版 Coincidance 自制
YouTube播放:
这是[bilibili@GamerNoTitle](https://space.bilibili.com/44666814)(也就是我自己)和[bilibili@ThisNEKKO_xd](https://space.bilibili.com/49835313/)、[bilibili@MI-rice-json](https://space.bilibili.com/22267745/)和[bilibili@毁天灭地的GEnX](https://space.bilibili.com/49914186/)四人一起合作完成的视频,这算是2019(农历)的最后一个视频,也是第一个视频。至于这个 ...
网易云音乐去除版权限制(Nodejs)
2020.3.23重制
今天拿网易云开刀~
网易云音乐一直是我们使用得比较频繁的音乐平台,可是他的版权问题实在是令人发寒,每次搜索音乐就看着灰色的歌名失望。。。而隔壁的扣扣音乐就什么都有
这种情况真的很烦,点开一首歌直接告诉你因版权无法播放,这时候我们就需要脚本登场了脚本由@nondanee编写,原理是将其他音乐网站的链接替换到网易云,所以并不存在破解网易云音乐的软件,与法律并不矛盾。源代码可以点@nondanee/UnblockNeteaseMusic,在使用之前,需要安装nodejs环境
1$ git clone https://github.com/nondanee/UnblockNeteaseMusic.git
克隆代码后,在文件夹里启动命令窗口,输入
1$ npx @nondanee/unblockneteasemusic
就可以打开程序了,如果提示npx未找到,请先使用
1$ npm install npx -g
来安装npx哦~
启动了以后,在你的网易云音乐里面修改代理,按照你的配置填写即可!
题外话:
最近Github的地址raw.githubus ...
Cloudflare Workers反代实战(下)
上篇说道:我们已经成功搭建了Workers的反代服务,但是有的时候我们需要绑定自己的域名来访问该网页,那么本篇我们将来讲一讲怎么绑定自己的域名来访问workers我们先来到我们的域名管理界面,点开自己的任意一个域名,然后点击上面的workers在本界面中,上面的两个按钮点击Add Route然后在上面填写你想要的域名(当然得是你的域名),格式如<SubDoamin>.<Domain>/*,下面选择你创建好的Workers配置,例如我在上面填写g.bili33.top/*,然后下面选择我的名字叫做”g”的Workers配置文件(用于反代Google),然后点击保存,这样就成功添加了route,当然这个时候并不是直接访问就可以访问被反代的网站,而是要进行进一步配置~
回到我们的域名DNS解析界面,添加一个CNAME记录,指向我们的Workers,在这之中,Proxy Status一定要设定为Proxied!下面照样给个例子
Type
Name
Target
TTL
Proxy
CNAME
g
g.bili33.workers.dev
Auto
然后 ...
日常吐槽02
今天是周日,还要考试,哭了。。。
本周二是学校的研学活动,但是说不给带手机给带相机,对我倒是没什么所谓啦(原因在下面),但是学校有没有考虑过有些人家里莫得相机啊?
周三晚上校运会开幕式,有我们至今为止最庞大的直播阵容:
直播及录像机:我的Lenovo不知道是什么鬼型号,反正i7 7700k够用了,加个16G运存,用NDI采集导播机的画面导播机:梅导的新电脑,用的9900k还有32G运存,我觉得用vmix莫得问题,用NDI传输画面给我的电脑中的OBS(PS:我们是vMix导播切镜头,我的OBS来直播+录像)字幕机:梅导以前的电脑,用的6700k采集机(4台):采集四个相机/无人机的实时画面,利用NDI传输到导播机相信这一次我们能够避免上次的马赛克由于导播,所以我们一定要使用手机,所以上面才说没什么所谓~
准备退休啦~
日常吐槽01
想开一个日常吐槽分区,除了技术(汗?)文还可以发一发平常的感受~
期中考考完啦!!!开心~
但是数学考得不很好,反正就是不很好(自闭中)
本周遇到了wordpress会出现429错误的问题,貌似被墙了,果断搭建一个代理站,但是wordpress的链接不是相对链接,是绝对链接,所以要下载wordpress要手动把原来的域名改成我的域名
点我下载wordpress最新版~(zip)
点我下载wordpress最新版~(tar.gz)
Cloudflare Workers反代实战(上)
CloudFlare一直以其域名托管服务和CDN服务闻名于各位网站管理员,当然我的域名也是托管在这个上面的,后来,有一位被我介绍入CF的同志告诉我CF有种功能。。。(@TheBaiRuo)
就是CF的Workers服务,这是一种能够访问网页时运行特定的JS脚本的服务,所以我们就可以利用它进行 JSPROXY Workers-Proxy(感谢@Anonymous的提醒)的搭建(某反向代理)
前期准备1、一个CloudFlare账号
2、一个域名(可以到Freenom注册一个)
搭建反向代理在这之前,你需要把你的域名托管到CF上!!!
然后进入CF的workers界面,看下图
进入到Workers后,点击Create a Worker来创建你的第一个JS
然后在workers界面的左边,填入你的JS代码,这时候就需要万能反代代码QAQ
解释一下这个界面:
①项目名称:表现为**[Project].[subdomain].workers.dev**,其中subdomain是你注册workers是输入的名字,project就是项目名称
②编辑区:就是你放下代码的地方
③效果预览区:当你按 ...