github xuejianxianzun/PixivBatchDownloader v16.0.0
16.0.0

latest releases: v17.8.1, v17.7.4, v17.7.3...
2 years ago

新增功能:导出关注的用户列表(JSON)

在你或其他用户的 Following 页面里,你可以导出关注的用户列表。

新增功能:批量关注用户(JSON)

选择“导出关注的用户列表(JSON)”生成的 JSON 文件,下载器会读取里面的用户列表,然后关注他们。


这两个功能是搭配使用的。你可以先导出,然后导入来批量关注用户。

当你有多个帐户时,可以使用这个方法同步你关注的用户列表。

你也可以复制其他用户的关注用户列表。

注意:
下载器在批量关注用户时,会设置时间间隔以避免因 429 错误导致关注失败,但是这不能百分百避免 429 错误。如果执行完毕后,你发现已关注数量少于预期,可以再次导入列表以进行批量关注。

批量关注之前,下载器或先获取一遍你的关注列表,已经关注过的就不需要重复发送关注请求了,节约时间。

新增功能:导出与导入 ID 列表

除非你明白自己的目的,否则不应使用这个功能。

这是为了解决 429 问题进行的尝试,因为未登录时不会触发 429 错误,所以可以退出登录然后高速抓取。但是它有很大的局限,不是完美的。

这个方法的操作步骤如下:

  1. 在“更多”-“下载”里开启设置项“获取 ID 列表完毕后导出它,并停止抓取”
  2. 开始抓取,当获取到全部 ID 列表后,下载器会导出一个 JSON 文件,并停止抓取
  3. 退出登录(或使用另一个未登录 Pixiv 的浏览器),然后打开 Pixiv 首页
  4. 点击“导入 ID 列表”按钮,即可进行高速抓取。

局限:

  1. 因为未登录,对于插画作品,不仅无法抓取到 R18(G) 作品的数据,就算不是 R18(G) 但是有少许色情元素的作品也不能抓取。(sl 值为 4 或 6 的,或 R18 的,返回数据里的 urls 都是 null,无法获取到图片网址)。只能获取到普通且健全的作品的数据。
  2. 因为未登录,对于小说作品,无法抓取到 R18(G) 作品的数据(404)。普通作品都可以抓取。
  3. 因为未登录,所以无法检查作品的收藏状态,不能使用“收藏状态”过滤选项。
  4. 因为未登录,你在 Pixiv 账户设置里的屏蔽(Mute)用户或标签的功能也不会生效。

适用场景:

  • 适合要抓取的作品全部是普通(全年龄)并且没有色情元素的作品时使用。特别是抓取全年龄小说时最合适。
  • 适合大量抓取时使用。少量抓取(几百个)的话没必要用这个方法。
  • 不能检查收藏状态,也不能使用“下载后收藏”功能。

控制导出的 JSON 文件的体积小于 512 MB

当下载器的抓取结果很多时,导出的 JSON 文件的体积可能大于 512MB,这会导致导入到下载器时失败。

现在下载器导出的 JSON 文件体积上限是 500 MB。如果总数据量超过这个体积,就拆分成多个文件。

用户未登录时不获取屏蔽设置(Mute)

之前如果用户未登录,下载器获取屏蔽设置(Mute)会失败(401)),并且 Mute 模块会抛出错误导致抓取中止。

现在下载器会检查用户是否登录,如果未登录则不会获取屏蔽设置。

而且即使请求发生错误,下载器也可以继续抓取。

“显示更大的缩略图”功能改为默认开启

这个功能开启后会导致首页“关注用户・好P友的作品”区域的横向滚动出现异常,发现页面里似乎也有同样问题,其他地方没有问题。

之前因为上述问题,这个功能是默认关闭的,现在改为默认开启。

更新了作品发布时间数据

Don't miss a new PixivBatchDownloader release

NewReleases is sending notifications on new releases.