6 月 2020

微信公众号文章爬虫

2020年6月16日没有评论

github上关于微信公众号文章的爬虫还是蛮多的，一搜一大把。基于各种技术，这里分享的是之前的做的基于selenium实现的方法。

要爬取的公众号列表修改wx_account.py下的内容

微信公众平台账号登录修改baby_wx_post_spider.py下的如下代码：

   
username='root@obaby.org.cn'# 账号
password='********'# 密码

如果要存储数据修改如下代码：

    
# add_wx_post(post_title, post_date, content, html_content, pcs, images_link_text, post_url, "2"
#             wx_account, nickname, wx_intro)
print('在此处更新数据库')

登录方式说明：如果不指定账号密码可以直接扫码登录，但是扫码之后需要输入密码，反而更麻烦。

输出日志：

H:\PyCharmProjects\baby_wx_spider\venv\Scripts\python.exe H:/PyCharmProjects/baby_wx_spider/baby_wx_post_spider.py
****************************************************************************************************
Wechat Post Spider System
By：obaby
http://www.h4ck.org.cn
http://www.obaby.org.cn
http://www.findu.co
****************************************************************************************************
[*] System starting ..................
[*] Try to login with username:obaby.lh@163.com Password: ***************
[*] Please scan the qrcode to continue
[*] Scan the QRCode with your cell phone to login!!
[*] Spider starting.....................
[*] Current Wechat account is:
青岛文旅
[*] all passed!
[*] Link:http://mp.weixin.qq.com/s?__biz=MzU0NTc4OTI5MQ==&mid=2247490126&idx=1&sn=29a88b4ceef1cdbd6584702fdd46112a&chksm=fb66de4acc11575c946e802cb475845d7ff540d5a0d6da23834c0c4caa27bd3c3b7c2dd762e6#rd
在此处更新数据库
[*] Link:http://mp.weixin.qq.com/s?__biz=MzU0NTc4OTI5MQ==&mid=2247490126&idx=2&sn=87724f394f1533a23f50e5fddf7c88c1&chksm=fb66de4acc11575cb5c3a610371936a14f2743916b332f0bea3a3edc63dc2648351b386a0b95#rd
在此处更新数据库
[*] Link:http://mp.weixin.qq.com/s?__biz=MzU0NTc4OTI5MQ==&mid=2247490126&idx=3&sn=a9a3992058f069149102ea0fd9dae0b4&chksm=fb66de4acc11575c2c0ef3afe8c5de6c2e8b432c1b3d6c3e8d69f5cb439a85962517b147ee8b#rd
在此处更新数据库

项目地址： https://github.com/obaby/baby_wx_post_spider

PS: 代码如果发现bug，请自行修改！由于微信后台一直变化，所以如果代码不能运行，重新定位相关的元素更新xpath即可

人工智能『AI』, 物联网『IoT』

BroadlinkRM2 Domotizc Plugin插件

2020年6月12日没有评论

每次异常断电树莓派就挂了，之前以为是读写问题，这次停电前主动关机，然后，tm依然挂了。用fsck修复，无数的错误，修复完没有效果。于是重装，重装之后主要就是重新弄好domoticz的博联插件，于是就折腾了一番，把插件的问题进行了修复。

插件原始的wiki页面http://www.domoticz.com/wiki/plugins/BroadlinkRM2.html，已经无法访问了。并且网上随便一搜，关于这个插件的文章都是四年以前的。新的内容基本没有,我不是插件的原始作者，只是进行了修改和完善。感谢原作者开发的插件。虽然一直在用这个插件，但是这个插件配置起来却一点都不轻松，插件依赖于broadlink库。而这个库在树莓派上安装的时候，虽然能安装成功。但是安装成功之后多数时间会找不到这个库，从而导致插件启动失败。
插件项目地址：
https://github.com/mjg59/python-broadlink 看项目简介现在已经支持Broadlink RM2, RM3 and RM4 series controllers 。
其实要解决库找不到的问题也简单，不要用pip之类的安装。直接将python-broadlink的broadlink目录拷贝到BroadlinkRM2目录下就可以解决这个问题。
插件进行库搜索的时候会搜索当前插件目录下的库，所以没有必要安装之后再去进行拷贝。我这里集成的是旧版本的python-broadlink库，如果需要可以替换为新版的库。新版本我没有测试，如果测试ok可以提交个补丁进行说明。

后台开发『BackEnd』

django raw_id_fields 显示名称而不是id（raw_id_fields: How to show a name instead of id）

2020年6月11日没有评论

为了防止页面加载的时候加载所有的Foreignkey到内存，django提供了一个raw_id_fields，该tupple内的数据将只展示id。虽然内存不加载了，但是基本没法看。不知道是个什么东西。

这尼玛tags和Porn model完全看不出是个什么东西。如果要展示相关的名称可以使用django-dynamic-raw-id：

A Django admin raw_id_fields widget replacement that handles display of an object’s string value on change and can be overridden via a template

使用方法： https://pypi.org/project/django-dynamic-raw-id/

具体效果：

嗯，非常直观~ 测试环境：python 3.7.2 + django 3.7.2

后台开发『BackEnd』

Django input value值被截断

2020年6月9日没有评论

搜索功能效果很奇怪，输入的关键词，在重新模板化的时候被截断了。查看源代码可以发现value变成了情趣，内衣没了。所以输入框就剩下了情趣。检查了一下发现模板少了两个引号。

源代码：

{% include "header.html" %}



    

        {% csrf_token %}

只需要修改 value=”{{ q|safe }}”即可。

Mac OSX『Mac OS』, 苹果『iOS』

iOS 签名杂谈（二）

2020年6月8日没有评论

上一篇中提到替换SC-info后的ipa依旧可以安装，至于原因其实也很简单。仔细查看CodeResources文件，就知道原因了。文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
	<key>files</key>
	<dict>
		<key>EmojiUltimateViewController.nib</key>
		<data>
		ifQreSMmB3Uft3K3EF1/RLPF/zw=
		</data>
		<key>EmojiViewController.nib</key>
		<data>
		UUTdU18Tz6Fl6x7E2aGYcRxpH3A=
		</data>
		<key>English.lproj/Localizable.strings</key>
		<data>
		53Ka23KM2gkM/XGA2/7hVBG5jfc=
		</data>
		<key>MainWindow.nib</key>
		<data>
		UshXxpapPiP6lBtWe18OpnMv+lM=
		</data>
		<key>PkgInfo</key>
		<data>
		n57qDP4tZfLD1rCS43W0B4LQjzE=
		</data>
		<key>RemoteConfig.plist</key>
		<data>
		rQXI2OqpnGVOk5+BmA/F++FnAG0=
		</data>
		<key>de.lproj/Localizable.strings</key>
		<data>
		MAGm4wWT2b8996eIiqcJna3Jj5s=
		</data>
		<key>emoji.plist</key>
		<data>
		aybwK3Wkthu1Gk7XmEzyjXmGVRQ=
		</data>
		<key>emoji_ultimate_copy_button.png</key>

Mac OSX『Mac OS』, 苹果『iOS』

iOS 签名杂谈（一）

2020年6月4日 2 条评论

为什么要说iOS的签名呢？现在移动平台的逆向的教程和书籍已经相当多了。针对签名的文章也很多，我这里想说的一些是可能别的地方看不到的比较细微的内容（虽然都是老黄历~~）。

iOS的签名目的其实也比较纯粹，就是为了能够在不越狱的情况下安装破解版的ipa。当然，如果是各种助手的话还有另外的一个目的，那就是应用分发（更重要的是在分发之前加入自己的广告sdk）。

说到iOS的应用分发其实主要方式有如下几种：

苹果的应用商店。
cydia应用商店。需要越狱之后才能安装各种app和插件，并且由于现在越狱基本都是不完整越狱，重启设备之后需要重新越狱。并且越狱工具安装也异常麻烦，所以越狱的用户也少了很多
第三方应用商店，国内的比较大的就那么几家。不知道的可以自己搜索一下。第三方应用商店的app分发其实也经历了几个时期：

a. 越狱时期，最早期应用商店分发的基本都是越狱应用。这个与早期的越狱插件和完美越狱存在比较大的关系。
b. 转授权分发，这个技术最早貌似是360的快用用的这么一项技术（多年以前， 13年左右）。所谓转授权就是通过链接电脑，通过itunes的相关api调用在设备上创建IC-info文件。通过苹果的应用商店下载的iap会包含sc_info 授权信息。