“豆瓣电影评级”插件开发始末

发表评论

二月份在国内过了个年，捎带和同学去看了场非常精彩的电影《红海行动》。随着电影热度逐渐上升，在一片好评中，我注意到了一些不一样的声音，有些家长吐槽带自己家孩子也去看这部电影，导致孩子被一些少儿不宜的镜头吓到。电影中的残肢断臂、血肉横飞确实让大家了解了战争的残酷，从反战的角度来讲，这无疑是很成功的，但这些镜头会不可避免的给儿童留下些许阴影，从心理健康的角度来说是对儿童不利的。种种原因，电影分级制度在国内迟迟没有落地，而我们一直在追赶学习的美国从1968年就有了成熟的电影分级制度，在此我就不过多吐槽这个事了。所以我想如果有这样一款插件，在家长浏览一部电影的时候，能自动显示它在美国的评级，就会提醒家长考虑，自家的孩子是否适合看这样一部电影。虽然显示的是美国的评级，但我觉得多少也对我们有些借鉴作用，美国孩子成熟都早，他们都觉得一部电影不适合13岁以下的小孩了，何况我们，对吧？

从技术的角度来说，豆瓣是最容易的，因为豆瓣很贴心的在电影页面提供了该电影的 imdb 链接（如果有的话），这样我们就可以通过该链接去获取 imdb 网站上的评级。当然，更合适的网站应该是像猫眼电影这样的购票网站或者像优酷这样的视频网站，这个是后话了。imdb 提供了很多公开数据，可惜的是我没有找到评级信息，为了避免在插件中解析网页的麻烦，同时也为了避免万一 imdb 把插件封禁，我决定自己搭一个 API 服务器，数据库用的 PostgreSQL，其中存储电影的 imdb 编号和分级。后台写的很简单，用 flask 框架搭起 API 的简单结构，仅仅提供给一个 imdb 编号返回评级的功能，跑在 gunicorn 上，再配置 nginx 作为反向代理，整体主要还是运维的活，不擅此道，好在有篇现成的教程。至于说浏览器插件，那就更简单了，在网上随便找了个开源的改了改，再参考参考谷歌上的文档，使其能发送 http 请求，简单编辑一下 DOM，也就足够了。目前看来运行还算稳定，效果也还可以，在豆瓣的 imdb 链接下面自动加一行 mpaa 评级。

很惭愧，就做了点微小的工作，谢谢大家！

2018年4月17日更新

趁着今天风水好，对插件进行了一些更新，使之支持知乎电影页面的评级。看客可能诧异，知乎不是装逼的地方吗？什么时候有电影信息了？其实这个更新也是临时起意，在浏览电影《湮灭》时，发现页面上居然有 imdb 网站的评分，该标签还是一个 imdb 页面的链接，这就说明能从网页上找到电影的 imdb id ，那我自然就不客气了，加了一段有点类似于豆瓣电影页面的解析，同时为了不破坏原有页面的观感，只是提供一个评级的小标签，该标签指向百度百科的 MPAA 介绍页面，这样用户也能轻松了解每个符号代表什么意思。实际效果如图所示

同时因为插件也开始支持豆瓣之外的网站，继续叫“豆瓣电影评级”不合适，就更名为“MPAA 电影评级”。

我的2017

发表评论

谈笑风生又一年

过去一年也没有什么别的，大概下面几件事

  1. 抽中了美帝的工作签证，纯粹历史的进程，和自我奋斗没什么关系
  2. 在公司搞了两个稍大的项目，忽悠公司涨了工资，公司自己多给了我一堆股票，没上市，没价值
  3. 小公司穷得很，从没有年终奖，自己买买基金股票给自己发了一个月的税前工资当奖金了
  4. 在 Coursera 上拿了两个证书，一个关于算法的，一个关于数据科学入门的，现在在上一门前端的课，还有一周结课，看来在今年是拿不到了
  5. 通过康奈尔的课程入门了 OCaml 这门语言，通过它学习了从一些新的角度来看待问题，还没写过什么实战类的代码。它的静态强类型我很喜欢，希望在新的一年里能用一个项目来练习
  6. 应经理建议开坑 Clojure ，语言很强大，现成的函数很多，唯一的缺点大概就是括号太多（ Lisp 系的通病）。不过也算是在公司的代码库里写了几行，同样需要多练习，功能强大了意味着要熟练掌握的难度就更大（ Python 也是这样，用了四年多还是不敢自称“精通”）
  7. 不知怎么的，我一个搬砖码农突然就觉得给别人打工纯粹是浪费时间，于是在圣诞假期简单开了一个 side project ，正在学习的前端算是有了用武之地
  8. 据豆瓣统计，过去一年看了24本书，70部影视作品（包含电影，动漫等）

很惭愧，就做了一点微小的工作，谢谢大家。

DynamoDB 中遇到的“坑”

发表评论

DynamoDB 的优势无需赘言，在亚麻的 paper 和 AWS 的技术文档中已经讲了无数遍，大量的工业实践经验也证明了 DynamoDB 确实是一款非常优秀的数据库。所以这篇文章的重点放在了个人使用 DynamoDB 的过程中遇到的坑。其实严格来讲很多不应该算“坑”，只是因为之前没有接触过，所以用起来多少感到些许不适应，简单起见，也归为了“坑”的一类。在使用中，我的环境是 Python 2.7.14 ，连接数据库的 driver 使用的是 boto3 。

  1. DynamoDB 不支持 Python 中的 tuple 类型，需要将其转换为 list 再进行写入。这样做可以理解，虽然在 Python 中两种数据结构不同，但在存储的角度来看并无区别，的确没有必要实现两种同样的数据类型。
  2. DynamoDB 不支持空字符串，但是支持 None ，因此实际生产中要么把空字符串的域（列）删掉，要么用 None 来代替空字符串，要么用某个特殊字符来代替空字符串。推荐第一种方式。DynamoDB 作为一种 NoSQL 数据库，本身对每条数据的格式不作要求，所以如果某个域（列）为空的话，简单舍弃即可，若采用替换的方式，可能会出现意想不到的问题，比如说可能混淆的替换的 None 和原本值为 None 的域。
  3. 很难对 DynamoDB 中的查询进行计数。DynamoDB 没有提供现成的计数操作，所以统计符合某个查询的结果数无异于全表扫描，这在时间上是无法忍受的（数据量很小的情况除外）。
  4. 批量读写受限。文档中写道，读操作一次可以处理最多100条请求，返回最多 16 MB 的数据；写操作一次可以处理最多25条请求，写入最多 16 MB 的数据，同时每条数据的大小不得超过 400 KB。不过也不好说这就是个坑，因为目前已知的只有 DynamoDB 的文档把这个限制明确告诉我们了，之前看其他数据库的文档并没有发现类似的说明，也有可能是我看的不仔细吧。
  5. 奇怪的 json 格式。DynamoDB 的数据结构采用的他们独家定义的一种 json 结构，具体。。不太好说明，总之和 Python 由 json.dumps 一个字典生成的不一样，还是直接查看文档好了。这种 json 格式导致其难以与整个系统中其他部分兼容，好在发现了一个叫做 dynamodb-json 的库，可以将 dynamodb json 转换为平时常见的 json。不过这个库本身也有问题，它无法正确的转换负浮点数，我已经帮它打了补丁，希望能包含在下一次版本发布中。
  6. 将 Python 浮点数写入 DynamoDB 前需要转换为 decimal.Decimal 类型，如 
    >>> import decimal
>>> decimal.Decimal('123.123')
Decimal('123.123')

    这个锅主要是因为浮点数无法精确地用二进制表示，而 DynamoDB 要求浮点数精确表示。

以上是目前我的一些使用经验，可能还有其他各种不适应的地方有待去发现。虽然 DynamoDB 对初次接触它的人来说有很多看起来“奇怪”的地方，但用习惯了并没有太多的槽点，并且对我而言，还有它最大的优势——运维方便，不需要人工去维护一个数据库集群包含多少机器，它会自动的根据数据量扩展；也不需要我们自己去写一个复杂的配置文件及一个日志系统去监控它的运行，一切都可以通过 AWS 控制台中点鼠标实现，在生产环境中，可以称为理想。

如何用 Python Flask 和 ngrok 快速搭建一个可用的 web 服务

发表评论

昨天公司为了让全体工程师测试即将发布的开发者平台，组织了一次 Hackathon ，平台主要支持移动开发（iOS 和安卓），我没多大兴趣，但也支持集成自己的 API endpoint ，通过摸索，用了不到半个小时的时间用 Python Flask 框架和 ngrok 在服务器上搭了一个简单的 web 服务，支持 https（这个功能当然是 ngrok 提供的），GET/POST 请求。今天趁着卧病在床，简单整理一下昨天做了些啥，以备后用。

简单步骤如下
1. 在 DigitalOcean 上开一个最便宜的服务器，这个每人喜好不同，但关键是便宜，毕竟只是一个 Hackathon
2. 把 Flask 首页 上的代码抄到服务器上，以如下方法将 Flask 进程运行在后台

export FLASK_APP=hello.py
export FLASK_DEBUG=1
nohup flask run &

运行在后台是为了使 web 服务不会因为 ssh 断开而中断，开 debug 模式是保证每次对代码的修改都能及时更新。
3. Flask 服务默认绑定 5000 端口，运行 ngrok

./ngrok http 5000 > /dev/null &

这样就能保证 ngrok 运行在后台，同时分配的 url 不会因为多次启动而随机变化。然后查看 localhost:4040/status 获得 ngrok 自动分配的 url 。

这样一个简单的 web 服务就搭好了。

注意 通过这种方式搭建的 ngrok 管道是不稳定的，并且会在很短的时间内失效，如果希望一个服务能够长期稳定运行的话，需要参考他们的文档 https://ngrok.com/docs#remote-addr ，或者去自己买一个域名，通过 nginx 等工具搭建。

如何给 DigitalOcean 一键安装的 WordPress 加 https

发表评论

Https 的重要性不言而喻，开了博客之后就寻思着怎样去弄一个证书，后来发现了方便易用的 Let’s Encrypt 。限于我还是建站新手，从发现这个工具到弄明白怎么用再到真正把网站挂上 Https 还是费了一番功夫的，为了表示我还要学习一个，随便记录一下过程。

  1. 为避免以后 DigitalOcean 可能的更新，导致版本不符令人迷惑，截图说明我安装的 WordPress 是如下这个版本
  2. 该版本的 WordPress 运行在 Apache 上，在 Let’s Encrypt 的 Getting Started 链接中提到，在 shell 中可以用一个叫 Certbot 的工具来获得证书，选项如下图所示
  3. 把网页上自动生成的脚本抄一遍就好了

因为这样生成的证书只有90天的有效期，所以 Certbot 建议设置一个定时任务来自动更新。

将博客转移到了 WordPress

发表评论

在天愿作比翼鸟，人生经验还太少

搬砖两年，之前的博客也荒了两年，接触的东西一多，就想着还是得有个地方写点啥，记录一下有用的人生经验，防止以后掉到同一个坑里去。

之前那个博客是用 hexo 建在 GitHub Pages 上的，hexo 差不多已经几乎忘记怎么用，GitHub Pages 也不太愿意继续折腾，虽然免费，但总觉得还是用个现成的，久经考验的博客框架来得稳妥，并且我也不是 Node.js 党，再次花时间精力去把 hexo 搞明白也并无太大裨益，虽然我挺感兴趣。博客网站考察了一些，但总感觉是寄人篱下，如果用国内的服务搞不好还要去猜测屏蔽关键字是哪些，毕竟微博的“ JavaScript 事件”相去不远。上个周六的时候用 wordpress.com 搭建了一个，也买了一年的个人套餐，因为我有个独立域名，但好像 wordpress.com 对个人域名的 https 支持不是很稳定，导致 Chrome 时不时报告证书无效，同时如果不是企业版的话各种插件也装不了，无奈只好退款。最后还是跑到 DigitalOcean 上搞了个 WordPress 一键安装，所有的事都能省了，掏钱就行，好在很便宜。

大概就是这个样子。