斑斑斑比:文本挖掘林夕、黄伟文的43万字歌词,他们到底在唱些什么?
来源:大数据文摘
2017-04-14 07:06
(转自:大数据文摘|bigdatadigest,作者:斑斑斑比)
在我十几年的听歌生涯里,熟悉的歌曲可以说有80%以上的作词,都是出自香港两大金牌词人——林夕和黄伟文之手,粉丝界也出了不少文章从二人的韵脚使用、意识形态、选材议题尤其是爱情观等角度做分析,甚至网络上还有流传"林夕引进门,皈依黄伟文"的说法。作为他们的迷妹,并且最近恰好在看一些关于文本挖掘的文章,忍不住从文本挖掘的角度对他们的歌词做了一个颇粗浅的分析。
首先我通过Python爬虫在虾米音乐上抓取了所有他们的歌词文本,对比了虾米、网易云和QQ三大音乐门户,虾米上收录的比较全,但是抓取下来的数据也不能保证囊括了两人出道来所有的作品,所以呢结果仅作参考。
对抓取结果进行去重和去空文本后,约43万字,其中夕爷跟歪闷字数比例7:1左右,从文本歌曲数来看,夕爷跟歪闷大约一个8:1的比例,看来歪闷单曲平均字数更丰富(话唠)?夕爷年均产量63首,歪闷年均产量11首。可以说夕爷绝对属于天道酬勤自带天赋的努力型选手,这应该也是夕爷在大陆知名度更高的主要原因,生产力带动了市场覆盖率,虽然歪闷没有夕爷那么高产,不过在含金量方面应该是更胜一筹的多金型选手,毕竟分母更小。
接下来是对他们两人所有的歌词文本通过Python库(主要是jieba、snownlp)作分词、词性处理和情绪分析。我把每个文本里的"你、我、他"等单字和oh yeah之类的语气词去掉后,用剩下的词语分别生成了两人肖像字符云,上图是夕爷,下图是歪闷(排名不分先后)
"没有"是两人词云里最突出的词
"没有"是两人词云里最突出的词,前段时间有篇文章分析了香港四十年来歌曲关键字的变化,说在90年代后,歌坛关键词从以前的"相思、鸳鸯、我心"切换成了"没有",词云的结果就刚好对应上了这个结论,90年代后,夕爷和歪闷包揽了香港歌坛绝大部分传唱度高的词作,而这两人使用频度最高的词就是"没有"。
夕爷的重点关键词:没有、一个、为何、怎么、什么、我们……
歪闷的重点关键词:没有、一个、如何、什么、可以、为何……
从词性方面看两人平常惯用的招式
下图分别是夕爷和歪闷的词性使用频度
从词性来看两人惯用的前9招几乎是一模一样的:动词>名词>副词>形容词>代词>数词>连词>人名>时间词。一直到地名、其他名动词和方位词等才开始有所差别。
为了看两人具体用词的差别,我对动词,名词等常用词接着做细分,上图夕爷,下图歪闷
两人动词排名靠前的也很接近:没有、得到、需要,知道。在没有之后,有"需要",想"得到",也有领会("知道"),区别似乎是夕爷的在没有之后是"不会""恋爱"还念着"拥抱"("靠拥抱亦难任你拥有"——《富士山下》),歪闷的是"继续""恋爱"但是"害怕""没法"子("害怕一直也再没法恋爱"——《耿耿于怀》)。
再看看名词方面,依然上图夕爷,下图歪闷
两人一起提到最多的就是"世界",还有"情人"、"眼泪"、"时间",有情两个人就是世界,没有情世界就只剩一个人。
相对夕爷念叨的"伴侣"(我爱的人不爱我),歪闷有一个比较对立的词是"无人"(有谁来爱我)
接着是形容词,上图夕爷,下图歪闷
"快乐"、"幸福"、"寂寞"占比最高,只是夕爷的寂寞似乎更多。然后除了一些快乐寂寞类的抒情形容词,歪闷还多出了一些像"顽强"、"有趣"、"无聊"不那么主流的词,当然从夕爷年产63首的勤奋劲看对"无聊"的青睐也应该要少的多。《浮夸》如歪闷当然要"着最闪的衫",要"有趣"不要"无聊"。
从时间词方面看两人更多地是偏爱什么时间状态
前两图夕爷,后两图歪闷
夕爷是"过去">"现在">"未来"
歪闷是"现在">"过去">"未来"
两人似乎都不怎么喜欢展望未来,区别是夕爷更缅怀过去:
歪闷是活在当下:
关于最爱的季节
在春夏秋冬里,夕爷跟歪闷都是更爱春秋,自古诗人多伤春悲秋,不同的是夕爷的春秋只相差了10个百分点,而歪闷对春天属于压倒性宠爱,在四个季节里占了一半的比重。
对植物的使用上
夕爷喜欢"玫瑰"、"蔷薇"、"樱花"、"昙花"、"葡萄"、"满天星"、"百合"、"薄荷"等多是观赏性植物,重在营造意境。
歪闷除了"蔷薇"、"百合"以外更多喜欢用"葡萄"、"苦瓜"、"洋葱"、"苹果"这些食用类的来描述人生个中滋味。
地名词,看看哪些地方是两人各自的根据地
夕爷的是:"天国"、"深海"、"城市"、"香港"、"爱河"、"东京"
歪闷的是:"天国"、"满街"、"都市"、"花都"、"东京"、"冰岛"
两人最大的共同点——"天国",然后是城市和东京,不过夕爷看来更喜欢水相关的像"深海"、"爱河",歪闷相对来说还是更喜欢在"满街","花都的"陆地。
再看看他们畅游的世界板块
从世界板块来说,两人都最喜欢亚洲,不过夕爷的亚洲比例是要远远超出其他洲的,更多的是喜欢说香港,北京,日本(突然想起了夕爷的神作《北京欢迎你》);夕爷关于日本也有不少热门曲目,像《富士山下》、《再见二丁目》、《如果东京不快乐》、《黑择明》等等
歪闷则是从亚洲冲出欧洲,从香港东京,到冰岛巴黎蒙马特,这可能是他偏爱时尚,喜欢时装展的关系。
当我看到南美洲这个地名的时候,突然想起了一首经典,就是歪闷作词,张国荣作曲和旁白,黄耀明演唱的《这么远那么近》,下面是一大段张国荣性感的独白:
我由布鲁塞尔坐火车去阿姆斯特丹, 望住窗外,飞越过几十个小镇,几千里土地,几千万个人。我怀疑,我们人生里面,唯一可以相遇的机会,已经错过了
而歪闷的世界板块也真的像这首歌写的:
我由亚洲一直飘到,南美洲
两人的情感曲线分析
我把情感分数高于0.6的歌词文本定义为整体用词是比较正面的,反之则是比较负面,先来看看夕爷的:
可以看到夕爷的大部分是过了正面及格线的,并且很多刚好是踩线及格。
歪闷的呢则是参差不齐,大起大落,有高有低,可以说正负两面一半一半吧。
平日里听歌的时候,总觉得夕爷的歌词里满是惨兮兮惹人怜的情绪,而歪闷的相对是直面疮疤手起刀落的感觉,为什么文本情绪分析出来夕爷的歌词的正面意义高达70%,而歪闷的则是正负意义不相上下呢?
我仔细想了一下,夕爷是引佛入词,虽然世事无常但是要从中解脱要包容要宽宏,虽然我爱的人不爱我但是"我们是朋友还可以问候","你掌心的痣我总记得在哪里","离开你六十年但愿能认得出你的子女"。所以正面的歌词文本是要远远超过负面,别忘了,夕爷还有《快乐崇拜》、《wuha》、《北京欢迎你》之类积极向上的歌曲(扶额)。而歪闷呢,更注重坦白内心的疮疤,虽然血迹斑斑但是要迎刃而解,我爱的人不爱我所以我"渡日月穿山水仍在恨那谁","你没有好结果,来让你一生最喜欢和珍惜那人也摧毁你一生完全没半点恻隐"但是"我为我生存""明日我必须振作","活得比你好",因此可以说表达的正负面意义是一半一半。
好了,先收工。下回再看看更深入的挖掘。