李:看到 attention 机制一个图示: 这可算是 attention 机制可视化以后,明确显示其解决了 pronoun coreference 的难题。看前后两句 it 与 animal 和 street 的关联强度就明白了: 1. The animal didn’t cross the street because was too tired. 2. The animal didn’t cross the street because ...
昨天在网上听了一个数小时的批判深度学习的小圆桌会,有点意思: NLP is not NLU and GPT-3 – Walid Saba 是三个名校中青年学者对一位学富五车的老年教授,大家抱着尊重老专家的尊敬之心,与这位批判者深入交谈究竟神经网络的短板在哪里。 Walid 教授对于领域一边倒极为不满,凭着他对于电脑科学(早年好像是伯 ...
作为周末爱好,最近把 Esperanto parser (世界语自动句法解析器) 复活了。为“自然”语言做的平台,对于“人造”语言扫描,那的确是”降维打击“,就跟美国轰炸伊拉克似的。先找一个简单的句子热身: 世界语《第一书》略显简单,咱们从《第二书》开始认真试试庖丁牛刀,LOL。 la unua frazo en 《La Dua Libro》: ...