李:看到 attention 机制一个图示: 这可算是 attention 机制可视化以后,明确显示其解决了 pronoun coreference 的难题。看前后两句 it 与 animal 和 street 的关联强度就明白了: 1. The animal didn’t cross the street because was too tired. 2. The animal didn’t cross the street because ...
昨天在网上听了一个数小时的批判深度学习的小圆桌会,有点意思: NLP is not NLU and GPT-3 – Walid Saba 是三个名校中青年学者对一位学富五车的老年教授,大家抱着尊重老专家的尊敬之心,与这位批判者深入交谈究竟神经网络的短板在哪里。 Walid 教授对于领域一边倒极为不满,凭着他对于电脑科学(早年好像是伯 ...