“哈利你好~先感謝你每週用心製作的節目,真的超讚。
我最近終於啃完Andrej Karpathy 大神最新的影片,在講Tokenization (兩小時影片,全是乾貨,超猛)
啃完後我在想, Google的Gemini會不會其實是在BPE的階段瘋狂把一堆文本壓成一個token,所以才讓Gemini有能力吃下超大的content length; 但是相對的Gemini在對於短的prompt的處理能力就會比較差.
不知道這樣的想法到底有沒有誤解什麼~
再次感謝你每週用心準備的節目,敲碗更多集啦~”
麥可滑吃雞 via Apple Podcasts ·
Taiwan ·
02/26/24