#LLM #LifeChoice https://mp.weixin.qq.com/s/vfsB5t3r5dBACKQx6FshVw 《选择你的道路：LLM 时代指南》

为什么我这么讨厌小修小改的paper，宁可没发表也不想研究这种东西。。现在证明我的直觉是对的（虽然我还是没发表，高不成低不就）：

“提出这么多改进为什么都不用呢，论文不也展示了优越性吗？
因为实际发现效果并不理想，特别论文都在小参数量下做的实验，一旦 Scaling 到大参数量很多结论就不 work 了，反而原始 Transformer 本身的 Scaling 性就很好，经典款最好用。
那怎么不去做大参数量实验呢，当然是成本太高了。一定要证明的话就会变成，民那我这有一个很好的 idea，现在就差某人资助几千张 H100 帮我验证一下。前阵看到 Scaling TransNormer to 175 Billion Parameters 时，想不会真有人在完全新结构上训了个 175B 吧，找来论文一看才发现原来就验证了下吞吐，也在等某位慈善家资助卡。
最近论文 No Train No Gain 也发现，很多数据、模型结构、优化器参数的改进，声称提高了效率效果，但对齐好所有条件一对比发现并没声称那么好，该用的算力还得用，该过的数据还得过，所以是 No Train No Gain。还是经典款最香。”

#LLM #LifeChoice https://mp.weixin.qq.com/s/vfsB5t3r5dBACKQx6FshVw《选择你的道路：LLM 时代指南》

为什么我这么讨厌小修小改的paper，宁可没发表也不想研究这种东西。。现在证明我的直觉是对的（虽然我还是没发表，高不成低不就）：

“提出这么多改进为什么都不用呢，论文不也展示了优越性吗？
因为实际发现效果并不理想，特别论文都在小参数量下做的实验，一旦 Scaling 到大参数量很多结论就不 work 了，反而原始 Transformer 本身的 Scaling 性就很好，经典款最好用。
那怎么不去做大参数量实验呢，当然是成本太高了。一定要证明的话就会变成，民那我这有一个很好的 idea，现在就差某人资助几千张 H100 帮我验证一下。前阵看到 Scaling TransNormer to 175 Billion Parameters 时，想不会真有人在完全新结构上训了个 175B 吧，找来论文一看才发现原来就验证了下吞吐，也在等某位慈善家资助卡。
最近论文 No Train No Gain 也发现，很多数据、模型结构、优化器参数的改进，声称提高了效率效果，但对齐好所有条件一对比发现并没声称那么好，该用的算力还得用，该过的数据还得过，所以是 No Train No Gain。还是经典款最香。”

Seven #Existential #Movies That Will Make You Go Back And Question Every Single #LifeChoice You've Made
https://digg.com/movies-and-tv/link/best-existential-movies-llG5ivpFSL

#LifeChoice 《产品沉思录》，关于如何做缓慢艰苦的工作。直接抄吧：

> 补充一些个人熬过去那些泥泞的方法，未必全面，但或许值得一试：
•不要臆想某些困难，先跳进去看一下，许多困难都是自己臆想的；
•别想的太远，那会有巨大的无力感，先把眼前确定的事情做好，动起来就会有变化；
•尽量把事情拆细，拆碎，拆到不需要太多思考，重要的是行动起来；
•把过程和步骤记录下来，尽量清晰，避免未来遇到类似的事情还要重新做一遍；

Which wolf are you feeding?
#peace #karma #spirituality #lifechoice

Continue/...4

I continued life not so fully the life I want. Until now. Truly. After 36 or 37 years. I did not get to go to Yale, Oxford or Cambridge. Did not get to study or read books. I only get to think. Now I am writing. I started living life towards Cambridge or Oxford, years ago. I love that life. Now that is where I am going and the basis of my writing is, the Universe is so big, Knowledge is so many.

So, I hope I will write what is worthwhile for many.

*Sofia

#lifechoice
#Meantro

Sofia Zakaria

Me, for a start, so readers know the basis of my writings.

I had been a little unfortunate that its effects are big. Was it only to me? Do not know.

When I was young, I was uncomfortable with life, alone, no one to turn to, parents divorced, there was a night where I looked out my window. What was I doing at 2 am at the age of 8 or 9? I was alone and too young to use lonely as the term. What did I see? I see the life I want. The life, studying at 2am.

#lifechoice
#meantto

My #happiness is totally under my control. Happiness is just a state of mind, so if you're not #happy just change your mind.

#stateofmind #newoutlook #lifechoice #behappy

Fuck harder when everyone is looking. #sexlife #lifechoice #exhibition

Look at you guys helping me be my best me! :)

Shared via Fedilab

@frankiesaxx 🔗 https://social.tchncs.de/users/frankiesaxx/statuses/102377316153581756
-
Current #lifechoice

Current #lifechoice