![broken image](http://custom-images.strikinglycdn.com/res/hrscywv4p/image/upload/c_limit,fl_lossy,h_9000,w_1200,f_auto,q_auto/8581684/610282_495190.jpeg)
個人認為,熟練AI時代下的工具,理論,都是宏觀交易員在這個時代獲得巨大優勢的必要籌碼,未來隨著AI工具的進一步進化和集成,AI- based plugin將進一步多元化,並顯著 降低我們的工作成本。
隨著AI基礎設施的建立,app和AI plugin之間的距離將越來越模糊,直到有一天AI based infrastructure可以取代手機中數百個不同領域的app應用。
星球社群中也將不間斷發布關於AI技術的論文,以及一些理論知識乾貨。
以下為正文:
在Attention誕生之前,已經有CNN和RNN及其變體模型了,那為什麼還要引入attention機制?
主要有兩個方面的原因。
(1)運算能力的限制:要記住很多”資訊”,模型就要變得更複雜,然而目前運算能力依然是限制神經網路發展的瓶頸。
(2)最佳化演算法的限制:LSTM只能在一定程度上緩解RNN中的長距離依賴問題,且資訊”記憶”能力並不高。
注意力模型用最簡單的方式解釋,就是模仿人腦對於訊息的處理機制。
試想下,當我們人腦開始處理複雜訊息(圖片/語音/文件等),大腦會開始做出以下行為來強化我們的應對和理解能力:
1. 在複雜的資訊中,篩選出最為重要的部分。
2. 找到資訊中存在的關聯性(correlation) 以及模式(當然AI業界的名詞不是這麼敘述,但類似的概念)。
3. 透過在資訊中做出優先順序的權重排序,搞清楚哪些是主要,哪些是次要的資訊。
整個attention AI模型如果用簡單的方式理解,就是透過讓AI透過一系列方式,將語義形成矩陣,以數學的方式,讓AI理解上下文,並且透過複雜的字詞中提煉出核心訊息,從而做到真正 理解人類語言,和需求的能力。
![broken image](http://custom-images.strikinglycdn.com/res/hrscywv4p/image/upload/c_limit,fl_lossy,h_9000,w_1200,f_auto,q_auto/8581684/70692_492634.png)
attention模型的應用實際上強化了AI模型的以下屬性:
1. 對於資訊的處理速度。
2. 並行多工處理(可同時處理多種變數)。
3. 對於前後文意義轉折,邏輯聯繫,或是上下文的聯繫能力有著驚人的提升。
![broken image](http://custom-images.strikinglycdn.com/res/hrscywv4p/image/upload/c_limit,fl_lossy,h_9000,w_1200,f_auto,q_auto/8581684/627027_418809.png)
Transformer模型是一種深度學習架構,最初是為了改進機器翻譯任務而設計的。 現在,它已經被廣泛應用於各種自然語言處理(NLP)任務。
Transformer模型有以下特性:
1. 處理序列資料:Transformer模型特別擅長處理序列資料(sequence data) ,例如文字。 它可以理解和產生類似人類語言的結構。
2. 注意力機制:Transformer的核心特性是”注意力機制(attention mechanism) “。 這意味著模型能夠專注於輸入資料的不同部分,以便更好地理解和回應。 例如,在翻譯句子時,模型可能會特別關注與當前翻譯詞相關的單字。
3. 並行處理:與傳統的遞歸神經網絡(RNN)不同,Transformer可以同時處理整個序列,而不是一個接一個地處理。 這使得它在處理速度上更快,更適合大規模資料。
4. 編碼器和解碼器(encoder and decoder) :Transformer模型通常由編碼器和解碼器組成。 編碼器處理輸入資料(例如,將一種語言的句子轉換成理解的格式),而解碼器則產生輸出(例如,將這種格式轉換成另一種語言的句子)。
5. 自我注意力(self attention mechanism) 與層次結構:
在Transformer模型中,自我注意力層允許模型在處理一個單字時考慮到句子中的其他單字。 此外,多層結構使模型能夠學習複雜的語言特徵。
理解Transfomer 模型中的Q/K/V:
在Transformer模型中,Q、K、V分別代表Query(查詢)、Key(鍵)和Value(值),它們是理解Transformer模型中註意力機制的關鍵概念。 這三個元件是實現所謂的”自註意力(Self-Attention)”機制的基礎,這是Transformer模型的核心特性之一。
以下詳細解釋這三個概念(Q/K/V):
![broken image](http://custom-images.strikinglycdn.com/res/hrscywv4p/image/upload/c_limit,fl_lossy,h_9000,w_1200,f_auto,q_auto/8581684/623785_824933.png)
在自註意力機制中,這三個組件是如何運作:
![broken image](http://custom-images.strikinglycdn.com/res/hrscywv4p/image/upload/c_limit,fl_lossy,h_9000,w_1200,f_auto,q_auto/8581684/741824_563028.png)
這個過程使得Transformer能夠在處理每個元素時考慮到序列中的所有其他元素,從而捕捉複雜的、長距離的依賴關係。 這也是Transformer模型在處理語言和其他序列資料時非常強大的原因之一。
AI 後續的發展方向與想法:
1)AI解決數學問題,這部分分為解決已知數學問題或是解決高難度,未知的數學問題(拓展已知數學邊際的認知問題),以AI作為科學領域的助手,應該說是AI 領域非常高深的一個方向。
2)AI打遊戲,看電影,生成音樂等。 或是將現有的遊戲引擎加入更多AI要素。 在這三個領域AI有著無所比擬的巨大優勢。 舉例,大部分華人樂手的R&B,以及少數(某些)自以為懂R&B的爛歌手抄來抄去的重複和弦,都可以透過AI生成相似,甚至是超越原作的音樂作品。
電影領域尤其是科幻片,在重複性的動畫生成(水的漣漪,爆炸碎片的軌跡或是物理性的其實都和遊戲工業有著巨大的重疊性)。
自2020年疫情以來,遊戲產業出現井噴式成長,遊戲產業是AI領域深度垂直變現能力最強的領域。 透過掌握更強的AI能力,3A遊戲公司能夠降低巨大的重複成本(比如說開放世界中,生成路人,生成一些雜七雜八的物件)。
3)AI用於投資決策,產生交易策略,辨識價格訊號。
這部分我正在投入大量的資源去開發,形成一條可依賴的路徑。
例如大型爬蟲辨識某類公司財報訊息,或是透過辨識某些價差模式產生一些可執行交易,和過去的交易系統中最大的差別在於訊號源的設計,以及產生模式,將認為介入的因素降 到最低。
當然短期AI不一定有能力能夠取代基金經理,但無疑AI能夠依據宏觀交易員和基金經理的經驗,甚至是爬取大量公開的推特和PPT,生成一系列的價格信號源以及模式識別,以 輔助交易員或是基金經理人進行投資決策。
最後聊聊Qstar 的後續可能發展:
1)SELF PLAY: AI領域的左右手互博。
代理(agent)可以透過與略有不同的自己進行博弈來提高自己的博弈水平,因為它會逐漸遇到更具挑戰性的情況。 在 LLM 的空間中,幾乎可以肯定的是,自我對弈的最大部分將看起來像是人工智慧回饋,而不是競爭過程。
2)LOOK AHEAD PLANNING(前瞻性規劃):
指使用世界模型來推理未來,並產生更優化的行為或產出。 基於模型預測控制(MPC)以及蒙特卡羅數分析(MCTS)。 前者應用於連續狀態,後者應用於離散的行動和狀態。
更多後續的猜想和思考都將放進社群。
公眾號僅作為知識儲蓄,思考筆記之用。