文｜陳兵

近年來，人工智能技術在社會經濟各領域深度扎根，算法逐漸成為企業(yè)提升決策效率、優(yōu)化經營模式的重要技術工具。盡管算法代替人工決策的初衷之一是消除傳統意義上的歧視，但從數據采集處理到訓練、集群、鏈接和決策樹創(chuàng)建及預測模型開發(fā)過程，都離不開程序員的操作和實施，人類的偏見可能已被嵌入各環(huán)節(jié)之中，而計算機化又強化了歧視與偏見。算法歧視現象在企業(yè)決策過程中日益凸顯，算法不能再被視為“技術中立”而免責。因此，企業(yè)使用人工智能技術進行自動化決策的行為應當被納入數字技術的法治框架。

算法歧視延伸至多個場景

當今，算法歧視行為已延伸至民生領域多種場景，在招聘篩選、信貸風控、消費定價領域較為集中。亞馬遜為實現短期內大規(guī)模招募雇員，開發(fā)了自動化招聘決策工具。經調查，其全球員工有60%是男性，男性占公司管理職位的74%，2018年因涉嫌性別歧視而停用算法招聘。

在信貸風控領域，金融AI大模型正在重塑信貸行業(yè)的風險定價與決策效率，而算法歧視行為嚴重危害了金融消費者的合法權益。其中低收入群體被系統判定高風險、外賣騎手因GPS軌跡而判定工作波動等信用歧視現象凸顯，久而久之，金融普惠目標或將漸行漸遠。

在消費定價領域，從“大數據殺熟”到“千人千價”“定制化營銷”等，算法歧視逐漸呈現動態(tài)化、隱蔽化特征。

算法并非絕對中立，其偏見既源于訓練數據記錄的社會固有偏見，也來自模型復雜運算中捕捉信息、迭代強化形成的偏差，還與算法設計人員的主觀意識、知識背景相關，導致歧視誘因更難追溯。特別是在生成式人工智能等新一代人工智能技術廣泛應用的背景下，數據偏見與算法偏差深度交織，隱性歧視被算法化、技術化的傾向越來越嚴重，且難以被發(fā)現。

同時，企業(yè)利用算法的方式也更加隱蔽。例如，招聘算法不設置年齡參數，而是嵌入“工作年限”這一隱性的年齡關聯參數。又如，金融科技公司利用信貸算法，表面上是以信用為依據，實則暗中將地域、職業(yè)作為隱形參數，對欠發(fā)達地區(qū)、低收入群體設置更高信貸門檻。行為模式的隱蔽性，使得企業(yè)借算法“黑箱”以“算法自主決策”“數據偏差導致”為由逃避責任。

算法歧視案件的實務困境

我國目前尚未制定專門的算法法，但已形成以個人信息保護法、電子商務法、反不正當競爭法、勞動法、消費者權益保護法為核心，以部門規(guī)章、司法解釋為補充的多維度、多層次算法歧視規(guī)制體系。我國還通過行業(yè)規(guī)范的方式，對算法歧視進行了輔助規(guī)制，細化了企業(yè)合規(guī)義務。

但在實踐中，由于算法技術具有復雜性、隱蔽性，以及現有法律體系的局限性，使得相關案件仍面臨諸多實務難題，制約了算法歧視的治理效果。

（一）數據治理待規(guī)范，偏見傳導隱蔽且難以管控。

算法訓練數據常存在樣本失衡、歷史偏見等問題，部分數據自帶性別、地域、職業(yè)等結構性歧視，經算法學習后被進一步放大，形成系統性歧視。同時，數據偏見具有極強隱蔽性，取證難度極大，企業(yè)常以商業(yè)秘密、技術保密為由，拒絕向司法機關和監(jiān)管部門提供完整訓練數據與清洗流程，導致司法與監(jiān)管難以核查數據合法性與公平性，加之目前缺乏明確的數據去偏、樣本均衡等合規(guī)指引，企業(yè)數據合規(guī)流于形式。

（二）算法規(guī)制滯后，技術壁壘難以突破。

算法“黑箱”特性導致監(jiān)管部門與司法機關無法對其進行穿透式審查，難以知曉其模型邏輯、特征權重等核心內容?，F有相關規(guī)制條款多為原則性規(guī)定，缺乏具體可操作的實施標準，且算法具有動態(tài)迭代的特點，與法律的穩(wěn)定性形成矛盾，進一步加劇了規(guī)制的被動性。另外，不同領域的算法歧視場景差異較大，未形成分類分級的規(guī)制體系，企業(yè)在AI合規(guī)過程中缺乏明確依據，難以精準避免歧視風險。

（三）歧視邊界難界定，受害者舉證難度大。

實踐中，如何區(qū)分“合理的差別對待”與“違法的算法歧視”，是算法歧視認定的核心難點。如招聘算法根據崗位需求，設置篩選參數，選定符合條件的求職者，屬于合理的崗位匹配；信貸算法根據借款人的信用狀況、還款能力進行差異化評定，屬于合理的風險控制。當上述差別對待超出“合理范圍”會形成對特定群體的不公平待遇，而構成算法歧視，但“合理范圍”缺乏明確的判斷標準，導致司法認定存在較大爭議。

算法的“黑箱”特性導致算法歧視案件舉證難度遠超普通民事案件，給受害者維權帶來障礙。一方面，受害者難以獲取算法的設計邏輯、參數設置、數據訓練過程等商業(yè)秘密，作為其維權的相關證據；另一方面，受害者難以證明自身權益受損是由算法歧視導致的。

盡管個人信息保護法規(guī)定了“過錯推定”原則，但在實踐中，該原則適用仍存在局限，企業(yè)往往以“算法技術復雜”“數據合法合規(guī)”為由，拒絕提供算法相關證據，而法院缺乏有效的強制手段要求企業(yè)披露算法信息，導致“過錯推定”原則難以落地。同時，有關部門尚未建立統一的算法解釋標準，企業(yè)在履行透明化義務時，還面臨與商業(yè)秘密保護的沖突，合規(guī)成本較高，導致用戶維權陷入困境。

（四）責任劃分模糊與責任形式單一。

算法開發(fā)、運營、數據提供、使用等相關責任主體多元，各主體的責任邊界劃分不清晰，難以明確歧視行為的具體責任歸屬。

對于覆蓋群體廣、持續(xù)時間長的算法歧視行為，若僅要求企業(yè)賠償單個受害者、簡單整改算法，無法彌補對整個受害群體的權益損害，也難以倒逼企業(yè)從根源上優(yōu)化算法。

同時，責任形式缺乏層次性，未區(qū)分企業(yè)故意嵌入歧視與過失導致偏差的責任差異，對惡意歧視行為未設置更嚴厲的懲戒措施，且未將算法歧視責任與企業(yè)信用評價、資質審核掛鉤，導致部分企業(yè)整改流于形式，難以實現源頭治理。

完善算法歧視協同治理體系

破解算法歧視案件的實務困境，需要從完善法治和企業(yè)合規(guī)兩個維度持續(xù)發(fā)力。

首先應加強數據保護與隱私立法執(zhí)法，從源頭防治算法歧視風險和危害。應完善數據相關法律法規(guī)，明確數據收集、存儲、處理和共享的規(guī)范。《生成式人工智能服務管理暫行辦法》對數據安全和隱私保護作出了具體規(guī)定，包括數據來源的合法性以及關于訓練數據的特性、個人信息與知識產權的保護規(guī)定，將相關監(jiān)督檢查和法律責任納入我國網絡安全和數據隱私保護的基礎性法律框架內。但僅有這些是不夠的，還應加快專項立法工作，明確算法歧視的界定標準和規(guī)制規(guī)則。通過明確“算法歧視”的定義、構成要件和認定標準等，區(qū)分“合理差別對待”與“違法算法歧視”的邊界，為實務提供可遵循的法律依據。同時應加大監(jiān)管執(zhí)法力度，嚴厲打擊侵犯個人隱私的行為，確保法律的有效實施。

其次，優(yōu)化算法設計，應要求企業(yè)在算法設計、數據訓練、參數設置等環(huán)節(jié)履行合規(guī)審查義務，從源頭防范算法歧視。其中，重點是落實算法分類分級管理和多元主體利益平衡，細化《互聯網信息服務算法推薦管理規(guī)定》中的分類標準，并制定相應的風險等級和監(jiān)管舉措。

值得注意的是，立法還需堅持“規(guī)制與賦能并重”原則，避免過度監(jiān)管抑制算法技術的創(chuàng)新應用，實現算法合規(guī)與技術創(chuàng)新的良性互動。

實踐中，還應優(yōu)化裁判規(guī)則，破解實務困境。通過明確算法歧視的認定標準、舉證責任分配規(guī)則和算法解釋等要求，統一司法裁判的尺度。在舉證責任方面，引入舉證責任倒置制度，對于算法歧視案件，由算法開發(fā)者和使用者對不涉及商業(yè)秘密的算法運行原理進行解釋。

在算法解釋方面，建立專業(yè)的算法鑒定機制，組建由法律專家、技術專家組成的鑒定團隊，對企業(yè)提供的算法解釋進行專業(yè)審查。同時，加強法院的技術能力建設，組建針對涉人工智能案件的審判團隊，培養(yǎng)兼具法律知識和技術知識的復合型法官，提高算法歧視案件審理的專業(yè)性和公正性。

推動算法歧視治理提質增效，需要政府、企業(yè)、行業(yè)協會、技術機構、社會公眾等多方主體形成治理合力。行業(yè)協會應發(fā)揮橋梁作用，結合不同領域算法應用特點制定自律公約，引導企業(yè)主動履行合規(guī)義務。同時，會同行業(yè)內技術機構定期開展算法公平性培訓、技術研討等活動，以提升企業(yè)相關人員的合規(guī)意識與技術能力。社會公眾層面上，應強化監(jiān)督意識，公眾應積極參與算法治理，通過合理表達訴求、提出意見建議等方式，推動算法技術優(yōu)化。

明確企業(yè)AI合規(guī)邊界

企業(yè)在算法應用過程中，應明確行為的合規(guī)邊界。

在算法設計階段，企業(yè)應樹立“公平優(yōu)先”理念，明確算法的設計目標和公平性要求，杜絕在算法中設置性別、年齡、地域、種族等歧視性參數。還應采用多樣化的訓練數據，避免數據偏差導致的算法歧視。如在信貸算法的訓練數據中，涵蓋不同收入、不同地域的用戶樣本，減少數據偏差對算法決策的影響。

在數據管理環(huán)節(jié)中，企業(yè)應遵守個人信息保護法、數據安全法等相關規(guī)定，規(guī)范數據收集、存儲、使用和銷毀全流程。定期對數據進行清洗，及時糾正數據偏差。

在算法運行中，企業(yè)應當積極履行透明度義務，保障用戶知情權。企業(yè)應嚴格履行個人信息保護法規(guī)定的透明度義務，向用戶明確披露算法的決策依據、邏輯、參數設置和可能產生的影響。通過通俗易懂的方式，向用戶闡釋算法決策的過程和結果。

合規(guī)審查是必要且重要的環(huán)節(jié)。企業(yè)應當通過建立常態(tài)化的合規(guī)機制，強化風險防控能力。建立算法合規(guī)部門，配備兼具法律知識和技術知識的復合型合規(guī)人員，負責算法的合規(guī)審查、風險評估和整改落實。在此基礎上，建立算法全生命周期合規(guī)審查機制，對算法的設計、開發(fā)、測試、上線、運行、優(yōu)化等各個環(huán)節(jié)進行合規(guī)審查，通過自糾自查及時發(fā)現并防范算法歧視風險。

關于作者

陳兵，南開大學法學院副院長、教授、博士生導師