检索结果-南通市图书馆

Federated Offline Reinforcement Learning with Proximal Policy Evaluation

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

Chinese Journal of Electronics 2024年

作者： Sheng YUE yongheng deng Guanbo WANG Ju REN Yaoxue ZHANG Department of Computer Science and Technology BNRist Tsinghua University Zhongguancun Laboratory

Offline reinforcement learning (RL) has gathered increasing attention in recent years, which seeks to learn policies from static datasets without active online exploration. However, the existing offline RL approaches often require a large amount of pre-collected data and hence are hardly implemented by a single agent in practice. Inspired by the advancement of federated learning (FL), this paper studies federated offline reinforcement learning(FORL), whereby multiple agents collaboratively carry out offline policy learning with no need to share their raw trajectories. Clearly, a straightforward solution is to simply retrofit the off-the-shelf offline RL methods for FL, whereas such an approach easily overfits individual datasets during local updating, leading to instability and subpar performance. To overcome this challenge, we propose a new FORL algorithm, named model-free (MF)-FORL, thatexploits novel “proximal local policy evaluation” to judiciously push up action values beyond local data support, enabling agents to capture the individual information without forgetting the aggregated knowledge. Further, we introduce a model-based variant, MB-FORL, capable of improving the generalization ability and computational efficiency via utilizing a learned dynamics model. We evaluate the proposed algorithms on a suite of complex and high-dimensional offline RL benchmarks, and the results demonstrate significant performance gains over the baselines.

关键词：

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于项目概率分布的协同过滤推荐算法

现代图书情报技术 2016年第6期 73-79页

作者：王永邓江洲邓永恒张璞重庆邮电大学电子商务与现代物流重点实验室重庆400065 重庆邮电大学计算机学院重庆400065

【目的】解决传统项目相似性度量方法必须依赖于共同评分项,及传统方法在稀疏数据集中预测准确性不高的问题。【方法】将信号处理领域的KL散度引入项目相似性的计算中,利用评分值的概率密度分布计算项目相似性,可更有效地发现目标项目... 详细信息

【目的】解决传统项目相似性度量方法必须依赖于共同评分项,及传统方法在稀疏数据集中预测准确性不高的问题。【方法】将信号处理领域的KL散度引入项目相似性的计算中,利用评分值的概率密度分布计算项目相似性,可更有效地发现目标项目的相似邻居项目。【结果】在Movie Lens数据集上的实验结果表明,该算法的推荐综合值F1超过0.65,在预测有效性、预测误差和推荐准确性等方面的评测结果均明显优于当前常用的项目相似性方法。【局限】只考虑了项目评分值的比率,未充分利用项目的绝对评分值。【结论】算法有效地利用了数据集内的评分信息,较好地克服了数据的稀疏性问题,具有很好的应用价值。

关键词：项目相似性协同过滤 KL散度推荐算法

在线全文

学校读者我要写书评

暂无评论

人口冲击、婚姻和住房市场

南开经济研究 2016年第1期 58-76页

作者：刘学良吴璟邓永恒中国社会科学院经济研究所清华大学房地产研究所新加坡国立大学房地产研究所

住房价格持续、快速上涨是当前中国最重要的经济和社会现象之一,本文尝试从人口这一基本面因素出发对此做出解读。论文首先以家庭世代交叠模型和古诺形式垄断竞争模型为基础构建了住房市场局部均衡模型,证明外生的人口冲击对住房市场需... 详细信息

住房价格持续、快速上涨是当前中国最重要的经济和社会现象之一,本文尝试从人口这一基本面因素出发对此做出解读。论文首先以家庭世代交叠模型和古诺形式垄断竞争模型为基础构建了住房市场局部均衡模型,证明外生的人口冲击对住房市场需求和住房价格变化的重要影响。基于30个省级行政区面板数据的实证研究进一步显示,在20世纪80年代(1981年—1991年)生育高峰中出生的人口集中进入婚龄是导致2004年以来中国城市住房价格持续、快速上涨的重要原因之一。上述研究成果提示,这种由于婚姻人口冲击引发的住房市场繁荣具有明显的周期性特征,需要警惕本轮婴儿潮导致的婚龄人口高峰过后可能出现的住房市场需求萎缩和住房价格显著下降以及由此引发的对宏观经济稳定的影响。

关键词：婚姻婴儿潮住房市场房价

预期对租金房价比变化的影响作用研究——基于住房使用成本模型的分析

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（人文社会科学版） 2013年第1期43卷 58-72页

作者：任超群吴璟邓永恒新加坡国立大学房地产研究院新加坡119077北京100084 清华大学建设管理系北京100084

预期被认为是引起中国住房市场价格居高不下且持续上涨的主要因素之一。2005—2010年,北京房价租金比上涨了175%。房价租金比的迅猛上涨表明住房使用成本持续下跌。通过基于北京八个城区2005年1月至2010年12月的面板数据的实证研究,发... 详细信息

预期被认为是引起中国住房市场价格居高不下且持续上涨的主要因素之一。2005—2010年,北京房价租金比上涨了175%。房价租金比的迅猛上涨表明住房使用成本持续下跌。通过基于北京八个城区2005年1月至2010年12月的面板数据的实证研究,发现房价的变化可以部分由利率所代表的经济基本面因素解释,但大部分是由房价预期因素引起的。预期对房价的影响程度随市场形势的变化而改变,市场繁荣期预期对房价的推动作用比市场平稳期更强。这种非理性预期带来的房地产市场繁荣非常危险,值得警惕。

关键词：租金房价比预期中国住房市场住房使用成本模型

在线全文

学校读者我要写书评

暂无评论

考虑非对称用户偏好的推荐算法

计算机工程与应用 2018年第23期54卷 1-6,13页

作者：王永邓永恒李晓光重庆邮电大学经济管理学院重庆400065

为解决常见的相似性方法存在未考虑用户间共同评分项在目标用户所评项目中的比例以及用户评分偏好的问题。提出了非对称因子和偏好因子,用于提高用户相似性计算的准确性。在公开的MovieLens和Yahoo Music数据集上的实验表明,引入这两个... 详细信息

为解决常见的相似性方法存在未考虑用户间共同评分项在目标用户所评项目中的比例以及用户评分偏好的问题。提出了非对称因子和偏好因子,用于提高用户相似性计算的准确性。在公开的MovieLens和Yahoo Music数据集上的实验表明,引入这两个因子后,相似性模型的预测误差下降显著,优于其他相似性方法。非对称因子和偏好因子的引入更合理地体现出用户间的评分差异性,有效地处理了用户偏好问题,提高了推荐质量。

关键词：用户偏好非对称协同过滤推荐算法

在线全文

学校读者我要写书评

暂无评论

基于SD卡数据的矩形起落航线识别方法

中国民航飞行学院学报 2020年第2期31卷 5-9页

作者：邓永恒孙宏张培文中国民用航空飞行学院四川广汉618307

为设计一种基于SD卡数据的矩形起落航线识别方法,通过分析矩形起落航线以及SD卡数据的特点,从起飞滑跑起始位置识别、着陆滑跑终止位置识别、通信频率识别、飞行高度识别和转弯识别等几个方面建立矩形起落航线训练科目识别模型。以Cessn... 详细信息

为设计一种基于SD卡数据的矩形起落航线识别方法,通过分析矩形起落航线以及SD卡数据的特点,从起飞滑跑起始位置识别、着陆滑跑终止位置识别、通信频率识别、飞行高度识别和转弯识别等几个方面建立矩形起落航线训练科目识别模型。以Cessna172R训练飞机采集的真实SD卡数据进行试验,结果表明:矩形起落航线识别率达到89.72%,该方法可大大减轻人工识别工作,可支撑飞行训练智能评估前的飞行训练科目识别工作。

关键词：矩形起落航线 SD卡训练科目识别方法

在线全文

学校读者我要写书评

暂无评论

CCAR-141部航校机队及教员配置方法

民航学报 2019年第1期3卷 43-46页

作者：孙宏邓永恒张培文中国民用航空飞行学院

根据中国民用航空局发布的《民用航空器驾驶员学校合格审定规则》(CCAR-141部)要求,结合《航线运输驾驶员整体课程训练大纲》对CCAR-141部航校机队运行时间和教员飞行训练时间等参数进行了统计分析,在此基础上建立了机队和教员规模的基... 详细信息

根据中国民用航空局发布的《民用航空器驾驶员学校合格审定规则》(CCAR-141部)要求,结合《航线运输驾驶员整体课程训练大纲》对CCAR-141部航校机队运行时间和教员飞行训练时间等参数进行了统计分析,在此基础上建立了机队和教员规模的基本配置计算模型,该模型对CCAR-141部航校的组建、运行等方面具有一定参考价值。

关键词： CCAR-141部航校机队配置教员配置

某隔震结构基于多级设防的性能反应分析与目标评价

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

土木工程学报 2010年第S1期43卷 323-328页

作者：郭永恒邓雪松周云苏州工业园区设计研究院江苏苏州215021 广州大学广东广州510006

结构性能的可预演与可控制是结构性能设计的核心内容,工程结构的复杂性以及结构性能影响因素的不确定性是目前实现结构性能设计和目标控制的难点。基础隔震结构因隔震层的设置使结构性能控制的对象相对集中、性能影响因子大大减少,并且... 详细信息

结构性能的可预演与可控制是结构性能设计的核心内容,工程结构的复杂性以及结构性能影响因素的不确定性是目前实现结构性能设计和目标控制的难点。基础隔震结构因隔震层的设置使结构性能控制的对象相对集中、性能影响因子大大减少,并且隔震支座的性能可实验、可预演、可控制,构件易更换。本文以该思想为指引,将性能设计的理论应用于某隔震结构工程设计,通过对隔震层性能目标的控制来实现整体结构的性能设计和目标控制,对结构在多种地震作用工况下的位移和楼层加速度进行分析,对结构在多级性能设防条件下的性态目标进行分析和评价。结果表明:该隔震结构在多个地震作用工况下性能反应良好,性能控制目标明确,并可实现多级目标设防。因此,作者认为基础隔震结构是目前实现工程结构性能设计的很好途径和实践。

关键词：隔震结构性能设计多级设防目标

基于细胞衰老角度结直肠癌治疗方法的进展:中西药物的比较研究

在线全文

学校读者我要写书评

暂无评论

Journal of Chinese Pharmaceutical Sciences 2024年第5期33卷 396-411页

作者：张涛刘皓辰赵亮张沂婧邓宇何永恒湖南中医药大学研究生院湖南长沙410208 湖南省中医药研究院附属医院湖南长沙410006

结直肠癌(Colorectal carcinoma,CRC)为临床高发的恶性肿瘤。本病由各种综合因素促成,病因病机复杂,至今尚未明确。细胞衰老是一种永久性的细胞周期终止状态,抗肿瘤发生有力的保护机制,在CRC发生中的发挥着至关重要的作用。CRC是一种发... 详细信息

结直肠癌(Colorectal carcinoma,CRC)为临床高发的恶性肿瘤。本病由各种综合因素促成,病因病机复杂,至今尚未明确。细胞衰老是一种永久性的细胞周期终止状态,抗肿瘤发生有力的保护机制,在CRC发生中的发挥着至关重要的作用。CRC是一种发病率很高的恶性肿瘤,病因复杂且不甚明了。细胞衰老的特点是不可逆的细胞分裂停滞,它在CRC的发展过程中发挥着至关重要的作用,是防止肿瘤形成的一种防御机制。目前临床上治疗CRC的方法,如手术、放疗和化疗,往往副作用大、费用高,给患者带来巨大的生理和心理负担。因此,探究副反应轻且疗效稳定的中医药疗法迫在眉睫。近年来,大量相关研究表明中药单体及复方能调控癌细胞衰老而发挥抗癌的作用,为临床上防治CRC提供了新思路。然而,目前尚缺乏中医药调控细胞衰老防治CRC的系统综述。因此,本文对近年来靶向调节细胞衰老以治疗CRC的西药化合物、中药单体及复方进行系统总结,以期为CRC的治疗及药物研发提供新思路。

关键词：细胞衰老结直肠癌中医药西药研究进展