VPN上的Azure身份验证端点
在Azure基础爆发设置上钓鱼的想法。
我的公司拥有本地HADOP群集和Azure DataLake，对于连接性，我们使用HTTP代理或VPN（尚无ExpressRute），
我们有一个ETL应用程序（Python，Spark，Spark）将数据从HDFS转移到ADL到ADL，使用SPN - Python SDK用于从login.microsoftonline.com获取凭据adls gen2 通过私人端点。
现在，我们想使用HDFS CLI复制文件（HDFS DFS -CP HDFS：// File abfs：// file abfs：// file file。 我们发现它在使用aceess键和连接的情况下，它可以正常工作（= public adls端点），
当试图通过私人端点访问ADL时，它无效，这些端点可从本地群集访问 - ，因为我们是因为我们不使用代理，无法连接到login.microsoftonline.com。但是，一旦设置了代理，我们只能通过公共ADL端点上传数据。
您知道可以帮助我解决这个问题的任何事情吗？
我想到的唯一一件事就是创建内部DNS记录，以指向Internet地址
Fishing for ideas here on Azure infrasctructure setup.
My company has on-prem Hadop cluster and Azure Datalake, for connectivity we use http proxy or VPN (no ExpressRoute yet)
We have an ETL application (python, spark) that transfers data from HDFS to ADLS using SPN – python SDK is used to get credentials from login.microsoftonline.com (via proxy) and these are then used for Spark writing files to ADLS gen2 via private endpoint.
Now we would like to copy files using hdfs cli (hdfs dfs -cp hdfs://file abfs://file .
We found it its working when using Aceess key and connection is going throgh the proxy (=public ADLS endpoint)
It does not work when trying to access the ADLS through private endpoint that is accessible from the on-premise cluster – because we cannot connect to login.microsoftonline.com without using proxy. But once the proxy is set, we can only upload data via public ADLS endpoint.
Do you know about anything that could help me resolve the issue?
Only thing that came to my mind was to create internal DNS record that would point to the internet address
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
ABFS连接器使用Java代理系统。因此，在https.nonproxyhosts 中列出VPN IP/HOSTNAME应该足够工作。
建议使用CloudStore的Stordiag命令进行诊断，它旨在调试auth/Connection问题： https> https：// github.com/steveloughran/cloudstore
如果您无法正常工作，请在Apache Jira反对Hadoop，组件FS/Azure。首先要使用最新版本进行测试，因为“最新版本的这项工作”可能是第一个响应
abfs connector uses java proxy sysprops. so listing the VPN IP/hostname in the https.nonProxyHosts should be enough for this to work.
recommend using cloudstore's storediag command to do the diagnostics, it's designed to debug auth/connection problems: https://github.com/steveloughran/cloudstore
if you can't get it to work, file a bug report on the apache jira against hadoop, component fs/azure. do test with the latest release first, as "does this work on the latest release" will probably be the first response