在 Solr 中使用 Scripttransformer 发送 HTTP 请求

Question

我使用 solr 来索引 RSS 提要，并使用 DataImportHandler 来解析 url，然后对它们建立索引。现在我已经实现了一个 Web 服务，它接受 url 并创建缩略图并将其存储在本地目录中。

所以这就是我想要做的：解析 url 后，我想使用该 URL 向 Web 服务发送 Http 请求。 ScriptTransformer 似乎是可行的方法，这是我的 data-config.xml 文件的外观。

    <dataConfig>
    <script> <![CDATA[ function sendURLRequest(row){ 
var url = new java.net.URL("http://***********/GenerateThumbnail?url=http://money.cnn.com/2011/07/20/news/economy/debt_ceiling_deal/index.htm?cnn=yes"); 
url.openConnection().connect(); 
return row; } ]]> 
</script>

  <dataSource type="JdbcDataSource" name="dbSource" driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost/solr_sources" user="root" password="******"/>



  <document>

    <entity name="rssFeedItems" rootEntity="false"  dataSource="dbSource"  query="select url from rss_feeds">

      <entity name="rssFeeds" dataSource="urlSource" url="${rssFeedItems.url}" transformer="script:sendURLRequest" processor="XPathEntityProcessor" forEach="/rss/channel/item">
        <field column="title"        xpath="/rss/channel/item/title"/>
        <field column="link"         xpath="/rss/channel/item/link" />
        <field column="description"  xpath="/rss/channel/item/description" />
        <field column="date_published" xpath="/rss/channel/item/pubDate"/>
      </entity>
    </entity>
.................
................

正如您从数据配置文件中看到的，我目前正在测试是否可以通过硬编码虚拟 URL 来实现。

url.openConnection().connect();应该发出 HTTP 请求。但图像没有生成。

我没有看到编译错误。我尝试了打印消息的示例脚本

var v = new java.lang.Runnable() {
                    run: function() { print('********************PRINTING************************'); }
               }
       v.run();

并且它有效。

我什至使用函数名称来强制它抛出一些编译错误，它确实抛出了错误，这表明它能够创建类类型 URL 和 URL Connection 的对象。

有什么建议吗？

Answer 1

我认为您需要做的不仅仅是 connect() 到 URL 来发出 HTTP GET。也许可以尝试：

var url = new java.net.URL("http://***********/GenerateThumbnail?url=http://money.cnn.com/2011/07/20/news/economy/debt_ceiling_deal/index.htm?cnn=yes"); 
var connection = url.openConnection();
connection.connect();
connection.getContent();
return row;

我只是做了一个小实验，因为我很好奇，发现 url.openConnection().connect() 甚至没有真正打开到我的测试服务器的连接。直到我调用 getContent() 客户端才连接并发出 HTTP 请求。也许对于 HTTP 协议，java URL 库不需要打开有状态连接，因此在请求数据之前不会连接（与使用 URL 访问 FTP 地址之类的内容相反）。