хабрахабр:все записи

JAVA / Тестирование в Java. Spock Framework

sody — Sun, 05 Feb 2012 21:52:33 GMT

В предыдущих статьях на примерах JUnit и TestNG я упоминал о test-driven development(TDD) и data-driven testing(DDT). Но есть еще один активно набирающий популярность подход, behaviour-driven development(BDD). Это такое развитие TDD техники, при котором на тест смотрят не как на тестирование каких-то компонентов системы, а как на требования к функционалу. Если TDD оперирует такими понятиями, как тест или метод, то для BDD это спецификация и требования. Про эту технику уже говорили на хабре ранее:

Этот подход применим используя и JUnit, и TestNG. Но есть и другие инструменты заточенные именно под BDD. В этой статье я расскажу про такой фреймворк. Называется он Spock Framework и сочетает в себе не только принципы BDD, но и достоинства Groovy. Да-да, именно Groovy. И хотя используется Groovy, используется он и для тестирования Java кода. Примерами использования могут служить Spring, Grails, Tapestry5. Интересно? Тогда читаем дальше.

Behaviour-driven development

Итак, напомню что же это такое. Рассмотрим пример. Есть утилита, работающая с ant шаблонами(это те, что для выборки файлов).? — любой 1 и только 1 символ, * — любое количество любых символов, ** — любой путь. Выглядит как-то так:

public abstract class PathUtils {

  public static boolean matchAntPath(final String path, final String pattern) {
    // ...
  }

  public static boolean matchAntPattern(final String path, final String pattern) {
    // ...
  }
}

Оба метода проверяют соответствует ли переданная строка шаблону или нет, но метод matchAntPattern учитывает только локальный паттерн без учета пути, matchAntPath учитывает полный путь. Следуя принципам TDD будет создан тест на каждый метод с некоторым набором входных данных и некоторым набором ожидаемых результатов.

public class TestPathUtils extends Assert {

  @Test(dataProvider = "matchAntPatternData")
  public void testMatchAntPattern(final String pattern, final String text, final boolean expected) {
    final boolean actual = PathUtils.matchAntPattern(text, pattern);
    assertEquals(actual, expected);
  }

  @Test(dataProvider = "matchAntPathData")
  public void testMatchAntPath(final String pattern, final String path, final boolean expected) {
    final boolean actual = PathUtils.matchAntPath(path, pattern);
    assertEquals(actual, expected);
  }
}

Возможно сюда еще добавятся тесты на неправильные параметры, когда должны выбрасываться исключения. Теперь давайте посмотрим на это с точки зрения BDD.
Тест есть не просто тест, а спецификация, и состоит не из методов, а из требований. Выделим требования к PathUtils:

Символ? в шаблоне должен быть эквивалентен любому символу в проверяемой строке
Символ? в шаблоне должен быть эквивалентен 1 и только 1 символу в проверяемой строке
Символ * в шаблоне должен быть эквивалентен любому символу в проверяемой строке
Символ * в шаблоне должен быть эквивалентен любому количеству символов в проверяемой строке
Значения шаблона и проверяемой строки не должны быть null

Далее, каждое требование имеет свой сценарий проверки, обычно для этого используют термины дано-когда-то(given-when-then). Дано — установки для начала сценария, когда — причина, то — условие выполнения сценария. Например:

Given:
PathUtils
---
When:
matchAntPattern(null, "some string")
---
Then:
NullPointerException should be thrown

Таким образом тест будет выглядеть примерно так:

public class PathUtilsSpec extends Assert {

  @Test
  public void question_character_should_mean_any_character() {
    assertTrue(PathUtils.matchAntPattern("abb", "a?b"));
    assertTrue(PathUtils.matchAntPattern("a1b", "a?b"));
    assertTrue(PathUtils.matchAntPattern("a@b", "a?b"));
    assertTrue(PathUtils.matchAntPath("abb", "a?b"));
    assertTrue(PathUtils.matchAntPath("a1b", "a?b"));
    assertTrue(PathUtils.matchAntPath("a@b", "a?b"));
    // ...
  }

  @Test
  public void question_character_should_mean_only_one_character() {
    assertFalse(PathUtils.matchAntPattern("ab", "a?b"));
    assertFalse(PathUtils.matchAntPattern("aabb", "a?b"));
    assertFalse(PathUtils.matchAntPath("ab", "a?b"));
    assertFalse(PathUtils.matchAntPath("aabb", "a?b"));
    // ...
  }

  @Test
  public void asterisk_character_should_mean_any_character() {
    assertTrue(PathUtils.matchAntPattern("abb", "a*b"));
    assertTrue(PathUtils.matchAntPattern("a1b", "a*b"));
    assertTrue(PathUtils.matchAntPattern("a@b", "a*b"));
    assertTrue(PathUtils.matchAntPath("abb", "a*b"));
    assertTrue(PathUtils.matchAntPath("a1b", "a*b"));
    assertTrue(PathUtils.matchAntPath("a@b", "a*b"));
    // ...
  }

  @Test
  public void asterisk_character_should_mean_any_number_of_characters() {
    assertTrue(PathUtils.matchAntPattern("ab", "a*b"));
    assertTrue(PathUtils.matchAntPattern("aabb", "a*b"));
    assertTrue(PathUtils.matchAntPath("ab", "a*b"));
    assertTrue(PathUtils.matchAntPath("aabb", "a*b"));
    // ...
  }

  @Test
  public void double_asterisk_character_should_mean_any_path() {
    assertTrue(PathUtils.matchAntPath("aaa/bbb", "aaa/**/bbb"));
    assertTrue(PathUtils.matchAntPath("aaa/ccc/bbb", "aaa/**/bbb"));
    assertTrue(PathUtils.matchAntPath("aaa/c/c/c/bbb", "aaa/**/bbb"));
    // ...
  }
}

Теперь подробнее о Spock Framework.

Основные возможности

Как я уже говорил, сценарии пишутся на Groovy. Хорошо это или плохо? Решайте сами, новички могут почитать Groovy за 15 минут – краткий обзор.

Спецификация должна быть унаследована от spock.lang.Specification. Она может содержать поля, установочные методы(fixture methods), сценарии требований(feature methods), вспомогательные методы(helper methods).

Поля по умолчанию не шарятся между сценариями, т.е. изменения поля из одного сценария не будут видны из другого сценария. Чтобы расшарить можно зааннотировать с помощью @Shared.

Установочные методы это:

setup() — аналог @Before в JUnit, выполняется перед каждым сценарием
cleanup() — аналог @After в JUnit, выполняется после каждого сценария
setupSpec() — аналог @BeforeClass в JUnit, выполняется до первого сценария в спецификации
cleanupSpec() — аналог @AfterClass в JUnit, выполняется после последнего сценария в спецификации

Как и в других тестовых фреймворках эти методы используются для того, чтобы не писать один и тот же установочный код для каждого сценария.

Сценарии требований — это основная часть спецификации. Именно здесь описывается поведение компонента. Принято называть их используя строковые литералы, причем можно использовать любые символы, главное чтобы это название как можно более четко описывало, что этот сценарий делает. Например, в нашем случае:

class PathUtilsSpec extends Specification {

  def "? character should mean any character"() {
    // ...
  }

  def "? character should mean only one character"() {
    // ...
  }

  def "* character should mean any character"() {
    // ...
  }

  def "* character should mean any number of characters"() {
    // ...
  }

  def "** character should mean any path"() {
    // ...
  }
}

Каждый сценарий состоит из блоков, которые обозначаются метками:

setup — то же самое что и установочный метод setup(), только применяется к конкретному сценарию. Обязательно должен находится до остальных блоков и не должен повторяться. Метка setup может отсутствовать, также вместо setup можно писать given, это сделано для лучшей читаемости(given-when-then)
cleanup — то же самое что и метод cleanup(), только применяется к конкретному сценарию. Обязательно должен находиться в конце сценария до блока where, если он есть, и не должен повторяться
when-then — это причина и условие выполнения. В when части обычно объявляются переменные, выполняются необходимые действия, в then части проверяются некоторые условия. Это могут быть проверки условий, проверка выброса исключения либо ожидания выполнения некоторых методов у мок-объектов. Данный блок может повторяться, но авторы фреймворка рекомендуют не увлекаться, хороший сценарий должен содержать от 1 до 5 таких блоков
expect — это упрощенный when-then блок, где действие и проверка находятся в одном выражении
where — это аналог @DataProvider из TestNG, предназначен для создания набора данных для теста

Теперь обо всем поподробнее. Рассмотрим еще один пример. PathSearcher, предназначен для поиска файлов, использует ant-шаблоны как фильтр для файлов.

public class PathSearcher {

  public PathSearcher(final String path) {...}

  public PathSearcher include(final String... patterns) {...}

  public PathSearcher exclude(final String... patterns) {...}

  public Set<String> search() {...}
}

Напишем к нему требование «должен искать файлы на файловой системе»:

class PathSearcherSpec extends Specification {

  def "it should search files under the file system"() {
    given:
    def searcher = PathSearcher.create(inClasspath("test1"))
    when:
    def results = searcher.search();
    then:
    results.containsAll(["1.txt", "2.txt"]);
    results.size() == 2
  }

  private String inClasspath(path) {
    return ClassLoader.getSystemResource(path).toExternalForm()
  }
}

Итак, дано — поисковик, который ищет в папке test1 из classpath, проверяем поиск, условие выполнения — поисковик должен найти наши файлы. inClasspath — вспомогательный метод, возвращающий абсолютный путь файла из classpath.

Еще один пример для PathUtils «значения шаблона и проверяемой строки не должны быть null»

class PathUtilsSpec extends Specification {

  def "null parameter values are not allowed"() {
    when:
    PathUtils.matchAntPattern(null, "some string")
    then:
    thrown(NullPointerException)

    when:
    PathUtils.matchAntPattern("some string", null)
    then:
    thrown(NullPointerException)

    when:
    PathUtils.matchAntPath(null, "some string")
    then:
    thrown(NullPointerException)

    when:
    PathUtils.matchAntPath("some string", null)
    then:
    thrown(NullPointerException)
  }
}

Здесь мы видим метод thrown(...), это ожидание указанного исключения, есть также метод notThrown(...) и noExceptionThrown(). Они для проверки, что заданное/никакое исключение не выбрасывается. Также в then части могут присутствовать ожидания выполнения некоторых методов у мок-объектов, но о них чуть позже. Еще один пример:

class PathUtilsSpec extends Specification {

  def "? character should mean any character"() {
    expect:
    PathUtils.matchAntPattern("abb", "a?b")
    PathUtils.matchAntPattern("a1b", "a?b")
    PathUtils.matchAntPattern("a@b", "a?b")
    PathUtils.matchAntPath("abb", "a?b")
    PathUtils.matchAntPath("a1b", "a?b")
    PathUtils.matchAntPath("a@b", "a?b")
  }
}

Как видно из примера, если и when, и then части можно объединить в одно условие, то удобнее использовать блок expect. Данный сценарий можно улучшить сделав его параметризируемым с помощью блока where:

class PathUtilsSpec extends Specification {

  def "? character should mean any character"() {
    expect:
    PathUtils.matchAntPattern(text, pattern)
    PathUtils.matchAntPath(text, pattern)

    where:
    pattern | text
    "ab?"   | "abc"
    "ab?"   | "ab1"
    "ab?"   | "ab@"
    "a?b"   | "abb"
    "a?b"   | "a1b"
    "a?b"   | "a@b"
    "?ab"   | "aab"
    "?ab"   | "1ab"
    "?ab"   | "@ab"
  }
}

Или так:

class PathUtilsSpec extends Specification {

  def "? character should mean any character"() {
    expect:
    PathUtils.matchAntPattern(text, pattern)
    PathUtils.matchAntPath(text, pattern)

    where:
    pattern << ["ab?", "ab?", "ab?", "a?b", "a?b", "a?b", "?ab", "?ab", "?ab"]
    text    << ["abc", "ab1", "ab@", "abb", "a1b", "a@b", "aab", "1ab", "@ab"]
  }
}

Или так:

class PathUtilsSpec extends Specification {

  def "? character should mean any character"() {
    expect:
    PathUtils.matchAntPattern(text, pattern)
    PathUtils.matchAntPath(text, pattern)

    where:
    [pattern, text] << [
        ["ab?", "abc"],
        ["ab?", "ab1"],
        ["ab?", "ab@"],
        ["a?b", "abb"],
        ["a?b", "a1b"],
        ["a?b", "a@b"],
        ["?ab", "aab"],
        ["?ab", "1ab"],
        ["?ab", "@ab"]
    ]
  }
}

Или даже так:

class PathUtilsSpec extends Specification {

  def "? character should mean any character"() {
    expect:
    PathUtils.matchAntPattern(text, pattern)
    PathUtils.matchAntPath(text, pattern)

    where:
    [pattern, text] = sql.execute("select pattern, text from path_utils_test")
  }
}

Думаю из примеров все и так понятно, поэтому не буду заострять на этом внимание. Отмечу только что в where блоке нельзя использовать поля, не помеченные как @Shared.

Взаимодействия

Помимо всего прочего, фреймворк позволяет работать с мок-объектами без дополнительных зависимостей. Можно создавать моки для интерфейсов и не final классов. Создание выглядит так:

    def dao1 = Mock(UserDAO)
    UserDAO dao2 = Mock()

Можно переопределять возвращаемые значения либо сами методы таких объектов. Авторы называют это взаимодействиями (interactions).

    dao1.findAll() >> [
        new User(name: "test1", description: "Test User"),
        new User(name: "test2", description: "Test User"),
        new User(name: "test3", description: "Test User")
    ]
    dao2.findAll() >> { throw new UnsupportedOperationException() }

Взаимодействия бывают локальными (определенные в then блоке) и глобальными(определенные в любом другом месте). Локальные доступны только в then блоке, глобальные доступны везде, начиная с точки их определения. Также для локальных взаимодействий можно указать их мощность, это ожидаемое количество вызовов методов.

class UserCacheSpec extends Specification {
  def users = [
      new User(name: "test1", description: "Test User"),
      new User(name: "test2", description: "Test User"),
      new User(name: "test3", description: "Test User")
  ]

  def "dao should be used only once for all user searches until invalidated"() {
    setup:
    def dao = Mock(UserDAO)
    def cache = new UserCacheImpl(dao)

    when:
    cache.getUser("test1")
    cache.getUser("test2")
    cache.getUser("test3")
    cache.getUser("test4")

    then:
    1 * dao.findAll() >> users
  }
}

В этом примере мы создаем мок для UserDAO и реальный объект UserCache использующий этот мок(setup-блок). Затем мы ищем несколько пользователей по имени(when-блок) и в завершение проверяем, чтобы findAll метод, возвращающий заранее подготовленный результат, вызывался только 1 раз.
Описывая взаимодействия можно использовать шаблоны:

    1 * dao.findAll() >> users
    (1..4) * dao.findAll() >> users
    (2.._) * dao.findAll() >> users
    (_..4) * dao.findAll() >> users

    _.findAll() >> users
    dao./find.*/(_) >> users

Подробнее можно почитать здесь.

Дополнительные возможности

Как видно фреймворк и так обладает большим количеством возможностей. Но как и у других фреймворков есть возможность расширения функционала. Примерами могут служить встроенные расширения:

@Timeout — задает максимальное время ожидания для сценария, аналог timeout атрибута у @Test из JUnit-а
@Ignore — отключает сценарий, аналог @Ignore из JUnit
@IgnoreRest — отключает все сценарий кроме зааннотированного, полезно, если надо проверить только 1 тест
@FailsWith — задает ожидаемое исключение, аналог аттрибута expected у @Test из JUnit
@Unroll — указывает что параметризированные сценарии должны быть указаны как отдельные сценарии для каждой итерации, здесь можно также указать шаблон названия требования, по умолчанию это "#featureName[#iterationCount]"

class InternalExtensionsSpec extends Specification {

  @FailsWith(NumberFormatException)
  @Unroll("#featureName (#data)")
  def "integer parse method should throw exception for wrong parameters"() {
    Integer.parseInt(data)
    where:
    data << ["Hello, World!!!", "0x245", "1798237199878129387197238"]
  }

  @Ignore
  @Timeout(3)
  def "temporary disabled feature"() {
    setup:
    sleep(20000)
  }
}

Интеграции с другими фреймворками вынесены в отдельные модули:

Spring — спецификация аннотируется с помощью @ContextConfiguration(locations = «application_context_xml») и в поля можно внедрять зависимости с помощью @Autowired
```
@ContextConfiguration(locations = "context.xml")
class SpringIntegrationSpec extends Specification {

  @Autowired
  String testSymbol

  def "test-symbol should be spring"() {
    expect:
    testSymbol == "spring"
  }
}
```

Guice — спецификация аннотируется с помощью @UseModules(guice_module_class) и в поля можно внедрять зависимости с помощью @Inject

public class GuiceModule extends AbstractModule {

  @Override
  protected void configure() {
    bind(String.class).annotatedWith(Names.named("test-symbol")).toInstance("guice");
  }
}

@UseModules(GuiceModule)
class GuiceIntegrationSpec extends Specification {

  @Inject
  @Named("test-symbol")
  String testSymbol

  def "test-symbol should be guice"() {
    expect:
    testSymbol == "guice"
  }
}

Tapestry — спецификация аннотируется с помощью @SubModule(tapestry_module_class) и в поля можно внедрять зависимости с помощью аннотации @Inject

public class TapestryModule {

  public void contributeApplicationDefaults(final MappedConfiguration<String, String> configuration) {
    configuration.add("test-symbol", "tapestry");
  }
}

@SubModule(TapestryModule)
class TapestryIntegrationSpec extends Specification {

  @Inject
  @Symbol("test-symbol")
  String testSymbol

  def "test-symbol should be tapestry"() {
    expect:
    testSymbol == "tapestry"
  }
}

Ну и самое главное, если возникла надобность в собственном функционале, можно добавить свои расширения. Ключевые классы для расширения функционала:

IMethodInterceptor, IMethodInvocation — первый для проксирования методов спецификации, позволяет добавлять свой код до и после вызова метода, для упрощения работы можно воспользоваться классом AbstractMethodInterceptor. Второй доступен из первого, служит для работы с оригинальным(проксируемым) методом
IGlobalExtension — позволяет работать с метаданными спецификации(SpecInfo), здесь можно посмотреть метаданные по любым компонентам спецификации(поля, установочные методы, сценарии требований) и добавить им свои интерсепторы
IAnnotationDrivenExtension — тоже что и предыдущий, только упрощает задачу, если наше расширение привязано к какой-то конкретной аннотации, для упрощения работы можно воспользоваться классом AbstractAnnotationDrivenExtension

Для создания собственного расширения нужно создать класс-наследник IGlobalExtension либо IAnnotationDrivenExtension, в котором скорее всего к компонентам спецификации будет добавляться свой IMethodInterceptor, и в завершение для IGlobalExtension нужно добавить spi расширение в META-INF/services/org.spockframework.runtime.extension.IGlobalExtension, для IAnnotationDrivenExtension нашу аннотацию нужно зааннотировать с помощью @ExtensionAnnotation(extension_class).
Пример расширения, которое запускает сценарий указанное число раз:

@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD, ElementType.TYPE})
@ExtensionAnnotation(RepeatExtension.class)
public @interface Repeat {
  int value() default 1;
}

public class RepeatExtension extends AbstractAnnotationDrivenExtension<Repeat> {

  @Override
  public void visitFeatureAnnotation(Repeat annotation, FeatureInfo feature) {
    feature.addInterceptor(new RepeatInterceptor(annotation.value()));
  }
}

public class RepeatInterceptor extends AbstractMethodInterceptor{
  private final int count;

  public RepeatInterceptor(int count) {
    this.count = count;
  }

  @Override
  public void interceptFeatureExecution(IMethodInvocation invocation) throws Throwable {
    for (int i = 0; i < count; i++) {
      invocation.proceed();
    }
  }
}

class CustomExtensionsSpec extends Specification {

  @Repeat(10)
  def "custom extension"() {
    expect:
    Integer.parseInt("123") == 123
  }
}

Запуск тестов

Благодаря тому, что Spock-тесты запускаются с помощью JUnit запускалки(Sputnik), они отлично работают под различными IDE(так говорят авторы, я проверял только под идеей). Также можно настроить запуск тестов из ant, maven, gradle. Всю необходимую информацию о настройках можно найти здесь.
Добавлю еще, что для себя я немного подшаманил конфигурацию под maven, т.к. предложенная авторами не работала под maven3. Вот мой вариант конфигурации:

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <parent>
    <groupId>com.example</groupId>
    <artifactId>testing-example</artifactId>
    <version>1.0-SNAPSHOT</version>
  </parent>

  <groupId>com.example</groupId>
  <artifactId>testing-spock</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>Testing Spock Framework Example</name>
  <description>
    This is an example application that demonstrates Spock Framework usage.
  </description>

  <dependencies>
    <dependency>
      <groupId>org.codehaus.groovy</groupId>
      <artifactId>groovy-all</artifactId>
      <version>${groovy-version}</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.spockframework</groupId>
      <artifactId>spock-core</artifactId>
      <version>${spock.version}</version>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <testResources>
      <testResource>
        <directory>src/test/groovy</directory>
      </testResource>
      <testResource>
        <directory>src/test/resources</directory>
      </testResource>
    </testResources>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <configuration>
          <includes>
            <include>**/*Spec.groovy</include>
          </includes>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.codehaus.gmaven</groupId>
        <artifactId>gmaven-plugin</artifactId>
        <version>${gmaven-version}</version>
        <configuration>
          <providerSelection>${gmaven-provider}</providerSelection>
        </configuration>
        <executions>
          <execution>
            <goals>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
        <dependencies>
          <dependency>
            <groupId>org.codehaus.groovy</groupId>
            <artifactId>groovy-all</artifactId>
            <version>${groovy-version}</version>
          </dependency>
        </dependencies>
      </plugin>
    </plugins>
  </build>

  <properties>
    <groovy-version>1.7.10</groovy-version>
    <gmaven-version>1.3</gmaven-version>
    <gmaven-provider>1.7</gmaven-provider>
    <spock.version>0.5-groovy-1.7</spock.version>
  </properties>
</project>

Вывод

Несмотря на то, что познакомился с этим замечательным фреймворком я совсем недавно и опыта использования его практически не имею, могу с уверенностью сказать, что по возможностям он не уступает, а в некоторых моментах даже превосходит другие фреймворки. Мне очень понравилось писать тесты на Groovy, понравилось писать тесты руководствуясь BDD. Поэтому и вам советую попробовать.

Примеры можно найти здесь.

Литература

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Алгоритмы / Еще раз о поиске наибольшего сгущения в облаке точек

Mrrl — Sun, 05 Feb 2012 21:17:41 GMT

В очередной раз мне попалась задача – найти в облаке точек место их наибольшего сгущения. На этот раз ситуация была такой:

есть некоторое количество (можно считать, что не более 16 миллионов) измерений набора параметров. Число параметров в наборе – от 2 до 5.
измерение параметров может быть относительно успешным – тогда их результат будет неподалеку от истинного (параметры и тип распределения неизвестны), либо не успешным – тогда результат будет случайным (опять-таки с неизвестными параметрами распределения). Определить по одиночному измерению, было ли оно успешным, нельзя.
Можно считать, что точка сгущения существует. Если их несколько с близким качеством (которое формально так и не определяется), можно выдать любую.
ответ нужно дать за один проход по исходным данным: перевычислять их или сохранять целиком – дорого.
И, как обычно, хочется, чтобы алгоритм выглядел попроще, а работал побыстрее.

Для простоты можно считать, что измеренные значения параметров – вещественные числа от 0 до 1. Результат хочется получить с разрешением 3 десятичных знака для случая 5 параметров, и 4 или больше – для 4 и менее параметров.

Понятно, что большое число исходных точек делает сомнительными методы, основанные на обработке пар точек. Даже эффективный поиск расстояния до ближайшей точки потребует заметных усилий по реализации.

Построение гистограмм тоже непросто: заранее неизвестен даже желаемый размер ячейки. Возможно, например, что все измерения дадут результаты в шарике диамером 0.1, а успешные будут локализованы в области размером 0.003. И надо будет выдать положение этой области (в N-мерном пространстве!)

Можно было бы построить гистограммы распределения отдельных параметров, понадеявшись, что сгущение N-мерных точек можно будет восстановить по положениям сгущений проекций точек на отдельные координаты, но лучше оставить этот вариант в качестве запасного: терять информацию о взаимосвязях параметров опасно, а при проекциях могут возникнуть паразитные области сгущения.

Вариант, который мне показался наиболее перспективным – использование k-d дерева. Если мы построим бинарное дерево, каждый узел которого соответствует делению области пространства на две части по одной из координат (координаты перебираются по циклу – x₁,x₂,…,x_k,x₁,x₂,…), и найдем количество точек, попавших в каждую из областей, то можно сделать так.

Пусть точек N. Выберем значение K, меньшее N, например, K=[sqrt(N)] или K=[N^2/3]. Найдем область наименьшего объема (т.е. лежащую на наибольшей глубине дерева), содержащую не менее K точек. Если таких областей несколько, возьмем ту, в которой точек больше всего. После этого начнем делить ее пополам (спускаться по дереву дальше), каждый раз выбирая половину, в которой точек больше. Когда дошли до листа (например, до отдельной точки), выдаем его в качестве ответа.

Можно найти примеры, в которых этот алгоритм упустит главную область сгущения, а выберет вместо нее какую-нибудь локальную аномалию, или в качестве ответа выдаст точку, находящуюся далеко от центра сгущения, но можно ожидать, что в большинстве случаев его ответы будут более-менее адекватными. К сожалению, строить k-d дерево дорого, да и памяти оно занимает немало. Я готов выделить 8 байт на точку, но тратить больше было бы нежелательно.

Чтобы сэкономить время и память, я решил построить k-d дерево неявно.

Пусть у нас есть точка (x₁,x₂,…,x_k). Запишем ее координаты в двоичной системе
x₁=0.x₁₁x₁₂ x₁₃…
x₂=0.x₂₁x₂₂ x₂₃…
x₃=0.x₃₁x₃₂ x₃₃…
…

И постоим 64-битное целое число
P= x₁₁ x₂₁… x_k1 x₁₂… x_k2…

Это число представляет путь по дереву на глубину 64 уровня. Кроме того, оно позволяет восстановить координаты точки с требуемой точностью.

Если мы отсортируем коды P для всех точек по возрастанию, то получим точки в порядке обхода дерева. Для любых двух точек P_a и P_b легко найти самый глубокий узел, общими потомками которого они являются: достаточно найти старший ненулевой бит в числе P_a^P_b. И все необходимые фрагменты задачи на таком представлении решаются в несколько строчек:

Поиск уровня, на котором находится самая маленькая точка, содержащая не менее K точек:

    ulong mask=ulong.MaxValue;
    K--;
    for(int i=K;i<m_np;i++) mask=Math.Min(mask,m_Arr[i]^m_Arr[i-K]);

Здесь m_Arr – массив кодов, m_np – число заполненных элементов в нем, mask – число, старший бит которого определяет искомый уровень.

Поиск области на найденном уровне, содержащей максимальное количество точек (мы знаем, что их не меньше K):

    mask=InvMask(mask);
    int ms=0,me=0;
    for(int i=0;i<m_np-K;i++){
        ulong a=m_Arr[i];
        int h=i+K;
        if(((a^m_Arr[h])&mask)==0){
            while(h<m_np-1 && ((a^m_Arr[h+1])&mask)==0) h++;
            K=h-i; 
            ms=i; me=i=h;
        }
    }

Здесь InvMask(mask) – вычисление маски, содержащей 1 во всех разрядах, более старших, чем старший ненулевой разряд маски mask. Вычисляется ms – начало искомой области и me – ее конец.

Поиск более тяжелого потомка:

    int h=(ms+me)/2;
    ulong samp=m_Arr[h];
    ulong cb=samp^m_Arr[ms],ce=samp^m_Arr[me];
    if(cb>ce) {
        ms=h;
        ce=InvMask(ce);
        while(ms>0 && ((m_Arr[ms-1]^samp)&ce)==0) ms--;
    } else {
        me=h;
        cb=InvMask(cb);
        while(me<m_np-1 && ((m_Arr[me+1]^samp)&cb)==0) me++;
    }

Здесь спуск идет не обязательно на один уровень.
Таким образом, задача поиска сгущения решается.

Вся программа уложилась в 100 строк, исходник (на C#) можно найти здесь.

Реальная задача имеет несколько более сложную формулировку. Диапазон изменения параметров заранее неизвестен, кроме того, измерений в выборке может быть больше запланированных 16 миллионов, причем «хорошие» измерения могут идти ближе к концу. Но небольшие модификации алгоритма позволяют справиться с этими проблемами. Например, если место в массиве кончилось, а точки продолжают поступать, мы можем отсортировать и проредить массив уже набранных кодов – на положение и качество сгущения это не повлияет.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Программинг микроконтроллеров / Модельно-ориентированное проектирование, или продолжаем приручение Cortex M3 с помощью Matlab/Simulink

slovak — Sun, 05 Feb 2012 19:51:58 GMT

Изображение взято, и слегка отредактировано, из блога Антона Лопатина©. Ну очень вдохновляет.

Добрый день, уважаемое сообщество!

В прошлом топике я постарался сделать вводной экскурс в модельно-ориентированное проектирование встраиваемых систем с использованием ARM микропроцессоров Cortex M3 и MATLAB/Simulink. Продолжаем погружение, усложняем задачу. Жаль до концепта на заглавной иллюстрации еще далеко, но процесс разработки одного из важнейших его узлов, а именно системы самонаведения турели, я попытаюсь показать.

Ниже довольно много изображений, но без них скучновато и не наглядно.

Аппаратное обеспечение

В отличии от первого топика теперь у нас в руках имеются:

Отладочная плата FiO Std от таиландских друзей из aimagin. Без нее работа с библиотекой RapidSTM32 для Simulink слегка затруднительна. Используется и как hardware key для rapidSTM32, и как управляющий модуль. На борту имеет камень STM32F103RET6.
2 простецких сервомотора SG-5010
WEB камера Logitech HD Webcam C270. Но не настолько гламурная, как в обзоре и на фото.
Пара резисторов, проводки, коннекторы, макетная плата, блок питания от старого принтера, резиночки для ватмана, медная проволока, кабель mini USB, ноутбук, и, главное, самодельный держатель для паяльника из седла предохранителя (сделан дядей Сашей©, используется в качестве станины).

Еще одним отличием от красивого концепта будет то, что для нашей поделки понятие «собранная на коленке» максимально приближено к действительности. Яркий пример рапид разработки. Быстро, дешево, работоспособно.

Постановка задачи и подзадач

Главной задачей является реализация функций захвата и сопровождения цели. Для достижения намеченного нам предстоит:

Организовать связь с ПК.
Устройство наше будет распознаваться как HID, и будет слушать мой ноутбук через USB.
Механизировать головку самонаведения.
Хватит мигать диодами, переходим на сервы. Классика жанра постигания премудростей работы с мехатроникой.
Создать систему управления на стороне железа.
Мех. составляющая + HIL влечет за собой более сложные алгоритмы управления на стороне железа. Как минимум применение PID регулятора. ТАУ наше все!
Реализовать алгоритм распознавания видео и выдачи управляющих сигналов на стороне хоста.
Для слежения за объектом необходимо этот объект идентифицировать. Пока этим будет заниматься мой ноутбук, но в будущем можно переложить и эту задачу на крепкие плечи ARM. Здесь, возможно, стоит присмотреться к bigle board на процессоре TI OMAP3530. То ли еще будет.

Модель на стороне хоста

Свернутая модель, на которую возлагаются функции обработки видео и выдачи управляющих сигналов выглядит так:
Видеосигнал разделенный на каналы передается на подсистемы детектирования и обработки. После них выходные сигналы передаются через USB на плату управления.

Допустим объект у нас подсвечивается лазером с определенной длиной волны. Главной задачей подсистемы распознавания видео будет выделение заданного цветового оттенка, фильтрация возможных помех и выдача лаконичного сигнала о расположении объекта. Для нашего «быка» мы будем использовать не красный платок, а зеленый, что опять-таки не столь важно. Можно и движение сюда подвязать…
Подсистемы детектирования выглядят так:

Подсистемы фильтрации выглядят так
С распознаванием видео я знакомился в процессе разработки, потому и алгоритм выбрал самый простой. Расщепленный видеосигнал проходит через ветви условий, которые возвращают true или false (вместо процентовки RGB) в зависимости от заданных условий. Как видно из числовых значений, я ориентировался на зеленый цвет.

На выходе систем мы вместо видео получаем матрицу из поля нулей и замкнутых островков из единиц. Подсистема обработки полученной информации определяет площади и центры полученных «островков», обрисовывает их границами и эквивалентными окружностями, а так же определяет расстояние центра объекта от центра матрицы. На сторону железа передается ошибка с строках и колонках для наибольшего островка, и количество островков. Если этот самый num==0, то турель переходит в дежурный режим и выполняет плановое сканирование местности по горизонтали. Отсчет ошибок ведется не от абсолютного центра изображения, а от границ прямоугольной «нулевой зоны». Внутри этой зоны объект считается «захваченным» и камера фиксирует свое положение. Все дополнительные построения налаживаются на оригинальное видео, дополняя серую и невеселую ~~стену моей комнаты~~реальность нашу бодрыми прямоугольничками и кружочками.

Подсистемы черчения дополнительной графики и определения ошибки выглядят так:
Simulink учтиво и заранее напоминает нам, что блоки клейменные пометкой «Reglace» следует заменить до выхода новой версии программы. Иначе модель будет не совместима с ней.

Следует отметить, что привязка к запущенному Simulink не обязательна. Используя тот же Simulink Coder можно сгенерить С++ код для сборки самостоятельного приложения как для Windows, так и для Linux. Я в этом пока не силен, поэтому ограничился работающей Simulink моделью в режиме Accelerator, то есть в режиме частичной компиляции для увеличения скорости выполнения:

Модель на стороне железа

Модель Simulink из которой генерится код для заливки в микроконтроллер выглядит как показано на иллюстрации ниже: Выполнена в едином тактировании, что и видно по одинаковой цветовой подсветке для всех блоков модели после обновления. Как и упоминалось ранее, помимо элементарных блоков типа сложения или умножения, модель содержит два PID регулятора. Скорее даже PI, потому как коэффициент дифференцирующей составляющей равен нулю.

Параметры подбирались вручную опытным путем. Но для более серьезных систем у MATLAB есть специальный инструмент Control System Toolbox для «тюнинга» линейных систем управления на основе экспериментальных данных с возможностью задания требуемых параметров регулирования.
Малый пропорциональный коэффициент и нулевой дифференциальный обусловлены довольно ощутимой задержкой по времени, в которую каждый элемент системы вносит свою лепту.

Назначения блоков Saturation и Dead Zone думаю ясны из графиков на их пиктограммах.

Вначале реализация «дежурного» и «боевого» режимов задумывалась с использованием конечных автоматов, но потом оказалось, что вопрос можно решить проще. Поэтому FSM еще впереди. Реализуется эта концепция внутри Simulink с помощью изящного инструмента Stateflow, и так же легко заливается внутрь МК.

Генерация, компиляция и заливка кода выполняется полностью из под MATLAB. Keil даже запускать отдельно нет нужды.

Собственно процесс разработки

Все перечисленное выше является большей частью уже результатами нежели этапами разработки.

Пока не было серв (читай отсутствие аппаратной составляющей как таковой) алгоритмы работы системы отрабатывались на вот такой некрасивой, монстрообразной черновой модели:

Потом она стала вот такой:

Главной отличительной частью этих моделей является механическая подсистема (выделено синим цветом на предыдущей иллюстрации), которая позволяла оценить работу системы исключительно с помощью ПК. В моем случае важно было оптимизировать угловую скорость вращения серв, и коэффициенты PI регуляторов, но возможен и полный механический анализ системы.
Так выглядела сборка в Solidworks:

А так выглядит симуляция движения сборки уже внутри модели Simulink:

Очень серьезный инструмент симуляции динамики и статики есть и внутри Solidworks, но мне работа с MATLAB пока роднее. Экспортируется сборка с помощью утилиты SimMechanics Link. Здесь про нее много чего написано.
Одним словом, когда приехало «железо», у меня уже было почти все готово. Я просто удалил все лишнее и разделил модель на две составляющие: Host и Target.

Результаты испытаний

Ну и наконец видео полевых испытаний:

Да, довольно страшненькая сборка. На премию супер прямых рук точно не претендует.

На экране ноутбука творится следующее:

Выводы

Позитив:

Разработка заняла минимум времени и ресурсов. Все работает удовлетворительно, и легко поддается модернизации. Реализация «спускового крючка» — нет ничего легче. На плате осталось еще ~~100500~~много свободный портов. Нужно всего лишь добавить ветвь условия при нахождении центра объекта в зоне захвата, которая будет подавать лог. 1 в определенный порт и ~~спускать с цепи рейл ган~~ имитировать выстрел.

Поучительный негатив:

Использовать кота в качестве мишени не получилось. Серый камуфляж не поддается обнаружению, а попытка нацепить на него метку увенчалась провалом. К тому же он еще и ужасно боится жужжания серв. Пришлось испытывать все на себе.
Для увеличения быстродействия и стабильности работы нужно еще много чего совершенствовать. Механическая часть оказалась самой капризной. Калибровка серв заняла большую часть времени отведенной на пусконаладку. При дальнейшем развитии проекта нужно будет обязательно переходить на более качественные девайсы, возможно с последующей доработкой и введением собственной обратной связи.
Я не смог совладать с автоматическим изменением настроек яркости камеры в зависимости от освещения и окружающего фона. Понятно, что это влияло на селективность системы распознавания. В дальнейшем планируется использовать отдельный модуль камеры (возможно с упором на ИК диапазон с соответствующей подсветкой) с прямым присоединением к управляющей плате.
С превеликим удовольствием и безграничной благодарностью приму к сведению разумную критику в комментариях. И здесь же допишу!

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Информационная безопасность / Alarmist, или история одного параноика

mariofag — Sun, 05 Feb 2012 17:02:38 GMT

Так уж случилось, что мне понадобилось полное шифрование ОС на моём ноутбуке. Как бы мне ни хотелось воспользоваться для этого одним из дистрибутивов GNU/Linux, к сожалению, мне пришлось остаться на Windows, поскольку мне было необходимо определенное ПО, доступное только под Windows (а Wine я слишком сильно не люблю, чтобы пользоваться им почти ежедневно). Зато такой выбор ОС сразу упростил выбор системы шифрования, поскольку под Windows ничего сто?ящего, кроме TrueCrypt, нет (upd: оказывается, есть).

Итак, я зашифровал весь свой жесткий диск, установил TrueCrypt'овый загрузчик и вроде бы всё у меня сразу стало хорошо. Однако, у меня было одно опасение: а что, если мой ноутбук попадёт в чужие руки включенным? Ведь тогда все мои старания будут бесполезными, поскольку ключ шифрования будет в оперативной памяти и новый владелец без проблем сможет просматривать любые данные на моём жестком диске.

Я начал думать над решением новонайденной проблемы. На ArchLinux Wiki я вычитал идею написать приложение, которое выключает ноутбук, если не может найти какое-то заданное Bluetooth-устройство. Идея, в общем-то, показалась мне неплохой, но мне не хотелось, чтобы работоспособность моего ноутбука зависила не только от его аккумулятора, но ещё и от аккумулятора какого-то другого устройства. Да и постоянно включенный и используемый Bluetooth не понизит энергопотребление.

И тут я очень вовремя вспомнил, что мой ноутбук относиться к объективно самой лучшей серии ноутбуков в мире, а именно, к серии ThinkPad. Одной из функций, присущей всем новым (и не очень) ноутбукам этой серии, является т.н. Active Protection System. Говоря простым языком, это акселерометр на материнской плате, преназначенный для того, чтобы детектировать падения ноутбука, дабы заранее припарковать головку жесткого диска, таким образом уменьшаяя вероятность нанесения урона жесткому диску в результате падения. Но кого, собственно, интересует, для чего эта штука предназначена? Ведь главное — то, что у нас есть акселерометр, при помощи которого можно определить, когда ноутбук подняли или другим образом пытаются переместить с одного места на другое.

Так родилась идея Alarmist. Alarmist — программа на языке Python, которая умеет брать показатели с датчиков и, если датчики показывают что-нибудь страшное, подавать сигнал паники. Как датчики, так и реализации паники можно легко заменять и модифицировать. Конечно же, Alarmist можно легко на время приостанавливать, например, если необходимо передвинуть ноутбук с одного места на другое.

Сейчас Alarmist умеет получать данные с ThinkPad'овского акселерометра (правда, только под Windows) и выполнять произвольные консольные команды в случае паники (по умолчанию — гибернация). За исключением датчика ThinkPadShockSensor, Alarmist полностью кроссплатформенный (в теории, на практике я его не тестировал под другими ОС). Мне большего и не нужно, но я был бы рад увидеть реализации других датчиков и методов паник, благо Alarmist свободен и доступен на github. Интересными (на мой взгляд) идеями для новых датчиков является уже упомянутое выше использование Bluetooth и устройства-«маячка», использование модулей GPS/GSM/WiMax и анализ поведения пользователя.

Я буду очень рад, если моя разработка пригодится ещё кому-нибудь, поэтому и делюсь ею здесь. Тем, кто захочет ею воспользоваться, я хотел бы дать ещё один совет: не забудьте о настроенных действиях при закрытии крышки ноутбука и нажатии на кнопку выключения, поскольку, если у вас там «sleep», ничто не помешаети злоумышленнику закрыть крышку ноутбука, отнести его к себе в логово и уже там открыть, на ровной поверхности, не вызвав никаких подозрений у Alarmist.

Кстати, вот видео с демонстрацией работы Alarmist (уж простите за качество):

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Смартфоны и коммуникаторы / Зачем компаниям мобильные приложения или почему в Маркетах столько барахла

somneart — Sun, 05 Feb 2012 16:14:42 GMT

Сейчас любая компания хочет себе мобильное приложение. Когда мы стали заниматься разработкой iPhone и Android аппов на заказ, мы стали получать огромное количество запросов от клиентов. Первое время мы очень радовались этому факту, однако вскоре это стало нас расстраивать. Потому что большинство клиентов на самом деле не отдает себе отчет в том, зачем нужны мобильные приложения, как их используют люди и как они могут помочь в бизнесе. В этой статье я решил написать о типичных запросах клиентов, и почему нам часто приходится их расстраивать. А также о том, что же все-таки со всем этим делать.

Мобильное приложение — визитка

Клиент говорит:
— Мы хотим сделать приложение о нашей компании.
— Какие функции Вы бы хотели в нем видеть?
— Ну, информацию о нашей компании, контакты, форму заказа обязательно, новости, отзывы.
— Окей, а сколько на вашем сайте посетителей?
— Не знаю, может быть, 50
— А есть те, которые приходят повторно?
— Вряд ли, в основном люди попадают на наш сайт из поиска.

На вопрос «А зачем тогда люди станут устанавливать программу на телефон?» клиенты уже ответить не могут.

На самом деле все очень просто. Приложение — это инструмент для решения какой-то задачи. Вот три основных задачи, которые люди решают с помощью мобильных приложений:
— скоротать время;
— получить доступ в интернет при отсутствии других способов;
— срочно получить необходимую информацию;

Если приложение не решает ни одной из этих задач, оно скорее всего не нужно людям. Лучше потратьте деньги на хорошую мобильную версию сайта, и будет вам счастье! А если вы видите, что люди регулярно заходят на ваш сайт, то скорее всего сайт позволяет решить им какую-то задачу. Отразив ее в мобильном приложении, вы скорее всего получите довольных клиентов!

Мобильно приложение для Интернет-магазина

Клиент говорит:
— Мы хотим сделать приложение, с помощью которого можно будет просматривать каталог нашей продукции и делать заказ
— Окей, а какие цели вы преследуете?
— Мы бы хотели, чтобы люди находили наше приложение в Appstore и Android Market и совершали покупки.

На самом деле мобильное приложение делается для уже существующих постоянных клиентов. Если люди регулярно делают заказы в определенном магазине, то мобильное приложение для них может быть более удобным инструментом сделать заказ. Но много вы знаете таких интернет-магазинов? Большинство людей ищут товар в Яндексе, потом попадают в нужный интернет-магазин, делает заказ один раз и уходят. Неужели они станут ради одного заказа скачивать приложение? Гораздо лучше здесь подойдет мобильная версия сайта, на которую будут попадать люди, ищущие товары с мобильных устройств.

В этом случае клиенты часто приводят в пример Тануки и Империю Пиццы, приложения которых стали очень популярными. Но не надо забывать, что люди и так регулярно заказывали еду в этих заведениях. Приложение позволило делать это более удобно и из любого места. Конечно, пользователи были рады! Кроме того, эти заведения были одни из первых в России, которые сделали мобильное приложение, а сейчас этим уже никого не удивишь.

Но айфоны и айпэды — это ведь так модно. Можно нам все-таки сделать какое-нибудь приложение?

Конечно можно! Но предварительно надо все-таки хорошенько подумать, зачем люди будут его использовать регулярно. Если нет прямого очевидного применения, придумайте дополнительный, который и будет заставлять людей регулярно открывать приложение. Вот простые примеры, как сделать обычное приложение о компании нужным для постоянного использования.

— Приложение о фитнес-клубе, содержащее также дневник тренировок и сборник упражнений
— Приложение о розничной сети, также включающее удобный список покупок
— Приложение ресторана, также включающее в себя рецепты блюд
— Приложение салона красоты с советами по макияжу на каждый день

Пока еще все-таки относительно мало российских компаний имеют свои мобильные приложения, поэтому выделиться на этом рынке не так сложно. Главное, слишком сильно не увлекаться, и не пытаться вставить аналог Angry Birds на одну из вкладок приложения инвестиционной компании.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Типографика / Вышел стандарт Unicode 6.1, добавлено 732 новых символа

alizar — Sun, 05 Feb 2012 14:08:32 GMT

31 января официально представлена новая версия стандарта Unicode 6.1.0, это минорный релиз по сравнению с Unicode 6.0.0 (октябрь 2010 г.).

Последняя версия включает 732 новых символа, в том числе семь новых письменностей: китайские, азиатские и африканские. Среди 110 тыс. символов Unicode можно найти глифы на любой вкус, например, вот символ LOVE HOTEL (U+1F3E9):

В Unicode 6.1 добавлена поддержка 200 вариаторов для иконок (смайликов) Emoji, так что теперь эти значки можно описывать как в чёрно-белом (text style), так и в цветном варианте (emoji style).

26FA FE0E		TENT text style
26FA FE0F		TENT emoji style
26FD FE0E		FUEL PUMP text style
26FD FE0F		FUEL PUMP emoji style

Из других улучшений в Unicode 6.1: добавлены два новых свойства разбивки строк для текстов на японском языке и иврите; улучшена сегментация текстов для тайского, лаосского и схожих языков; улучшена обработка китайских текстов за счёт более точного мэппинга между упрощёнными и традиционными китайскими иероглифами.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Информационная безопасность / [Из песочницы] Взлом капчи LostFilm (php)

ozver — Sun, 05 Feb 2012 13:48:22 GMT

Решив скачать очередную серия Хауса я заглянул на LostFilm и обнаружил, что теперь на сайте, чтобы скачать нужно регистрироваться.
Только я решил зарегистрироваться, как на глаза мне попалась их новомодная капча:

Капча показалась мне довольно простой (хоть и не лишена она дольки оригинальности).

Итак, капча представляет собой изображение с тремя фигурами и надписью.
Фигуры отображаются в случайном порядке, без каких либо искажений или изменений положения по осям (меняется только тип фигуры и порядок). Всего фигур четыре: круг (circle), квадрат (square), треугольник (triangle) и крестик (x).

Под фигурами выводится надпись, на которой указано какую из фигур необходимо выбрать.

Всё это «чудо» располагается в файле login.bogi.ru/captcha.php, выводится стандартной phpGD библиотекой, размеры файла 170x95px, тип PNG.

Регистрация происходит по отправке GET HTTP запроса (в данном случае XHR, но это никакого значения не имеет, т.к. проверки на подмену нет):

bogi.ru/auth/registration?first=FIRST_NAME

&last=LAST_NAME

&nick=NICK

&email=EMAIL

&password=PASSWORD

&sex=1

&captcha=1

&sid=

&ajax=1

&target=http%3A%2F%2Flostfilm.tv%2F

Больше всего нас интересуют поля email, password, captcha и sid.

Через sid передаётся идентификатор капчи по которому и ведётся проверка подлинности.
В параметре captcha указывается номер фигуры 1, 2 или 3.

Полный путь к картинке капчи будет выглядеть так:
login.bogi.ru/captcha.php?sid=a0vxd4rgs0gsz5gh38gan903sac

Получим картинку из исходного кода страницы регистрации, например из скрытого поля sid:

$reg = "/name=\"sid\" value=\"([^\/]+)\"/";//<input type="hidden" name="sid" value="7cf6e89e9ee5dd19cdae1328208198" />
preg_match($reg, $site_html, $sid);
$sid = $sid[1];

Получив изображение, можно переходить к его разбору.
Для начала я разделил всё изображение на две области:
1) Фигуры
2) Надпись

Так как ни фигуры, ни надпись не искажаются и не меняют свое положение, легко составить их матрицы для каждого случая (4*2 = 8 матриц).
Например, так:

for($x=0; $x<$width; $x++)
{
    for($y=0; $y<$height; $y++)
    { 
        
        $color[$x][$y] = imagecolorat($img, $x, $y);
        //sign
        if($y > 70)
        {
            $sign[$x1][$y1]  .= ($color[$x][$y]==2147483647?0:1);
            $y1++;
        }
        //FIGURE 1
        if($y > 10 && $y < 40 && $x > 20 && $x < 50)
        {
            $figures[0][$f0x] .= ($color[$x][$y]==16777215?0:1);
        }
        
        //FIGURE 2
        if($y > 10 && $y < 40 && $x > 70 && $x < 100)
        {
            $figures[1][$f1x] .= ($color[$x][$y]==16777215?0:1);
        }
        
        //FIGURE 3
        if($y > 10 && $y < 40 && $x > 120 && $x < 150)
        {
            $figures[2][$f2x] .= ($color[$x][$y]==16777215?0:1);
        }

    }

    if(count($sign)){$x1++; $y1=0;}

    if($x > 20 && $x < 50) $f0x++;
    if($x > 70 && $x < 100) $f1x++;
    if($x > 120 && $x < 150) $f2x++;
}

Здесь я делаю матрицы для 3 фигур ($figures) и матрицу для надписи ($sign). Фоновые цвета (у фигур белый, у надписи прозрачный) я заменяю на 0, остальные — 1.
В итоге получаются матрицы наподобие такой:

Остаётся дело за малым, нужно составить банк матриц для всех фигур и надписей, а затем сравнивая разобранные изображения с заранее сохраненными матрицами можно будет установить номер фигуры, а следовательно — разгадать капчу.

Код сверки довольно простой:

if($sign == $signs['x']) 
{
    if($figures[0] == $drawings['x']){$result = 1;}
    elseif($figures[1] == $drawings['x']){$result = 2;}
    elseif($figures[2] == $drawings['x']){$result = 3;}
    else{$result = 0;}
}
elseif($sign == $signs['circle'])
{
    if($figures[0] == $drawings['circle']){$result = 1;}
    elseif($figures[1] == $drawings['circle']){$result = 2;}
    elseif($figures[2] == $drawings['circle']){$result = 3;}
    else{$result = 0;}
}
elseif($sign == $signs['square'])
{
    if($figures[0] == $drawings['square']){$result = 1;}
    elseif($figures[1] == $drawings['square']){$result = 2;}
    elseif($figures[2] == $drawings['square']){$result = 3;}
    else{$result = 0;}
}
elseif($sign == $signs['triangle'])
{
    if($figures[0] == $drawings['triangle']){$result = 1;}
    elseif($figures[1] == $drawings['triangle']){$result = 2;}
    elseif($figures[2] == $drawings['triangle']){$result = 3;}
    else{$result = 0;}
}

Здесь, $signs — матрицы надписей, $drawings — набор матриц фигур, $sign — текущая надпись, $figures — набор текущих фигур.

В результате получаем номер картинки (или 0 если не удалось разобрать).

Всё что осталось — отправить запрос на регистрацию:

$regURL = "http://bogi.ru/auth/registration?first=TestBot&last=Bot1a&nick=bot".substr(uniqid(), 0, 5)."&email=bot".substr(uniqid(), 0, 5)."@gmail.com&password=qwerty123&sex=1&captcha=".$result."&sid=".$sid."&ajax=1&target=http%3A%2F%2Flostfilm.tv%2F";
$data = file_get_contents($regURL);

В ответ получаем
callback({"error":0,"text":""});
Что значит «Ура! Регистрация пройдена успешно».

Хотел бы заметить, что эта капча крайне не надёжна, легко взламывается даже неопытным программистом за короткое время, и использовать её, если вы хотите оградить свой сайт от ботов и спамеров разумеется не стоит.

P.S. В общем, на «взлом» этой капчи ушло около часа, на разбор одной картинки (вместе с парсингом и регистрацией) уходит около 5 секунд. На всякий случай, отчёт о проделанном я отправил в тех. поддержку LostFilm, а затем отправился смотреть 10 серию Хауса.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Информационная безопасность / Боитесь что снова закроют ex.ua? Не стоит — все можно скачать на сервере Министерства внутренних дел Украины

inoname — Sun, 05 Feb 2012 13:00:08 GMT

Заходим на 91.227.69.2/Install/ и качаем. Там и пиратская Windows с ключем и MS Office, и еще много чего:

inetnum: 91.227.69.0 — 91.227.69.255
netname: MVS-NET
descr: Ministry of Internal Affairs of Ukraine
country: UA
org: ORG-MoIA2-RIPE
admin-c: MRA75-RIPE
tech-c: MRA75-RIPE
status: ASSIGNED PI
mnt-by: RIPE-NCC-END-MNT
mnt-lower: RIPE-NCC-END-MNT
mnt-by: MNT-MVS
mnt-routes: MNT-MVS
mnt-domains: MNT-MVS
source: RIPE # Filtered

organisation: ORG-MoIA2-RIPE
org-name: Ministry of Internal Affairs of Ukraine
org-type: OTHER
address: 10 Bohomoltsa str.,
address: Kyiv 01024, Ukraine
phone: +380 44 2561439
fax-no: +380 44 2561697
admin-c: MRA75-RIPE
tech-c: MRA75-RIPE
e-mail:
e-mail:
source: RIPE # Filtered
mnt-by: MNT-MVS
mnt-ref: MNT-MVS

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Информационная безопасность / Спецам из Рурского университета удалось взломать систему шифрования спутниковой телефонной связи

marks — Sun, 05 Feb 2012 12:54:24 GMT

Да, «И на старуху найдется проруха», правильно говорит эта народная поговорка (или пословица, никогда не понимал между ними разницы). Специалисты по информационной безопасности из университета города Бохум (Рурский университет) на днях заявили об успешном взломе стандарта шифрования спутниковой связи, используемого для переговоров по спутниковым телефонам. При этом исследователям не понадобились экзотичные средства связи и многие тысячи долларов. Достаточно любого ПК и обычного радиоприемника.

Такой системы, при наличии специализированного программного обеспечения, хватит для того, чтобы без всяких проблем прослушивать телефонные переговоры находящихся неподалеку абонентов, использующих спутниковую телефонную связь. По мнению экспертов, все это делает уязвимыми спутниковые телефоны всего мира, при условии использования стандартов шифрования GMR-1 и GMR-2. Эксперты смогли провести так называемый реверс-инжиниринг указанных стандартов связи.

Упомянутые стандарты шифрования спутниковой связи используются большинством провайдеров спутниковой телефонной связи, включая и такую крупную компанию, как Thuraya. Рабоают с GMR-1 и GMR-2 и военные средства связи, которые также автоматически становятся неустойчивыми к взлому. Стандартизацией алгоритмов шифрования для спутниковой связи занимается ETSI, и именно к этой организации немцы обратились прежде всего, надеясь, что разработчики из ETSI создадут более надежные стандарты шифрования.

Немецкие специалисты проводят аналогию между сотовой связью и спутниковой связью, обращая внимание на то, что операторы мобильной связи уже занимаются внедрением более надежных средств шифрования в свои сети, в то время, как операторы спутниковой связи пока ничего не делают. Или, если и делают, то все это идет достаточно медленно — а ведь взломщики разных мастей не дремлют.

Via theinquirer

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Apple / Motorola делает успехи в судебном процессе с Apple

marks — Sun, 05 Feb 2012 12:11:52 GMT

Как уже писалось ранее на Хабре, корпорация Motorola, а вернее, подразделение Motorola Mobility, еще не перешедшее под юрисдикцию Google, подала в суд на Apple. Суть иска обычное — нарушения патентов. В декабре 2011 года Motorola предприняла попытку договорится с «яблочниками», но, похоже, ничего не вышло. После этого начался судебный процесс, который проходит не лучшим образом для Apple. Тяжба идет в Германии, и немецкий суд уже постановил приостановить продажи iPhone 3G, 3GS и iPhone 4. Правда, это касается только немецкого подразделения корпорации Apple, а не партнеров корпорации.

Тем не менее, Apple Germany уже пришлось отозвать из продажи в этой стране указаннные устройства, включая также и свои планшеты. Все это немного похоже на аналогичный судебный процесс Apple с Samsung, когда последней компании пришлось отзывать собственные устройства из продажи в некоторых странах. Тогда, в прошлом году, южнокорейскому гиганту пришлось даже отозвать планшеты с технологической выставки, т.е. поснимать устройства со стендов. Apple теперь приходится «есть» то, чем компания долгое время «кормила» других, если так можно выразиться.

Стоит напомнить, что суть претензий Motorola — патенты на беспроводную передачу данных по GPRS, именно эта технология используется в подавляющем большинстве мобильных устройств современности. Используется она и в девайсах от Apple, которые теперь наказаны в Германии. По условиям патента, компании должны запрашивать у Motorola лицензирование на указанную технологию.

Стоит отметить, что у Apple могут быть и проблемы с работой своего «облачного» сервиса iCloud, поскольку Motorola подала иск и в этом направлении. Суд пока не запретил работу этого сервиса, но в ближайшем будущем это все же возможно. Интересно, поможет ли этот судебный процесс научить Apple вести себя более сдержанно? Наверное, вряд ли.

Via fudzilla

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Android / История заблокированного приложения

alexrewa — Sun, 05 Feb 2012 11:55:30 GMT

Несколько дней назад я писал в этой статье о деталях того как можно скачать видео с YouTube. В этой же статье была ссылка на Android-приложение, использующее описанный алгоритм. В комментариях к той статье меня предупреждали, что приложение могут скоро заблокировать, так как оно нарушает правила использования сервиса YouTube. Так и случилось… Через двое суток после публикации приложение стало недоступно для установки из Android маркета. Цель написания этой статьи: показать на своем примере, какие реальные санкции со стороны Google ожидают разработчика если его приложение окажется «вне закона».
Если интересно, добро пожаловать под кат.

Для начала приведу немного статистики:

С момента публикации до блокировки прошло почти 48 часов;
За это время приложение было установлено 26 943 раза;
Благодаря встроенной рекламе я заработал около 100$ (правда снять их не получилось, подробности ниже).

Разрабатывая YouTube Downloader я не рассчитывал, что подобное приложение будет пользоваться такой дикой популярностью. Учитывая, что я не прилагал особых усилий, чтобы как-то продвинуть его, кроме того, что запостил на своих страницах Facebook, Вконтакте, Twitter сообщение типа «написал новое приложение, если интересно можете установить». На разработку кода ушло в целом около 8 часов времени. Естественно, никакого особенного дизайна там не было, так как в дизайне я не слишком силен. Чисто ради интереса я так же встроил в приложение 2 самых маленьких баннера (320х50) доступных в системе AdMob. Приложение было бесплатным. Была мысль сделать его платным, но я из Украины, поэтому на данный момент это оказалось невозможным.
Уже через несколько часов после публикации было больше сотни установок. Вместе с установками пошли и клики по баннерам. Поначалу прирост составлял порядка 0.5$ в час, потом все больше и больше. К началу вторых суток на виртуальном счету было уже около 40$. Я уже было решил, что наткнулся на золотую жилу. Мысленно я представлял, что такими темпами через полгода буду рассекать по родному городу на BMW-Z4. Но не тут-то было…
После очередного обновления страницы статистики в маркете я увидел, что приложение перешло в статус «Приостановлено».

Почти одновременно с этим пришло письмо от саппорта следующего содержания:

Hello,

This is a notification that the application, YouTube Downloader, with package ID com.youtubedownloader has been removed from Android Market due to a violation of the Developer Content Policy. Please review the Content Policies, Developer Distribution Agreement, and Business and Program Policies before you create or upload additional applications. Please also consult our guidelines on rating your application. If your developer account is still in good standing, and the nature of your application allows for it; please make any necessary revisions and upload a new version that is compliant with the above Terms.

Please be advised that violations may result in a suspension of your Android Market Publisher account, and may also result in actions, including possible suspension, taken against any associated Android Market Publisher, AdSense, Google Checkout, or AdMob accounts.

To appeal this decision, please reply to this email, or visit the Android Market Help Center for additional information.

Thanks,
The Android Market Team

Я конечно расстроился, но не удивился (предупреждали ведь) и первым делом отправился читать правила пользования сервисом YouTube и нашел пункт, согласно которому можно однозначно сказать: скачивать видео с YouTube запрещено (кроме специально оговоренных случаев). Вот выдержка из правил:

Content is provided to you AS IS. You may access Content for your information and personal use solely as intended through the provided functionality of the Service and as permitted under these Terms of Service. You shall not download any Content unless you see a “download” or similar link displayed by YouTube on the Service for that Content. You shall not copy, reproduce, distribute, transmit, broadcast, display, sell, license, or otherwise exploit any Content for any other purposes without the prior written consent of YouTube or the respective licensors of the Content. YouTube and its licensors reserve all rights not expressly granted in and to the Service and the Content.

Таким образом все даунлоадеры, сервисы, скрипты, расширения для браузера и тому подобные утилиты являются вне закона. Скачивать можно только разрешенные для скачивания видео, а все остальное от лукавого.
Но блокировкой приложения санкции не закончились. На следующие сутки я попробовал зайти в аккаунт AdMob чтобы проверить сколько там «накапало» и не смог этого сделать: аккаунт заблокировали. Официальное сообщение при логине:

Your account has been disabled for invalid activity or repeated policy violations. Some examples include recurring manual clicks or impressions, violation of our content policies which can be found here, robots, automated click and impression generating tools, third-party services that generate clicks or impressions such as pay-to-click, pay-to-surf, autosurf, and click-exchange programs, or any deceptive software. If you have any questions or concerns about the actions we've taken, how you can appeal this decision, or invalid activity in general, you can find more information here.

Получается, что все что было заработано при помощи нелегального приложения получить не удастся, питать ложных надежд не стоит. Более того, единственный способ получить свой аккаунт обратно, это заполнить эту форму и рассчитывать на снисхождение администрации. Но и это еще не все. Если аккаунт не разблокируют, а ты создашь новый и этот новый аккаунт будет уличен в связи с заблокированным, то и новый заблокируют. Получается пожизненный бан и в дальнейшем можно забыть о том, чтобы зарабатывать на своих приложениях с помощью AdMob. А это уже довольно серьезный демотиватор…

Выводы

Волне реально за короткие сроки и без особых вложений написать популярное приложение, которое будет приносить хороший дополнительный доход;
Перед тем, как публиковать приложение, следует убедиться что оно не нарушает авторские права и не использует нелегальный контент;
Если приложение будет нарушать чьи-либо права или использовать нелегальный контент оно обязательно будет заблокировано;
Если нелегальное приложение показывало рекламу AdMob, соответствующий аккаунт так же будет заблокирован за накручивание кликов и получить его обратно будет крайне сложно.

Вместо послесловия

Я рассказал эту историю, чтобы показать какие последствия ожидают тебя если ты невнимательно подойдешь к вопросу нарушения авторских прав. Впрочем, если ты такой же как и я, то наверняка решишь рискнуть. А вдруг пронесет?..

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Системное администрирование / Юзеры делятся на тех, кто еще не делает бекапы и тех, кто уже делает

artamonovg — Sun, 05 Feb 2012 11:22:50 GMT

Почему?

Ежедневно происходит множество случаев, когда пользователи \ администраторы теряют свои данные. Это может происходить из-за многих факторов.

1. Выходят из строя жесткие диски на сервере. Даже если на Вашем сервере работает RAID массив (с уровнями надежности, такие как 1, 1Е, 10, 5, 50, 5Е, 5ЕЕ, 6, 60), данные могут быть потеряны. Во многих случаях, RAID не спасет Ваши данные, например, в результате удаления файлов\папок. И если у Вас нет резервной копии — у Вас могут быть проблемы.

2. В дата-центре может быть пожар.

3. Дата-центр может убежать с серверами :). Да-да, бывает и такое. Так же сервера могут отобрать за долги.

4. Вашего хостера могут отключить за долги. (Дата-центр, операторы связи)

5. Хостеру прекратили доступ в сеть

Таких случаев — море, можно целую коллекцию собрать :-)

В любом случае, нужно всегда делать бекапы, причем на другой сервер. Как их делать и как не тратить «лишних» денег, если важные данные не занимают много места.

Как делать бекапы?

Обычно, на серверах установлены панели управления. В большинстве случаев, в них уже встроен механизм резервного копирования:

1) ISPManager. Резервное копирование на уровне пользователя, на уровне администратора.

2) DirectAdmin.

3) CPanel

Во всех этих панелях, есть функция удаленного резервного копирования. Рекомендую использовать SFTP, но если такой возможности нет, то просто FTP.

Резервное копирование баз данных MySQL и файлов на удаленный FTP..
Я не буду приводить примеры резервного копирования mysql и файлов, так как этих скриптов навалом на хабре.
Собственно, вот статья с этими скриптами.
Так же можно использовать AutoMySQLBackup

Что касается файлов. Это действительно самый простой пример бекапа. На деле нужно поднимать систему инкрементального бекапа, так как хранить копии одинаковых файлов невыгодно и глупо. Но это уже отдельная статья.

Куда сливать бекапы?

Далее, возникает логичный вопрос. Где хранить эти бекапы?
Для новичков, подойдет тариф от хостера majorhost — бесплатный аккаунт с пространством 1гб. Этого хватит для инкрементального бекапа всех файлов и нескольких бекапов базы данных небольшого сайта. Если Вам этого пространства уже не хватает, вы всегда можете «проапгрейдить» свой аккаунт. К тому же, имеется веб интерфейс для управления Вашими файлами и FTP аккаунтами.

В биллинге зарегистрировались, заказали услугу, а как получить конечный аккаунт FTP?

Переходим в пункт меню FTP бекап, выбираем заказанную услугу кликом, нажимаем кнопку «на сервер».
Вы попали в веб-интерфейс управления аккаунтом.

Главное меню — FTP аккаунты. Нажимаем создать новый, или меняем пароль у существующего. В качестве адреса сервера, используем адрес из URL, например: srv**.majorhost.net

Некоторые еще делают бекапы на dropbox, но мне этот вариант не понравился. Не стабилен, от меня пинг туда 190ms, скорость закачки тоже не супер. Да и места там не на много больше…

Многие хостеры дают с заказанными серверами FTP аккаунт для бекапов.
P.S Если еще какие-нибудь хостеры предоставляют FTP for free :), пишите в личку, добавлю.

Помните. Настроить систему бекапа, даже для новичка — 5 минут. Контролировать резервные копии — 1 минута в неделю. Восстанавливать информацию — бесценно. Куча потерянного времени и нервов, + прибавка седых волосинок на вашей голове :)

Желаю удачи!

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Телефония / Что такое iNum, и чем мы можем помочь развитию данного проекта

xaker1 — Sun, 05 Feb 2012 11:06:03 GMT

Что такое iNum

iNum, international Number, международный номер. Данные номера позиционируются как глобальные телефонные номера для нового мира, не зависящего от географической привязки, текущего местоположения, расстояния и государственных границ.

iNum использует телефонный код +883, выделенный ITU (международный союз электросвязи) компании Voxbone для нужд IP телефонии, помимо голосовых вызовов на данные номера доступны и sms сообщения.

Предполагается, что вызовы на данные номера с ТфОП будут равны по стоимости местным вызовам. Но увы, еще далеко не все ОпСоСы и обычные телефонные провайдеры маршрутизируют звонки в данном направлении (да и не все VoIP провайдеры тоже).

Предоставление номера в массиве +883 абсолютно бесплатно. В России этим занимаются всего 2 провайдера:YouMagic и Mobile One.

Способы подключения

Существует 2 способа подключения к iNum.

Первый, он же простейший — просто переадресовывать звонки на SIP номера _number_@inum.net (например, 883510000000091@inum.net), а sms сообщения отсылать по протоколу XMPP на тот же адрес (_number_@inum.net, например 883510000000094@inum.net)

Второй — подать заявку через форму обратной связи и получить прямой доступ к iNum. В данном случае SMS сообщения оправляются в качестве SIP сообщений.

Проверка маршрутизации

Существует 2 номера для проверки маршрутизации (везде по 8 нулей):
Echo тест: 883510000000091
DTMF тест: 883510000000092
CallerID тест: 883510000000093
SMS тест: 883510000000094 — оправляем свой email, в случае успешной доставки на email получаете уведомление.

Чем Хабрасообщество может помочь развитию iNum?

Вариантов несколько:

Проверить доступность вызовов и sms на iNum со своего провайдера (в т.ч. и в роуминге)
Связаться со своим провайдером, с просьбой о поддержке iNum.
Сообщить о iNum в Twitter, FaceBook, G+, etc.
Общаться на форуме iNum, предлагать свои идеи для развития iNum

Предлагаю проверять возможность звонков\отправки смс сообщений (не только мобильных и стационарных провайдеров, но и и VOIP), оставлять свои пожелания оператору и в комментариях сообщать о результатах — добавлю в табличку ниже. Так же оставлять результаты можно на форуме проекта.

Оператор	Поддерживает ли звонки по номерам iNum	Поддерживает ли sms по номерам iNum	Запрос отослан
Beeline	Нет	Нет	Да
MTS	Нет	Нет	Да
Megafon	Нет	Нет	Да
Tele2	Нет	Нет	Да
LMT	Нет	Да	Да
Life	Нет	Нет	Да
U-tel	Нет	Нет	Да
Ростелеком	Нет	-	Да
Kyivstar	Нет	Нет	Да

Ссылки

Официальный сайт проекта
Русскоязычное зеркало проекта
Форум проекта

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Интерфейсы / Перенос корпоративной почты на почту для домена от Яндекса

TipTop — Sun, 05 Feb 2012 10:07:01 GMT

Дисклеймер

Может показаться, что в этом топике я ругаю Яндекс, но на самом деле все совсем не так. Эта история о том, как мелочи могут серьезно повлиять на впечатление от продукта, или помочь в решении проблемы. Также, я надеюсь, что эта статья поможет «собратьям по несчастью» пока в Яндексе занимаются доработками продукта.

Предыстория

Одним прекрасным зимним днем решили мы перенести корпоративную почту на Яндекс, ибо старая почта доставляла лишние хлопоты: то надо было освобождать место для новых писем, то ящики переставали работать без видимых причин. В общем, по сравнению с тем, что было, Яндекс.почта представлялась чем-то далеким и прекрасным…

Приключения админа — тайна Яндекса

Начало

Первым делом я открыл хром, залогинился на Яндексе и попробовал подключить домен. Имя домена ввелось, кнопка нажалась и мне предстала надпись «Проверка подключения домена может занять продолжительное время». Минут 5 я сосредоточенно ожидал результата, после чего решил пройтись по офисам и решить организационные вопросы.

Вернувшись через пару часов я обнаружил точно такую же картину и решил поискать решение в интернетах. К счастью, полезный комментарий нагуглился почти сразу. Из него стало ясно, что у хрома и сафари есть «семейные» проблемы с работой яндексовского кода — через пару минут домен был успешно добавлен через IE и с его подтверждением проблем не возникло.

Заметка номер раз: Сообщение о «проверке подключения» малоинформативно — слишком уж растяжимое понятие «продолжительное время». Может быть, кто-то уже неделю ждет, пока эта продолжительность пройдет. О кроссбраузерности я скажу ниже…

А настроить?

Есть у меня одна привычка: тестировать перед введением в эсплуатацию. Поэтому мне не очень понравился подход Яндекса, при котором ничего нельзя настроить, не прописав MX-записи. Значит, придется поработать во внеурочное время. Я разослал всем сообщения о том, что с завтра вся почта будет уже в другом месте и подготовился к рабочему вечеру.

Заметка номер два: Не стоит недооценивать песочницы и возможности опробовать продукт, особенно если он создан для администраторов. Из-за того, что пришлось работать «по-живому», сотрудникам предприятия добавилось лишнего геморрою при переносе почты.

Дружественный интерфейс

Воспользовавшись инструкцией, я подключил поддомен для входа в почту. Поддомен mail уже активно использовался для старой почты (с него забирают почту Thunderbird'ы), поэтому я решил, что от использования поддомена pochta хуже не станет. На первый взгляд все работало нормально — форма входа отображалась. А проверять её было нечем — почтовые ящики нельзя создать до переезда.
Забегая вперед, скажу, что затея провалилась: после входа в почту всем пользователям вываливалась вот такая «красота»:

Паника, хаос и звонки админу были обеспечены.

Заметка номер три: Если Вы активно следите за безопасностью, то делайте так, чтобы пользователь понимал что «что-то не так» как можно раньше. Лучше бы предупреждение о безопасности выдавалось до ввода данных — тогда мне не пришлось бы вводить пользователей в заблуждение.

Создание ящиков

Создать ящики заранее нельзя, добавить ящики пачкой нельзя — строго ручками по одному. Ну да ладно, на что не пойдешь ради светлого будущего… Подвох оказался там, где не ждали: интерфейс отчаянно тупил после добавления пары ящиков. Надпись «Выполняется...» могла висеть сколько угодно — приходилось постоянно перезагружать страницу, чтобы проверить результат действия. Рабочий вечер плавно перетекал в рабочую ночь…

Заметка номер четыре: Новые технологии не всегда так хороши, как говорят маркетологи. Модный «аяксовый» интерфейс может перестать нормально работать даже у Яндекса. Так что иногда лучше по-старому, но надежно.

Безопасность превыше всего

Не все ящики удалось создать со старыми паролями. У кого-то пароли были недостаточно заковыристыми, у кого-то недостаточно длинными. Из-за того, что в Яндексе такого не терпят, приходилось объяснять, что другая не только страница для входа, но и пароль. Не очень радостное известие среди нежданной рабочей ночи.

Заметка номер пять: Безопасность — это всегда неудобно. Не забывайте об этом и не фанатейте от всевозможных проверок и шифрований, пользователи вряд ли это оценят.

Сохраняя лучшее

За годы работы в старой почте сотрудники собрали ценную переписку, которую необходимо было оставить в целости и сохранности. Причем непременно со структурой папок. Но перенос почты по IMAP тоже не пожелал работать в хроме, причем без каких-либо сообщений.

В одном ящике лежали только системные уведомления, которые никто не сортировал. Я попробовал перенести его через POP3. И здесь оказался нежданный подвох — все письма начали переадресовываться. К счастью, я к тому времени не настроил всю переадресацию, и 10 000 писем свалились в тестовый ящик. Вот бы удивились пользователи…

Песец подкрался незаметно

Подозревая Яндекс в нелюбви к творению конкурента, я открыл старый добрый IE. Это мало чем помогло. Попытки открыть вкладку «Другой почтовый сервер» заканчиваются ничем — пользователи IE могут попытаться перенести почту только из gmail. Осознаю, что в Яндексе недолюбливают многих :).

Когда все плохо, обычно почему-то вспоминают рыжих. Так произошло и в моем случае — на помощь был призван Firefox. И случилось маленькое чудо, все заработало довольно сносно. Похоже, разработчики Яндекса пользуются только им.

Заметка номер шесть: Если вы разрабатываете веб-приложения — не спешите делить браузеры на хорошие и плохие или хоронить их. Оставьте это развлечение админам и пользователям. В большинстве случаев пользователь посчитает плохим веб-сервис а не браузер.

Продолжая сохранять

Однако, перенос через IMAP сразу не захотел работать и в firefox'е. На этот раз уже с сообщением о «внутренней ошибке». Решаю отложить перенос на следующий день — утро обещает быть неспокойным.

После долгих объяснений и обещаний «все будет» начинаю заниматься переносом переписки. Приходится переносить по одному ящику по ряду причин:

В админке Яндекса можно увидеть лишь количество перенесенных писем, и то только во время переноса.
В старой админке есть только размер ящика в мегабайтах.
Сообщения об ошибках при переносе крайне неинформативны. Их всего два:
«Проверьте правильность введенных данных и списка логинов и паролей. Затем попробуйте ещё раз.» и
«Внутренняя ошибка. Попробуйте повторить операцию позже, или обратитесь в службу поддержки.»
Нельзя понять, при переносе какого ящика возникла ошибка.

Поэтому перенос шел медленно и печально: запустить процесс, дождаться окончания (некоторые ящики переносились 1-2 час), открыть старую почту, открыть новую почту и визуально сравнить их соответствие.

Заметка номер семь: Все должно быть сделано так просто, как это возможно. Но не проще.
Чрезмерное упрощение интерфейса может быть вредно. В моем случае помогла бы любая дополнительная информация о ящиках. Но интерфейс яндекс-почты для домена слабо приспособлен для корпоративной почты — нет ни информации о ящиках, ни полей для комментариев (которые будут полезны другим администраторам компании).

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Mobile Development / Native vs Web. Часть 0: +1 аргумент в пользу разработки native мобильных приложений

redcraft — Sun, 05 Feb 2012 08:33:33 GMT

Как-то вечером мне захотелось написать статью о разработке приложений для мобильных устройств, но тут Остапа понесло...

Так же как киборги в свое время заполонили всю планету, сейчас мобильные девайсы заполоняют нашу жизнь. А что это означает для нас, гиков? Новые возможности даже обсуждать не стоит — это вкусные плоды с дерева под названием “гаджет”. А раз есть плоды и толпы страждущих, то почему бы не начать их выращивать (я про плоды, выращивать же страждущих умеет лишь Apple )? И тот вырастит больше и вкуснее, у кого инструмент лучше. Какие есть подходы в мобильном приложениеводстве? Как минимум можно использовать старую проверенную web-платформу и заняться написанием мобильных web-приложений, либо освоить молодую отрасль разработки под iOS и Android. Выбор, не простой, и чаши весов качались крайне долго в моей голове, пока на сторону разработки приложений под iOS (потенциально и под Android) не пал один весомый аргумент, о котором сегодня и пойдет речь. Но для начала краткий экскурс в технологии и их возможности.

Что нам стоит инструмент освоить?

Как минимум нужно с чего-то начинать. Это могут быть либо книги, либо туториалы. В области мобильных web-приложений все просто: о без года совершеннолетнем JavaScript (прим. для танкистов: он в 1995 году появился), его сестре погодоке CSS и старшем брате HTML 1991 года рождения написано книг на терабайт, а может и более. Одним словом, сфера развитая, готового материала в ней много, как и специалистов (прим. автора: и тех кто считает себя таковыми), и процесс обучения не должен вызвать особых трудностей. Молодые бойцы могут начать тренироваться на кошках, разрабатывая обычные десктопные web-приложения, а затем планомерно перейти на мобильные платформы. Единственное, что для вас изменится — вы будете использовать jQuery Mobile с вкраплениями jQTouch вместо классического JQuery. В довесок вы получите GEO-API, события поворота устройства (увы, полноценного доступа к гироскопам и акселерометрам вам не дадут, так что написать аналог Multiponk у вас не выйдет) и довольно убогий мультитач. По вышеупомянутым “довескам”, кстати сказать, материал придется собирать в сети по крупицам, книг или руководств в стиле “Пишем современное работающее приложение для mobile web с поддержкой GEO, Rotation и Multitouch” вы скорее всего не найдете (или я плохо искал?).

Хорошо, а как дело обстоит с нативными платформами? Т.к. нас интересует лишь рынок, то отвернем головы от MeeGo, Symbian, RIM. И вот мы видим симпотяжку робота четырех лет от роду и вкусненькое яблоко, появившееся на свет годом ранее. Из хороших моментов можно отметить, что за годы существования было написано много фундаментальных изданий как для iOS, так и для Android. Писать для Android несколько проще: в качестве язык SDK — Java, взнос за Android Market составляет 25 енотов единоразово, а SDK доступен почти под любую вменяемую OS. С iOS дела обстоят несколько сложнее, т.к. денежных вливаний будет много: вначале вам придется купить Mac, после того, как вам надоест возиться с хакинтошами, затем вы выложите около сотни енотов за аккаунт разработчика в год, без него, кстати говоря, вы не получите доступ к полной документации SDK и видео с WWDC (качаешь с торрентов?! — типун тебе в карму). За все эти денежно/временные вложения вы получите полноценную поддержку GEO-API, полноценный гироскоп (либо акселерометр), микрофон, камеру, доступ к фото галерее, хранилище данных, мультитач. Выбор плюшек явно богаче чем при web-разработке.

Быстрее, выше, сильнее

Дьявол в деталях. А в мобильных устройствах, на мой взгляд, самый большой дьявол скрыт в скорости отклика приложения на действия пользователя. И ни один браузер не сможет работать быстрее, чем нативное приложение. Это может показаться несущественно: разница отклика на открытие вкладки, или выбора пункта меню может исчисляться в миллисекундах, но на мобильных устройствах она будет плавнее и быстрее на десяток миллисекунд, и это ощущение не будет вас покидать. Откройте m.youtube.com (а ведь это пожалуй одно из лучших web-приложений для мобильных устройств) и походите по сайту. Зайдите во вкладку категорий, поверните ваш гаджет. А теперь откройте встроенное приложение YouTube. И сравните. Детали незначительны, но с нативным приложением работать приятнее, чем с web-версией — плавность и скорость берут свое.

Эталоны графического дизайна

Пожалуй, среди пользователей можно выделить две категории людей: одни кричат “Мы хотим свободы самовыражения в том, что мы создаем”, а другая категория просто делает удобные приложения выдержанные в едином стиле. С такими приложениями легче разобраться, понять, как они работают и какие возможности предоставляют. В web-приложениях же царит буйство красок и форм. Возможно необычный дизайн это и здорово, но чтобы его оценил пользователь, он должен с ним хоть немного поработать, а не закрыть вкладку со словами “не понимаю, зачем оно мне?”. В нативных приложениях платформа диктует принципы построения дизайна — проще сделать классический дизайн, чем придумывать что-то свое. Web же всегда отличался разнообразием подходов к построению пользовательского интерфейса.

Аргумент

“Gillette — рекламируем станки, а подымаем на лезвиях”. Помимо прямого зарабатывания денег на мобильных приложениях (дядь, купи приложение всего за 1 вечный и зеленый!), сами App-маркеты (AppStore, Android Market) являются потрясающим маркетинговым инструментом! Вы можете использовать мобильное приложение для продажи вашего сервиса.

Сделав мобильное приложение под Android или iOS, вы запускаете его в уже существующую сеть распространения товаров в категорию FREE. И так же как в обычных супермаркетах, люди пришедшие за молоком могут обратить внимание на йогурт-новинку, так и в AppStore человек пришедший за текстовым редактором может заинтересоваться вашим приложением “Блокнотус”. Но ведь у вас, как у разработчика “блокнотуса” истинная цель привлечь пользователей к вашему сервису и не дать слонам голодать ;-)

Планшеты и прочие мобильные устройства вошли в моду. Люди регулярно ищут новинки в AppStore и Android Market для своих карманных зверюшек. Вероятность того, что они наткнутся на ваше приложение — очень велика. А т.к. оно быстро работает, имеет каноническую графику и простой интерфейс управления, то пользователь сможет понять его и заинтересоваться им. Овладев же его интересом вы овладеваете потенциальным заказчиком услуг вашего интернет-сервиса.

P.S.0: это первая статья из серии сравнения процесса разработки мобильных native и web приложений. Несмотря на то, что я убедился (я надеюсь, и вы тоже) в доминировании native-платформы, иногда встречаются задачи, для которых web — это быстрое и дешевое решение, от которого лишь требуется принимать пару строк текста от пользователя и возвращать результат (даю волю вашей фантазии!).
P.S.1: интересный факт, ранее Apple активно продвигал Apple WebApps — каталог web-приложений для iOS. Но видимо что-то пошло не так и каталоги прекратили пополняться.
P.S._the_last: побудили меня на творчество две статьи: раз и два.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Биоинформатика / Практическая биоинформатика ч.5. Секвенирование ДНК

Portah — Sun, 05 Feb 2012 08:01:45 GMT

    В стремлении рассказать о самом сложном, как можно быстрее, очевидно, забываешь о самом простом. И, в моем случае, не только о простом, но и о важном связывающем звене. Причинно-следственная связь слегка нарушилась. В моих предыдущих статьях (1, 2, 3, 4) описаны математический аспект и программирование, но в них практически нет биологии. Поэтому эта статья о том, какую именно часть молекулярной биологии пытаются раскрыть, предсказать, увидеть и решить описываемые мною программы и алгоритмы.

    Картинка с изображением яйцеклетки и сперматозоидов на поверхности символизирует пропущенный мною этап, когда все только зарождается. Интересный факт, что объединение двух клеток дает начало примерно 10 триллионам клеткам человеческого тела.

    Начнем с небольшого экскурса в молекулярную биологию. Я постараюсь описать простыми словами сложные вещи, опуская детали. ДНК находится в клетке. Мы рассматриваем именно ДНК и процессы, которые протекают на ней, нас не очень интересует, где именно в клетке она расположена. Необходимо уточнить, что примеры будут приведены для клеток eukaryotic, с которыми я работаю, но скорее всего многие вещи подойдут и для prokaryotic.

     Все процессы в клетке начинаются с ДНК, именно на ДНК находятся последовательности нуклеотидов, копирование которых в дальнейшем отвечает за реакции и преобразования в клетках. Нас интересует процесс копирования, называемый транскрипцией. Процесс копирования транскриптов и количество полученных конечных продуктов называется генной экспрессией. Но мы называем генной экспрессией и измеряем именно количество копирований транскрипта (вне зависимости от количества полученных конечных продуктов).

    Ниже приведена иллюстрация из учебника по биологии, называемая “четыре основных генетических процесса, происходящие в клетке” (см. Рис. 1). В данный момент я занимаюсь процессами, изображенными на картинке между номерами 1 и 2. Технологии, которые помогают их изучить, называются DNA-seq и RNA-seq. Эти технологии могут использоваться как по отдельности, так и совместно. В этой статье я более подробно остановлюсь на механизмах работы DNA-seq.

    Рис. 1

    В качестве частного случая DNA-seq рассмотрим “DNA-seq Pol II” (также см. в “Готовимся работать с ZINBA”). В основе понимания полученного с ее помощью результата лежит процесс траскрипции. Важную роль в процессе траскрипции играет белок РНК-полимераза (RNA Polymerase). Полимераза закрепляется на специальном участке ДНК (см. Рис. 2.1), который называется промоутером. Пока проходят подготовительные операции процесса транскрипции (этап Initiation), полимераза остается закрепленной на промоутере. Полимераза начинает создавать копию верхней спирали от старт сайта (начало копируемой цепочки, на рисунке обозначено синей точкой). Потом, двигаясь со скоростью примерно 1000 оснований в минуту (при температуре 37C), она копирует участок ДНК до стоп сайта (конец копируемой цепочки, на рисунке обозначен красной точкой). Еще раз подчеркну, что в положении промоутера полимераза находится большую часть времени, а на каждом участке копируемой ДНК — меньшее. Для дальнейшего изучения ученых интересует промоутер и старт сайт, являющиеся необходимым условием начала транскрипции. Также в промоутере заложена информация о количестве копирований, что тоже является немаловажным объектом изучения.

    Процесс DNA-seq Pol II с осаждением проходит в несколько этапов: 1. фиксируем текущее положение полимеразы химически или температурно (фиксирование полимеразы означает, что процессы остановились, полимераза не двигается более по ДНК); 2. произвольным способом (ультразвук, MNase и т.д.) нарезаем ДНК (в большинстве случаев разрезаются незащищённые полимеразой участки ДНК); 3. с помощью иммунопреципитации хроматина (антитела, иммунного ко всем остальным белкам, кроме Pol II) выбираем те участки, которые содержат полимеразу. В результате получаем фрагменты около 150 оснований в длину, которые в дальнейшем отправим в секвенатор. Следует подчеркнуть, что нарезка полимеразы происходит не строго по краям. Таким образом процесс получается следующим: мы подготовили миллионы одной и той же ДНК из разных клеток, зафиксировали полимеразы, большая часть которых находится на промоутере, а часть случайным образом распределена по гену. Результат оцифровки описанного процесса мы наблюдаем на следующем рисунке, приведенном в одной из статей (см. Рис.3). Зелёным обведены риды, определяющие предполагаемый промоутер (риды с высокой плотностью), а за ним располагаются риды с низкой плотностью, соответствующие полимеразе в движении.

    Рис. 3
    Далее я кратко расскажу о некоторых других белках. В верхней части рисунка 4 можно увидеть, каким образом упакована ДНК (см. Рис. 4.1.), а в нижней части рисунка более детально изображен процесс транскрипции, о котором говорилось выше (см. Рис. 4.2.). Как видно на рисунке 4.1., упаковка ДНК очень плотная, двойная спираль намотана на нуклеосому, длина витка ДНК составляет примерно 146 оснований. Нуклеосома состоит из белков — гистонов. Гистоны могут иметь различные модификации, модификация гистонов — тема огромной отдельной статьи. Антитела разрабатываются на конкретную модификацию гистона, и именно участки ДНК, которые обмотаны вокруг этой модификации гистона, будут осаждены (отфильтрованы). Приведем пример обозначения модификации: H3K4Me3. Он будет читаться, как триметилирование лизина на четвертой позиции гистона H3. Таких модификаций гистонов может быть много, и все они раскиданы по ДНК, поэтому в статье “Готовимся работать с ZINBA” на рисунке 2, где изображен ландшафт H3K27Me3 (триметилирование лизина 27 гистона 3), наблюдается такое частое нагромождение пиков.

    Существуют технологии DNA-seq без осаждения, когда ДНК просто нарезается, например, при помощи DNase фермента, и мы получаем огромное количество фрагментов. В большинстве случаев фрагменты будут соответствовать виткам, которые обмотаны вокруг нуклеосом, поскольку DNase режет между ними. Получившиеся фрагменты отправляем в секвенатор. Считается, что при глубоком секвенировании (огромное количество фрагментов, около 100 миллионов ридов, идет в секвенатор, пока является дорогим удовольствием) по получившемуся ландшафту можно распознать, где именно находится белок. Причем ландшафт будет иметь вид, как у вулкана, небольшое углубление на вершине должно соответствовать белку. Чаще всего DNase метод используют, чтобы найти участки ДНК, чувствительные к этому ферменту, т.е. те участки, которые лучше всего режутся.

    Рис. 4
    На нижней части рисунка мы видим РНК-полимеразу, а также разноцветные облака и овалы, размещенные в ней и на ДНК. Эти дополнительные элементы называют транскриптационными факторами, они играют важную роль в регуляции генной экспрессии. Транскриптационные факторы могут как увеличивать, так и уменьшать или просто блокировать возможность присоединения других транскипционных факторов, тем самым неявно приводя к регуляции экспресии. Они также являются белками. Как и ко всем остальным белкам, к ним разрабатываются антитела. В качестве примера транскриптационного фактора возьмем белок CTCF, одна из его ролей состоит в блокировании работы других транскриптационных факторов. DNA-seq эксперименты с ним описаны в статье “Готовимся работать с ZINBA”, соответствующий CTCF иммунопреципитации хроматина ландшафт можно увидеть на следующей картинке. Как видно, регионы, защищенные этим белком, небольшие, поэтому и разброс в окрестности невысокий, всего 150-200bp.

    Примерная схема видов DNA-seq экспериментов:

    Рис. 5
    Схему я разбил на четыре условных уровня. Первый уровень — фиксация, она может проводиться с формальдегидом или без. Второй уровень — способ нарезки ДНК. Третий уровень — фильтрация по размеру, в дополнении к этому фильтрация может проводиться с помощью иммунопреципитации хроматина. Четвертый уровень — способ секвенирования.

    Таким образом, каждому виду проводимого эксперимента соответствует способ секвинирования. В зависимости от способа секвенирования создаются различные виды фрагментов. Рассмотрим те эксперименты, результатами которых являются фрагменты, содержащие в себе белок. Белок может быть размещен по центру кусочка или с одной из двух сторон кусочка. Секвенатор декодирует не весь отрезок, а только его небольшую часть со стороны 5’ конца спирали каждого фрагмента. Декодированные кусочки называются ридами. На рисунке 6 красными точками отмечены 5’ концы каждой спирали. Синей и красной стрелками отмечены начала ридов. Эти начала распределены случайным образом от 5’ конца каждой спирали до границы белка.

    Рис. 6

    В эксперименте участвует множество исходных молекул, их ДНК нарезают в некоторой окрестности белка, когда множество ридов отображают на координатную ось (одного из белков), получается картинка, похожая на эту:

    Рис. 7
    Выше координатной оси (темно-синего цвета) отображены риды с верхней спирали («+» strand), а ниже оси (светло-синего цвета) отображены риды с нижней спирали («-» strand). Точно сказать, где был белок невозможно, предполагается, что центр связывания белка расположен между этими двумя пиками.

    Полученная картинка напоминает сигнал, и поэтому к данным стали применять некоторые алгоритмы для анализа сигналов, один из которых описан в этой статье habrahabr.ru/blogs/algorithm/135281/ — “Что такое скрытые модели Маркова”.

    Надеюсь, после этой статьи предмет стал более понятен, и дальнейшее изучение не будет вызывать легкий ужас. Если кто-то заинтересуется более подробным изложением материала, есть замечательная книжка Molecular Cell Biology под редакцией Lodish, в которой очень информативно и доступно изложены основы молекулярной биологии.
Review is prepared by Andrey Kartashov, Cincinnati, OH, porter@porter.st.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Информационная безопасность / Перспективы развития цивилизации в контексте проблемы бесконтактного информационного обмена

fxmemfis — Sun, 05 Feb 2012 03:10:31 GMT

Я нередко ловлю себя на мысли как беспомощны мы становимся без интернета. Зачем воспринимать информацию, накоплять опыт и знания, если в любой момент можно выйти в сеть и воспользоваться поисковыми механизмами? Наука утверждает, что начиная с 80-х прогрессирует количество детей с врожденной социальной дезадаптацией. Это пересекается с так называемым «правилом сотой обезьяны», согласно которому при достижении критического количества особей с определенным опытом, последний становится частью информационного поля всего общества.

Сейчас уже мало кто отрицает, что компьютер является органичным продолжением нашего интеллекта. Идея технологической сингулярности, возрождение в 90-х науки эниологии, в конце концов наш с вами образ жизни тому подтверждение. Вопрос в том, как оценивать и как воспользоваться этим знанием.

Преимущество рассматриваемой системы состоит в нивелировании значения местонахождения человека: вы нигде и в то же время вы везде, пока вы подключены к мировой сети. У вас есть неограниченный доступ к информации и возможность посвятить себя истинному творчеству, ведь вычислительные и физические функции остаются за автоматизированными механизмами. Мы живем на заре эпохи, в которой сфера деятельности человека ограничится культурой и искусствами в самых разных их проявлениях, а весь рутинный труд останется за теми кто пишет программный код.

Конечно, всегда будут существовать отклонения от предполагаемой тенденции, ведь при любой общественной организации существует субъект власти. Вопрос, в том, сможет ли периферия глобализации(вроде Китая) удержать «железный занавес» в условиях передачи информации бесконтактным путем. Скорее нет, чем да, но это вопрос отдаленного будущего.

Опасность во всей этой ситуации ровно одна: при крахе системы, которая формируется на наших глазах, человечество будет отброшено в каменный век. История всегда повторяется, развитие цивилизаций протекает по модели цикла и финальный крах неизбежен. Конечный результат размышления с первого взгляда показался абсурдным даже мне, но в попытке заглянуть далеко вперед я вижу светлое будущее только в колонизации окружающей нас вселенной. Ведь первичным механизмом защиты любой системы есть процесс «бэкапа»(создание копии данных на носителе для восстановления данных в оригинальном или новом месте их расположения в случае их повреждения или разрушения).

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Обработка изображений / Алгоритм ImageZero (IZ): быстрое сжатие без потери качества

alizar — Sun, 05 Feb 2012 02:35:00 GMT

JPEG является стандартом в области компрессии изображений и это один из самых быстрых алгоритмов, но у него одна проблема: JPEG сжимает с потерей качества. Если фотография подвергается многократной обработке, это неприемлемо, и в таких случаях приходится искать альтернативу. Хочется чего-нибудь быстрого и при этом с приемлемой степенью сжатия.

Беглый взгляд на бенчмарки losless-алгоритмов на выборке фотографий не даёт оснований для радости: оказывается, PNG очень быстр на распаковке, но исключительно медленно работает на сжатии изображений.

Есть ещё JPEG-LS, хороший на первый взгляд. Но на него патент у компании HP, так что без шансов на использование. Немецкий программист Кристоф Фек (Christoph Feck) решил исправить ситуацию и выпустил свой алгоритм ImageZero сжатия фотографий без потери качества. Он примерно в 20 раз быстрее PNG, а по степени сжатия сравним с JPEG-LS.

^{London Bridge (Tower Bridge): Reflection on the River Thames. Автор фотографии: Anirudh Koul}

Результаты обработки полноразмерной версии фотографии London Bridge (4507?3512 пикселей)

Метод	Размер файла	Сжатие	Распаковка
Без сжатия	46380 КБ	-	-
JLS	14984 КБ	6,6 с	7,3 с
PNG	16256 КБ	42,4 с	2,4 с
IZ	15496 КБ	1,2 с	1,3 с

Судя по первым независимым тестам, IZ претендует на то, чтобы быть вообще самым быстрым lossless-алгоритмом для 24-битных фотографий, и по степени сжатия тоже хорошо выглядит.

Автор алгоритма пишет, что IZ не предназначен для greyscale-изображений или синтетических изображений, но он может его приспособить для этих задач. Сейчас IZ лучше всего работает на полноцветных фотографиях и может использоваться в системах хранения, для генерации уменьшенных копий для предпросмотра, ну и как будущий формат для иконок.

Исходный код ImageZero (под лицензией BSD)

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Arduino / Механический дисплей на Arduino — работа над ошибками

commanderxo — Sat, 04 Feb 2012 23:35:48 GMT

Механический дисплей из лего и Arduino, о котором я писал в начале января оказался, по-моему, довольно неплох для конструкции собранной за вечер. Однако в комментариях справедливо указали на возможности его улучшения. Заодно, читая отзывы, я узнал что такое «POV», спасибо всем откликнувшимся!

Выявленные недостатки

Малый размер «экрана», недостаточный для написания слова «Хабрахабр»
Монохромность
Неравномерность шага пикселей, расчитанного простым делением времени цикла на разрешение
Разочарование ожидавших увидеть видео хаброюзеров
Необходимость вручную побитово кодировать изображение каждой буквы
Общая нестабильность конструкции — «дисплей» при работе сильно раскачивается
Холостой обратный ход планки со светодиодами. Они подсвечиваются только во время движения справа налево

За прошедшие четыре недели конструкцию удалось доработать, и вот что получилось в результате:

Работа над ошибками

Стабильность и размер

Улучшить механическую стабильность оказалось проще всего — у ребёнка были позаимствованы кубики Duplo (lego двойного размера совместимое со стандартным), и из них собрана прочная и тяжёлая платформа. После этого удлинил кривошип и нарастил качающуюся планку со светодиодами, тем самым увеличив горизонтальное разрешение. Сперва думал поставить более мощный мотор, но хватило замены батареек на стабилизированный блок питания и небольшого повышения напряжения. При 10,3 вольт моя конструкция делает ровно 6 полных колебаний в секунду.

На переднем плане видны две оптические пары — теперь можно ловить и начало обратного хода.

Цвет

Сделать дисплей цветным казалось лёгкой задачей — достаточно заменить одноцветные светодиоды на RGB. Сказано — сделано. Общие аноды через ограничительные резисторы соединил с шиной данных, а катоды спаял вместе поцветно и подсоединил к выходам Arduino, ответственным за выбор цвета. Когда горят все восемь светодиодов, по каждому проводу выбора цвета стекает до 39 миллиампер, при том что Arduino может максимум 40. Для гарантии добавил три MOSFET транзистора IRF 540 — по одному на каждый цвет. Получилось примерно такая схема (показаны лишь три RGB светодиода):

Качающаяся планка соединяется с контроллером 8+3 тонкими проводами. Немало, но если их аккуратно проложить, то движению они не мешают.

Грабли номер один

Подаём логическую единицу на нужный анод (D6-D13), единицей-же открываем ответственный за цвет транзистор(D0-D2) и светодиод зажигается. Если на управляющие цветом выходы подать 001, то загорается красный, 010 — зелёный, 011… снова красный, хотя ожидался жёлтый.

Чтение даташита показало, что красный светодиод зажигается при напряжении в 2,0 Вольта, тогда как зелёному и синему нужны 3,2. В результате после открытия красного диода напряжение практически не растёт, только увеличивается ток, и зелёный с синим не открываются. Решения проблемы для приведёной схемы подключения с ограничивающими ток резисторами в цепи анода я так и не нашёл. Если подключить резисторы к катодам, то на каждом диоде будет падать своё, нужное ему напряжение, но резисторов понадобится 24 штуки, что для моей подвижной конструкции слишком тяжело. Гугль нашёл несколько микросхем драйверов матриц светодиодов, но у меня в хозяйстве их не было. В результате обошёл проблему программно, быстро зажигая цвета по очереди. При задержке в 50 микросекунд на цвет, за время показа одного пикселя элементарные цвета успевают смениться много раз и сливаются в один.

Грабли номер два

В неподвижном положении устройство теперь показывает ожидаемые цвета, пора опробовать его в движении. Запускаю мотор, и обнаруживаю следующую проблему:

В RGB cветодиоде красный и синий элементы находятся на противоположных сторонах корпуса, и в результате вместо сиреневого цвета получаем две хорошо различимые отдельные полоски — красную и синюю. На стыке красной и зелёной областей тоже хорошо видна разница в расположении светоизлучающих точек. Эту проблему удалось полностью решить заменой прозрачных светодиодов на матовые.

Механическая развёртка

Удлинение планки и увеличение её размаха повысило теоретическое количество пикселей, однако нисколько не решило проблемы неравномерности движения. В крайнем правом положении около двух десятков миллисекунд светодиоды практически неподвижны, в то время как слева они мгновенно меняют направление движения на противоположное. Мотор неидеален и скорость вращения зависит от нагрузки. Гибкий пластик и люфты в соедиениях окончательно запутывают картину. Учебник по теоретической механике я в последний раз открывал лет пятнадцать назад, так что даже не пытался рассчитать динамику движения моего дисплея, и сразу решил измерять как он ведёт себя в реальности. Это оказалось не так уж трудно: впереди поставил маску с равномерно расположенными отверстиями, направил на неё свет яркой лампы, а на конце планки закрепил фоторезистор.

Осталось написать несложную программу, которая сперва делает несколько холостых циклов и усредняет для точности их период, а потом собирает через АЦП данные об освещённости фотодиода. Каждое измерение сопровождается вызовом функции micros, выдающей количество прошедших микросекунд. Массив с данными по последовательному порту перекачал в компьютер и проанализировал в Экселе.

Вот как выглядит напряжение на фоторезисторе — отлично видно когда на него попадал свет сквозь отверстия в маске:

А вот нелинейность во всей своей красе, хорошо что не стал пытаться это смоделировать и рассчитать:

Эксель умеет аппроксимировать произвольные наборы данных полиномами до пятого порядка, так что через несколько минут в моих руках была заветная формула описывающая движение:

Здесь y это задержка в микросекундах от начала цикла, x — номер виртуального пикселя меняющийся от 1 до 20 (у меня в калибровочной маске было 20 отверстий). Давая x дробные значения, можно расчитать задержки для произвольного разрешения. Я остановился на 54 пикселях.

Пиксели

Для проверки формулы написал простенькую программку, выводящую попеременно 0x55 и 0xAA для подсвечивания пикселей в шахматном порядке.

Экселевская математика не подвела, и к равномерности шага растра претензий нет, но вот сами пиксели получились вместо прямоугольных овальными. Не удивительно, ведь формула рассчитывает задержки для центра идеального пикселя, а реальный светодиод имеет 5 мм в диаметре, и засвечивает прилегающие области. Прямоугольные пиксели проще рисовать прямоугольными светодиодами, чего я и добился, наклеив по бокам непрозрачный скотч:

Контрольная «шахматная доска» подтвердила, что так действительно намного лучше:

Программирование

Алгоритм простой и сложностей не предвиделось, однако в определённый момент написания кода программа стала давать странные, непредсказуемые, результаты. Оказалось, что кончилась оперативная память, которой в Arduino UNO всего два килобайта. В микроконтроллере нет следящей за распределением памяти операционной системы, так что никаких ошибок он не замечает и о переполнении не сигнализирует. Я предполагал, что объявленные как const массивы хранятся в Flash-памяти, однако выяснилось, что это не так. Точнее говоря, они сперва лежат действительно в постоянной памяти, но при запуске копируются в RAM, хотя их и нельзя изменять. Чтобы этого избежать, переменные нужно объявлять через PROGMEM, про это нашлась статья на сайте ардуино. В общем «читайте маны, они рулез».

Руссификация

Рисовать буквы по-точкам неудобно, так что положил в тот же PROGMEM таблицу знакогенератора и написал функцию отрисовки букв. С английскими символами никаких проблем, а вот вместо русских выводилась белиберда. В качестве среды разработки использовался VisualStudio 2010 с плагином Visaul Micro Arduino. Несмотря на то, что файлы исходников сохранялись в кодировке Win1251 (один байт на символ), строка вида

char* text = "ХАБРАХАБР";

объявляла массив длиной 27+1 байт, в котором каждая тройка имела одинаковое содержание, к исходному тексту никакого отношения не имеющее. Тот же код из-под среды Arduino UNO пишет по два байта на русский символ, скорей всего в UTF8. Проблему удалось обойти, закодировав строку посимвольно:

char russianText[] = {'Х', 'А', 'Б', 'Р', 'А', 'Х', 'А', 'Б', 'Р', '\0'};

Теперь, как и ожидалось, получаем 9 байт текста плюс ещё один на завершающий ноль. Запускаем программу и видим… совсем другие символы. Исследование показало, что большая русская буква «А» компилируется в код 144, что никак не соответсвует ожидаемому для Win1251 коду 192. Не поленился и
почитал в Интернете про возможные кодировки русских букв, в том числе и весьма экзотические. Ни в одной из них А не транслируется в 144. Единственное приходящее в голову объяснение, это представление русских букв в юникоде, после чего из буквы А (U+0410) вырезается младший байт, к которому почему-то добавляется 128. Почему так — непонятно, но после добавления к коду букв нужной константы, они встали на свои места.

Вот что получилось в итоге:

Видео

А как же без него?

При длительности цикла в 170 миллисекунд получается почти точно шесть кадров в секунду. У камеры же — 30 кадров в секунду, и из-за кратности частот на видео заметно сильное мерцание. Если смотреть глазами, то картинка выглядит намного стабильней.

Что дальше?

Вывод изображения при обратном ходе развёртки пока не запрограммировал. Это позволило бы удвоить частоту кадров, но усложнило бы программирование анимации и прокрутки текста. При рисовании только во время прямого хода у микроконтроллера есть целых 80 миллисекунд, чтобы неторопливо рассчитать следующий кадр.

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}

Смартфоны и коммуникаторы / Смартфоны совсем недавно и сейчас

Londain — Sat, 04 Feb 2012 23:22:03 GMT

Недавно перешёл на следующий смартфон положив Nokia N900 в архив старых кирпичей и задумался о тренде, как было раньше на полках магазинов, и как сейчас:

Поначалу меня это улыбныло. Но затем решил полистать архивы на Хабре – так оно оказывается и есть.

Помнится, в начале 2000-х годов шведский Ericsson (тогда ещё без Sony) уступил финской Nokia, так как первые считали, что мобильники – это для бизнесменов. Шведы отказались запускать съемные панели, особенно розовые. Финны – поняли рынок по-другому, и на пике завоевали выше 40% рынка.

Сегодня же чётко наблюдается обратный тренд, как минимум во внешнем оформлении телефонов. Может уже проелось? Может все равняются на лидеров? Как Вы думаете?

_{Источник: habrahabr.ru,
получено с помощью rss-farm.ru}